uso de anycast para balanceamento de carga na globo.com

38
globo .com Uso de anycast para balanceamento de carga na Globo.com

Upload: marcus-vinicius-cesario

Post on 29-Jun-2015

534 views

Category:

Technology


3 download

DESCRIPTION

Apresentação feita no SBRC 2012, Ouro Preto, MG

TRANSCRIPT

Page 1: Uso de anycast para balanceamento de carga na Globo.com

globo.comUso de anycast para balanceamento de carga na Globo.com

Page 2: Uso de anycast para balanceamento de carga na Globo.com

Uso de Anycast para balanceamento de carga

na Globo.com Marcus Vinícius G. Cesário

[email protected]

SBRC 2012 - 01/05/2012

Page 3: Uso de anycast para balanceamento de carga na Globo.com

Agenda‣ Caracterização do tráfego

‣ Análise das soluções

‣ Estrutura Anycast

Page 4: Uso de anycast para balanceamento de carga na Globo.com

1 Caracterização do tráfego

Page 5: Uso de anycast para balanceamento de carga na Globo.com
Page 6: Uso de anycast para balanceamento de carga na Globo.com
Page 7: Uso de anycast para balanceamento de carga na Globo.com

0

0.30

0.60

0.90

1.20

1.50

1.80

2.10

2.40

2.70

3.00

dezembro/2011

Páginas Vistas

bilh

ões

Globo.com G1 Globoesporte.comEgo. Receitas.com TechTudoFutpedia Novelas 18:00 Novelas 19:00Novelas 21:00

Demanda

fonte: Google Analytics

Page 8: Uso de anycast para balanceamento de carga na Globo.com

Demanda

Page 9: Uso de anycast para balanceamento de carga na Globo.com

Demanda

Page 10: Uso de anycast para balanceamento de carga na Globo.com

Demanda‣ Momentos de alta demanda

‣ ex: BBB com até 510 mil votos/min

0

150

300

450

600

26/03/2010 27/03/2010 28/03/2010 29/03/2010 30/03/2010 31/03/2010 01/04/2010

Votos por Minuto

Page 11: Uso de anycast para balanceamento de carga na Globo.com

Comportamento dos clientes

‣ Média de 4 a 8 conexões simultâneas

‣ 147 / 6 = 25

RTT do servidor (ms)

Tempo total (ms)

7 175

25 625

50 1250

150 3750

Page 12: Uso de anycast para balanceamento de carga na Globo.com

Premissas‣ Entrega de Conteúdo com grande consumo de

banda

‣ Percepção da Internet como um serviço 24/7/365

‣ necessidade de manutenções preventivas e corretivas

‣ Distribuição de carga e tolerância a falhas

‣ Operação pelo Datacenter no RJ ‣ Operação e monitoração pela estrutura de NOC do Rio de Janeiro

Page 13: Uso de anycast para balanceamento de carga na Globo.com

Solução escalável, com garantia de qualidade para o usuário e baixo custo?

Page 14: Uso de anycast para balanceamento de carga na Globo.com

2 Diferenças entre soluções

Page 15: Uso de anycast para balanceamento de carga na Globo.com

Esquemas de roteamento

Page 16: Uso de anycast para balanceamento de carga na Globo.com

Esquemas de roteamento

Page 17: Uso de anycast para balanceamento de carga na Globo.com

Esquemas de roteamento

Page 18: Uso de anycast para balanceamento de carga na Globo.com

Esquemas de roteamento

Page 19: Uso de anycast para balanceamento de carga na Globo.com

Site 2Site 1

1.1.1.1 2.2.2.2DNS Server

1.1.1.1 2.2.2.2

Região A Região B

Global Server Load Balancing

Page 20: Uso de anycast para balanceamento de carga na Globo.com

Site 2Site 1

1.1.1.1 2.2.2.2DNS Server

1.1.1.1 2.2.2.2

Região A Região B

Global Server Load Balancing

X

X

Page 21: Uso de anycast para balanceamento de carga na Globo.com

Content Delivery Network‣ Tecnologia dependente de Operadoras

‣ IP’s para cada localidade = mais suscetível a ataques

‣ Dimensionada para picos de acesso?

‣ Sistema de gerência dos pontos físicos

Page 22: Uso de anycast para balanceamento de carga na Globo.com

dig www.akamai.com

@Server Answer Avg RTT

201.7.183.120200.182.35.144200.182.35.163

10.564

8.8.8.8(google)

72.246.216.4272.246.216.33

157.753 +1493%

208.67.222.222(opendns.org)

23.67.53.10723.67.53.144

153.44 +1452%

4.2.2.1(level 3)

69.31.72.11569.31.72.129

152.381 +1442%

20/04/2012 - 15:00 as 15:10

Page 23: Uso de anycast para balanceamento de carga na Globo.com

Impacto da localidade

Page 24: Uso de anycast para balanceamento de carga na Globo.com

Impacto da localidade

Page 25: Uso de anycast para balanceamento de carga na Globo.com

Client subnet in DNS requests

‣ Opção EDNS0

‣ RFC2671 Agosto/1999

‣ Internet-draft 25/04/12

‣ Intended status: Experimental

Page 26: Uso de anycast para balanceamento de carga na Globo.com

Anycast

Site 2Site 1

1.1.1.1 1.1.1.1DNS Server

1.1.1.1 1.1.1.1

Região A Região B

Page 27: Uso de anycast para balanceamento de carga na Globo.com

Anycast

Site 2Site 1

1.1.1.1 1.1.1.1DNS Server

1.1.1.1 1.1.1.1

Região A Região B

X

Page 28: Uso de anycast para balanceamento de carga na Globo.com

Uso comum do Anycast‣ DNS

‣ Multicast Rendezvous Points (RP)

‣ Syslog

‣ Exportação de fluxos (flow)

‣ IPv4/IPv6 relay routers

‣ Sink hole networks

Page 29: Uso de anycast para balanceamento de carga na Globo.com

3 Estrutura Anycast

Page 30: Uso de anycast para balanceamento de carga na Globo.com

Estrutura Anycast‣ PoP’s conectados aos principais provedores de

serviço Internet - fixo / móvel / PTT Metro

‣ proximidade com o usuário

‣ Sessões BGP com anúncios simultâneos

‣ Possibilidade de crescimento em outros pontos físicos sem alterações no projeto

‣ Facilidade de manutenção

Page 31: Uso de anycast para balanceamento de carga na Globo.com

Estrutura Anycast

Page 32: Uso de anycast para balanceamento de carga na Globo.com

Perfil de tráfego

Page 33: Uso de anycast para balanceamento de carga na Globo.com

Perfil de tráfego‣ 97.65% Brasil

Page 34: Uso de anycast para balanceamento de carga na Globo.com

Perfil de tráfego‣ 81.34% do tráfego a 1 AS HOP de distancia

Page 35: Uso de anycast para balanceamento de carga na Globo.com

“Pop Switch?”

Page 36: Uso de anycast para balanceamento de carga na Globo.com

“Pop Switch?”

‣ “Never heard of it”

Page 37: Uso de anycast para balanceamento de carga na Globo.com

Anycast‣ Solução testada e confiável com TCP

‣ Barato e “Vendor Agnostic”

‣ Gerência simplificada

‣ Tolerância a falhas

‣ Melhor performance na entrega do conteúdo