uso de anycast para balanceamento de carga na globo.com
DESCRIPTION
Apresentação feita no SBRC 2012, Ouro Preto, MGTRANSCRIPT
globo.comUso de anycast para balanceamento de carga na Globo.com
Uso de Anycast para balanceamento de carga
na Globo.com Marcus Vinícius G. Cesário
SBRC 2012 - 01/05/2012
Agenda‣ Caracterização do tráfego
‣ Análise das soluções
‣ Estrutura Anycast
1 Caracterização do tráfego
0
0.30
0.60
0.90
1.20
1.50
1.80
2.10
2.40
2.70
3.00
dezembro/2011
Páginas Vistas
bilh
ões
Globo.com G1 Globoesporte.comEgo. Receitas.com TechTudoFutpedia Novelas 18:00 Novelas 19:00Novelas 21:00
Demanda
fonte: Google Analytics
Demanda
Demanda
Demanda‣ Momentos de alta demanda
‣ ex: BBB com até 510 mil votos/min
0
150
300
450
600
26/03/2010 27/03/2010 28/03/2010 29/03/2010 30/03/2010 31/03/2010 01/04/2010
Votos por Minuto
Comportamento dos clientes
‣ Média de 4 a 8 conexões simultâneas
‣ 147 / 6 = 25
RTT do servidor (ms)
Tempo total (ms)
7 175
25 625
50 1250
150 3750
Premissas‣ Entrega de Conteúdo com grande consumo de
banda
‣ Percepção da Internet como um serviço 24/7/365
‣ necessidade de manutenções preventivas e corretivas
‣ Distribuição de carga e tolerância a falhas
‣ Operação pelo Datacenter no RJ ‣ Operação e monitoração pela estrutura de NOC do Rio de Janeiro
Solução escalável, com garantia de qualidade para o usuário e baixo custo?
2 Diferenças entre soluções
Esquemas de roteamento
Esquemas de roteamento
Esquemas de roteamento
Esquemas de roteamento
Site 2Site 1
1.1.1.1 2.2.2.2DNS Server
1.1.1.1 2.2.2.2
Região A Região B
Global Server Load Balancing
Site 2Site 1
1.1.1.1 2.2.2.2DNS Server
1.1.1.1 2.2.2.2
Região A Região B
Global Server Load Balancing
X
X
Content Delivery Network‣ Tecnologia dependente de Operadoras
‣ IP’s para cada localidade = mais suscetível a ataques
‣ Dimensionada para picos de acesso?
‣ Sistema de gerência dos pontos físicos
dig www.akamai.com
@Server Answer Avg RTT
201.7.183.120200.182.35.144200.182.35.163
10.564
8.8.8.8(google)
72.246.216.4272.246.216.33
157.753 +1493%
208.67.222.222(opendns.org)
23.67.53.10723.67.53.144
153.44 +1452%
4.2.2.1(level 3)
69.31.72.11569.31.72.129
152.381 +1442%
20/04/2012 - 15:00 as 15:10
Impacto da localidade
Impacto da localidade
Client subnet in DNS requests
‣ Opção EDNS0
‣ RFC2671 Agosto/1999
‣ Internet-draft 25/04/12
‣ Intended status: Experimental
Anycast
Site 2Site 1
1.1.1.1 1.1.1.1DNS Server
1.1.1.1 1.1.1.1
Região A Região B
Anycast
Site 2Site 1
1.1.1.1 1.1.1.1DNS Server
1.1.1.1 1.1.1.1
Região A Região B
X
Uso comum do Anycast‣ DNS
‣ Multicast Rendezvous Points (RP)
‣ Syslog
‣ Exportação de fluxos (flow)
‣ IPv4/IPv6 relay routers
‣ Sink hole networks
3 Estrutura Anycast
Estrutura Anycast‣ PoP’s conectados aos principais provedores de
serviço Internet - fixo / móvel / PTT Metro
‣ proximidade com o usuário
‣ Sessões BGP com anúncios simultâneos
‣ Possibilidade de crescimento em outros pontos físicos sem alterações no projeto
‣ Facilidade de manutenção
Estrutura Anycast
Perfil de tráfego
Perfil de tráfego‣ 97.65% Brasil
Perfil de tráfego‣ 81.34% do tráfego a 1 AS HOP de distancia
“Pop Switch?”
“Pop Switch?”
‣ “Never heard of it”
Anycast‣ Solução testada e confiável com TCP
‣ Barato e “Vendor Agnostic”
‣ Gerência simplificada
‣ Tolerância a falhas
‣ Melhor performance na entrega do conteúdo