georrefenciamento da distribuição de conteúdo gpl · o tráfego de saída é inﬂuenciado pela...

Georrefenciamento da Distribuição de Conteúdo GPL

De onde viemos? O que somos? Para onde vamos?

LACNIC XVII – NAPLA 2012 Quito – Equador

Pedro R. Torres Jr. – [email protected] Ricardo Rojo Bonfin – [email protected] Aramis Fernandes – [email protected]

UNIVERSIDADE FEDERAL DO PARANÁ

Pedro Torres / Ricardo Bonfin / Aramis Fernandes!LACNIC XVII – NAPLA 2012!

Agenda   Sobre o espelho de conteúdo GPL da UFPR"  Informações de georreferenciamento"  Fluxos de Rede"  Análise de Georreferenciamento do Tráfego"  Conclusões"


O que somos? De onde viemos?   Espelho de conteúdo da Universidade Federal do Paraná - UFPR"

  Mantido pelo Centro de Computação Científica e Software Livre"  C3SL: http://www.c3sl.ufpr.br"

  Mantém diversos conteúdos Software Livre:"


Localização do Espelho   Brasil"

  No estado do Paraná"  Na cidade de Curitiba"


Backbone da Rede Nacional de Ensino e Pesquisa


Panorama de tráfego da RNP


Um dia de tráfego no Espelho


Uma semana de tráfego no Espelho


Impacto de Softwares Releases: Flash Crowd   Verde: Tráfego com o provedor de trânsito acadêmico: RNP"  Azul: Tráfego trocado no PTT de Curitiba + trânsito acadêmico com a RNP"  Identificado por volume de tráfego: Flash Crowd!


Para onde vamos?   Será que o tráfego é consumido apenas no Brasil?"  Será que a distribuição do conteúdo leva em consideração informações de roteamento (BGP)?"  Será que estamos bem conectados com o destino desse tráfego?"  Para onde todo esse tráfego vai?"

  Temos Netflow/sFlow habilitado nos equipamentos de backbone."  Sabemos o IP e ASN de destinos."

  Não sabemos para qual continente, país, estado ou cidade o tráfego vai."  Não sabemos com precisão por qual link um tráfego para uma determinada região sai."

  Solução:"  Adicionar nos fluxo de tráfego de rede informações de georrefenciamento!"  Adicionar nos fluxos de tráfego informações do roteamento!"

  Desafio:"  Terabytes de dados!"  Bilhões de fluxos!"  Computadores modestos!"  Storage barato!"

–  Como fazer isso?"


Informações de Georreferenciamento   Com resolução de país podem ser obtidas nos RIR’s: "

  Com resolução de país ou cidade podem ser obtidas via ferramenta GeoIP by MaxMind:"  ”This product includes GeoLite data created by MaxMind, available from: http://maxmind.com/""""


NFSEN/NFDUMP   Nossos fluxos de rede são armazenados através da ferramenta: NFDUMP"

  Temos armazenado mais de 2 anos de tráfego!"  Gráficos e relatórios são obtidos através da ferramenta NFSEN"

  Suporte a RRD, perfis, alertas, plugins etc."  Como inserir as informações de roteamento nos arquivos que seguem o padrão do nfdump?"  Como fazer isso de maneira rápida?"

  Solução: Criar ferramenta para editar todos os arquivos armazenados"""


NFFIX   NFFIX é um editor de arquivos do nfdump feito por nós!"  Escrito em C com diversas estruturas de dados para deixa-lo rápido de executar"  Utiliza bases de dados para fazer a consulta de alguma informação"  Acrescenta informações de georreferenciamento em campos que estavam sem uso:"  Exemplo 1:"

Prefix " "MPLS Label1"200.238.128.0/18 "BR ""

  Exemplo 2:"ASN " "MPLS Label3"10881 " "BR ""

  Exemplo 3:"Prefix " "MPLS Label5"200.238.128.0/18 "LACNIC"

  Exemplo 4:"Prefix " "MPLS Label7"200.238.128.0/18 "10881:1200 """"


Trabalho pesado…   Conteúdo anual:"

  365 dias "  288 arquivos por dia (um arquivo a cada 5 minutos)"  Aprox. 40GB por dia."  Cada arquivo com até 6.098.211 de fluxos!"

  Total de fluxos editados – apenas 2012:"6098211 * 288 * 120 = 210.754.172.160 -> aprox. 210GFluxos"

  Cada fluxo fez pelo menos 5 consulta em bases diferentes e alterou 10 campos!"  Cada base tinha até ~ 400k entradas para ser consultada!"

  Ok... Não levou tanto tempo assim... :)"""


Análise de entrada e saída   Efetividade do Espelho:"

  Média de 13Mbps de entrada -> 2.5Gbps de saída!"  Muito efetivo! > 1:150"

Salva recursos de entrada de tráfego!"Gasta muito de recursos para saída de tráfego!"

"


Análise de Entrada   Apenas algumas rajadas"  Outra ordem de grandeza (Mbps)"

"


Análise de Entrada e Saída IPv6   Espelho tem IPv6 nativo"  Tráfego ainda é modesto"  A saída é 1:175 comparado com IPv4! "

"


Análise de Entrada e Saída IPv6   Prova de conteúdo IPv6:!!

;; ANSWER SECTION:!

ufpr.dl.sourceforge.net. 254 !IN !CNAME !sourceforge.c3sl.ufpr.br.!

sourceforge.c3sl.ufpr.br. 300 !IN !AAAA !2801:82:80ff:8000::3!

!

;; ANSWER SECTION:!

ftp.br.debian.org. !3600 !IN !CNAME !debian.c3sl.ufpr.br.!

debian.c3sl.ufpr.br. !300 !IN !AAAA !2801:82:80ff:8000::4!

!

!

;; ANSWER SECTION:!

ubuntu.c3sl.ufpr.br. !300 !IN !AAAA !2801:82:80ff:8000::5!

!

!

"


Tráfego de Saída por Região   Base de dados: RIR – consulta em prefixos alocados/designados."  Em qual região este tráfego é consumido?"

  Conclusão:"  Quase todo tráfego é consumido na região do LACNIC"

  > 90%""


Consumo do Tráfego – bps - Bits   Consulta prefixos alocados/designados – base de dados dos RIR’s:"

  Consulta prefixos – base de dados GeoIP_Country by MaxMind:"

  Maior parte do tráfego consumida no Brasil"  ˜55% Brasil"  ˜45% Outros"

  Resolução de país:"  RIR ˜= GeoIP"


Consumo do Tráfego – fps - Fluxos   Consulta prefixos alocados/designados – base de dados dos RIR’s:"


  Maior parte dos fluxos consumida FORA do Brasil"  47% Brasil"  53% Outros"

  Tráfego é independente de língua: PT e ES!"


Consumo de Tráfego na Região do LACNIC   Consulta prefixos alocados/designados – base de dados dos RIR’s:"


  Aprox. 85% do tráfego é destinado a América do Sul"  > 50% Brasil"  > 35% Outros na

América do Sul!  México, América Central e

Caribe consomem pouco deste espelho."


Consumo de Tráfego na América do Sul   Consulta prefixos alocados/designados – base de dados dos RIR’s:"


  Exceto o Brasil:"  AR"  CL CO VE PE EC"  BO PY UY"  GY GF SR e FK"


Estimativa de Saída do Tráfego   O tráfego de saída é influenciado pela distância de roteamento ou pela distância geográfica?"  Entregamos esse conteúdo por circuitos “baratos” ou “caros” ?"  Solução: Incluir nos fluxos de rede informações de roteamento"

  Utilizamos o Local Preference BGP"  $ - Saída por cliente e PTT’s no Brasil"  $$$ - Saída por peering Acadêmico: RedClara ou Internet2"  $$$$$$$$$ - Saída por provedor comercial"

"


Estimativa de Saída do Tráfego   RNP participa de todos os PTT’s em capitais brasileiras"  RNP possui peering mesmo com “as grandes operadoras brasileiras”"  RNP participa da RedClara (rede acadêmica!)"  RNP NÃO compra trânsito comercial no Brasil (ou nas fronteiras)!"

  Todo o tráfego não trocado no Brasil vai obrigatoriamente para Miami."

"


NAP-MIA - RNP   Contribuímos principalmente com o tráfego de saída (azul)"  O tráfego de entrada (verde) é alto, mas o espelho da UFPR tem pouca influência"  Sempre contratamos circuitos simétricos!"

"


Topologia RedClara


Tráfego com Destino Brasil - Roteamento

  > 95% dos dados é entregue via PTTs + Clientes!"  O que preocupa são os dados nacionais que passam por Miami."

"


Tráfego com Destino Brasil - Roteamento

  O problema é que vemos isso também:""

> traceroute to 189.103.107.59 (189.103.107.59), 64 hops max, 52 byte packets 1 * * * 2 * * * ! 3 mxpr-lanpr-10g-int.bkb.rnp.br (200.143.255.153) 3.412 ms 0.854 ms 0.748 ms 4 pr-sp-10g-oi.bkb.rnp.br (200.143.252.61) 7.701 ms 7.709 ms 7.896 ms 5 sp-ampath-10g-gblx.bkb.rnp.br (200.143.254.234) 115.334 ms 115.401 ms 115.272 ms 6 te7-3.ccr02.mia03.atlas.cogentco.com (38.104.94.73) 115.459 ms 115.429 ms! 7 te4-1.ccr01.mia03.atlas.cogentco.com (154.54.47.69) 295.819 ms 8 144.232.7.89 (144.232.7.89) 116.104 ms 9 sl-st30-mia-0-9-0-0.sprintlink.net (144.232.28.77) 116.426 ms 116.215 ms 115.986 ms 10 sl-embra1-263184-0.sprintlink.net (144.223.64.222) 127.940 ms 123.846 ms 121.730 ms 11 ebt-bundle-pos1114-tcore01.spo.embratel.net.br (200.230.220.65) 145.823 ms 149.198 ms 139.977 ms 12 ebt-t0-0-2-0-tcore01.cta.embratel.net.br (200.230.252.33) 142.453 ms 147.113 ms 140.620 ms 13 ebt-t0-0-0-0-tcore01.pae.embratel.net.br (200.230.251.217) 140.040 ms 144.545 ms 140.923 ms 14 ebt-c1-gacc03.pae.embratel.net.br (200.230.221.17) 142.987 ms 139.769 ms 137.871 ms 15 netservicos-g1-0-311-ngacc02.pae.embratel.net.br (200.248.170.42) 153.232 ms 148.604 ms 141.370 ms 16 bd077002.virtua.com.br (189.7.112.2) 142.278 ms 153.187 ms 141.651 ms!

  > 90% disso acontece com um único ASN brasileiro:"  28573 NET Serviços"

  > 5% disso acontece com o ASN:"  17379 Intelig""


Tráfego com Destino América do Sul - Roteamento

  > 97% dos dados são enviados via Miami!""


Destino em cada país...   Argentina:"

  70% do tráfego é destinado a 3 ASN:"  7303 – Telecom Argentina – 26%"  10481 – Prima S.A. – 25%"  22927 – Telefonica de Argentina – 19%"

  Chile:"  60% do tráfego é destinado a 2 ASN:"

  7418 – Telefonica Chile – 30%"  22047 – VTR Banda Ancha – 30%"

  Colombia"  71% do tráfego é destinado a 4 ASN:"

  10620 – Telmex Colombia – 20%"  13489 – EPM Telecomuniciones – 18%"  3816 – Colombia Telecomunicaciones – 17%"  19429 – ETB Colombia – 16%"

"


Destino em cada país...   Bolívia:"

  79% do tráfego é destinado a 4 ASN:"  6568 – ADSIB/Entel – 32%"  25620 – COTAS – 20%"  26210 – AXS – 17%"  27839 – CONTECO – 10% "

  Paraguai:"  95% do tráfego é destinado a 4 ASN:"

  23201 – Telecel S.A. – 41%"  27866 – CO.PA.CO – 30%"  27895 – Núcleo S.A. – 15%"  27768 – CO.PA.CO – 9%"

  Uruguai:"  95% do tráfego é destinado a 1 ASN:"

  6057 – Antel – 95%"

"


Destino em cada país...   Venezuela:"

  77% do tráfego é destinado a 1 ASN:"  AS8048 – CANTV Servicios – 77%"

  Peru:"  82% do tráfego é destinado a 1 ASN:"

  AS6147 – Telefonica del Peru – 82%"  Equador:"

  70% do tráfego é destinado a 3 ASN:"  14420 – CNT – Corporacion Nacional de Telecomunicaciones – 42%"  27947 – Telconet S.A. – 17%"  14522 – Satnet – 11%"

  e no Brasil:"  74% do tráfego é destinado a 6 ASN:"

  7738 – Oi – 19%"  28573 – NET – 14%"  18881 – GVT – 14%"  27699 – Telefonica – 12%"  8167 – Oi/Brt – 12%"  4230 – EMBRATEL – 3%"

"

"


Cidades de Destino em cada país...   Utilizamos como base de dados o GeoIP_City by MaxMind"  ????? = Cidade Indeterminada na base de dados!"

  Ver imprecisão por país: http://www.maxmind.com/app/city_accuracy"  Os valores são aproximados!""  Argentina:"

  35% Buenos Aires"  8% ?????"  5,4% Rosário"  4,7% Cordoba"

  Chile:"  64% Santiago"  12% ?????"  4% Concepcion"

  Colombia"  46% Bogotá"  14% Medellin"  9% Cali"  8% ?????"

"


Cidades de Destino em cada país...   Bolívia:"

  36% La Paz"  30% ?????"  20% Santa Cruz de La Sierra"  10% Cochabamba"

  Paraguai:"  58% Asunción"  13% Fernando de La Mora"  12% ?????"  4% Villarrica"  4% Luque"

  Uruguai:"  80% Montevideo"  3% ?????"  2,5% Maldonado"

"


Cidades de Destino em cada país...   Venezuela:"

  45% Caracas"  8% Valencia"  7% Maracaibo"

  Peru:"  69% Lima"  5% Arequipa"  5% ?????"

  Equador:"  41% Quito"  20% ?????"  18% Guayaquil"  3% Cuenca"

  e no Brasil:"  17% ?????"  11% São Paulo"  6,5% Rio de Janeiro"  ~3,0% para cada uma das seguintes cidades: Curitiba, Salvador, Brasília, Belo Horizonte, Fortaleza e Porto

Alegre""

"


Conclusão   O destino do tráfego GPL mantido pela UFPR é destinado a América do Sul"  Informações de roteamento não são levadas em consideração para a distribuição do tráfego GPL"

  Diferente de caches de CDN"  Considerando este tráfego apenas uma amostra, há interesse de tráfego entre os países da América do Sul"  O tráfego GPL é independente de língua: Português ou Espanhol"  Todos os grandes provedores nacionais estão pagando para esse tráfego vir dos Estados Unidos da América"  Precisamos Interconectar melhor a América do Sul, vide RedClara"  Poucos sistemas autônomos de cada país detém a maior parte do tráfego (via Miami)"  Apenas lembrando: Copa do Mundo 2014 e Jogos Olímpicos Rio 2016"

  Vocês vão pegar esses conteúdos nos Estados Unidos?"

"

Perguntas?

[email protected]

georrefenciamento da distribuição de conteúdo gpl · o tráfego de saída é inﬂuenciado pela...

Documents