observando o universo bittorrent através de telescópios

Rodrigo Brandão Mansilha, Alan Mezzomo, Giovani Facchini, Luciano Paschoal Gaspary, Marinho Pilla Barcellos

UFRGS - 2010

XXVIII Simpósio Brasileiro de Redes de Computadores e Sistemas Distribuídos

Apresentação por Leandro Guadagnin

Universidade Federal do Paraná

Observando o Universo BitTorrent Através de Telescópios

Sumário• Objetivo• Motivação• Introdução• O Universo BitTorrent

• Arquitetura, estratégias, lentes do telescópio • Avaliação• Resultados• Conclusão• Trabalhos Futuros• Análise Crítica

25/10/2010 Observando o universo BitTorrent através de Telescópios 2

Objetivo

Propor uma arquitetura flexível para monitorar de forma eficiente o ”Universo BitTorrent” através da combinação de diferentes estratégias de observação de acordo com informações desejadas.


Motivação Responsável por 45% a 78% de todo o compartilhamento

P2P, dependendo da localização Pouco se sabe sobre o funcionamento do BitTorrent e

padrões de comportamento de seus usuários Métodos de observação pobres em detalhe, exatidão e/ou

cobertura Vantagens do BitTorrent:

Campanhas de marketing baseadas em conteúdo, estimar perdas financeiras com cópias ilegais – pirataria, auxiliar Internet Service Providers na investigação de métodos que minimizem o custo de tráfego, combate a pedofilia, possibilidade de intercâmbio de informações entre comunidade científica


Introdução Bram Cohen, 2003 O BitTorrent nasceu de uma implementação que foi

incrementada, estendida e testada por usuários Escala: planetária. Milhões de usuários operando

sobre uma camada de aplicação Dimensão, complexidade, heterogeneidade e

incerteza Formado por milhões de ”pequenas” redes

sobrepostas (overlays) desconexas chamadas de enxames.

Desafio: chegar ao enxame desejado


O Universo BitTorrent Constituído por:

Enxames Pares Rastreadores (pontos de encontro) Conteúdos (conteúdo digital)

Ex.: um par é um agente de usuário que executa o protocolo e participa de um ou mais enxames, de acordo com o conteúdo que deseja compartilhar


O Universo BitTorrent Par: semeador ou sugador

Para ingressar em um enxame o par contata um rastreador e recebe uma lista de ips dos pares participantes daquele enxame

Para participar de um enxame um agente de usuário usa um arquivo de torrent que contém as informações sobre os fragmentos dos arquivos

Para distribuir um conteúdo o par deve gerar um torrent e torná-lo público, geralmente publicando-o em websites chamados de comunidades.

Comunidades: abertas ou fechadas; agregadorasEx: BJ Share http://www.bj-share.net


O Universo BitTorrent - Download


Exemplo do Universo BitTorrent


Estratégias para extração de informação 3 tipos de acordo com a fonte de informação

Comunidades: conteúdo, rastreadores e pares Rastreadores: logs, listas de ips Pares: pacotes, conexão com pares

Custo das estratégias O custo da combinação das estratégias é definido pelo

produto do custo com relação a cobertura, riquesa de detalhe e exatidão.

Métricas: uso de cpu, uso de memória e recursos de rede.


Escolhendo as estratégias Monitoramento

Comunidades: economia de recursos, não possui informação sobre os pares

Rastreadores: população de pares, menor intrusividade e menor custo, ausência de informação sobre conteúdo

Pares: riqueza de detalhes, maior custo Monitoramento ativo e passivo

PROPOSTA: COMBINAÇÃO DE TODAS AS ESTRATÉGIAS


Modelo de informações - TorrentU Modelo que fornece uma estruturação e ligação a

respeito das comunidades, pares, rastreadores e demais elementos do universo BitTorrent


Arquitetura TorrentU Observer

Front-end ou gerente da aplicação Configuração do sistema Observação dos dados coletados Composto por: User Interface, Requester, Strategist e

Observer Repository TorrentU Telescope

Responsável pelo monitoramento do Universo BitTorrent Resposta ao Observer Composto por: Provider, Telescope Repository e Monitor

Monitor: divido em ”lentes”: Community Lens Tracker Lens Peer Lens


Exemplo de Arquitura


Lentes do Telescópio Community lens

Monitoramento da publicação de arquivos torrents em websites.

Utilização de parsers específicos para as comunidades Estrutura clara para facilitar a elaboração dos parsers

Crawler focado: utilizado para obter arquivos torrent de comunidades que possuem mecanismo de busca.


Lentes do Telescópio Tracker Lens

Monitoramento dos rastreadores Extração da quantidade de pares (sugadores e

semeadores), endereços IP, portas e informações sobre os próprios rastreadores

O tracker lens se anuncia ao rastreador que retorna um subconjunto de sua lista de pares

Frequência de monitoramento de acordo com a carga e entrada de novos pares


Lentes do Telescópio Peer lens

Monitoramento dos pares Extração de informações como nível de popularidade

de determinado agente de usuário, sua versão, taxas de download/upload, quantidade de fragmentos baixados

Round Robin A cada rodada a lente tenta se comunicar com n pares

dispostos em uma fila circular. Firewall: inalcançáveis. Aguarda a comunicação.


Avaliação Protótipo em Java 1.6 SGBD MySQL Atendimento aos requisitos

Escalabilidade: recursos X componentes utilizados Escalável verticalmente e horizontalmente

Flexibilidade Parâmetros para definir a riqueze de detalhes,

cobertura e exatidão


Ocupação de Recursos


Avaliação Estratégia vs. Eficiência Valores estimados

Tam. arquivo torrent: 20 KB Número de pares por rastreador: 50 Tam. mensagem HAVE de um par: 7 bytes Tam. mensagem handshake: 136 bytes Tam. Mensagem bitfield de um par: 180 bytes.

Cenário Total de pares: 100.000 Total de torrents: 100 Quantidade de peças por torrent: 500


Avaliação Exemplo:

Com base neste cenário, deseja-se saber ”quais os conteúdos compartilhados”.

O custo possível varia de 2 MB a 384 MB Tamanho total em torrents das comunidades

2 MB = 100 arquivos de torrent * 20 KB = 2.000 KB Tamanho total em torrents + todas as msgs do protoc.

384 MB = 2 MB + .... Carga do monitoramento no decorrer de 2 dias

Entre 0,09 kbps e 17,68kbps


Avaliação Conclusão do exemplo

Como o TorrentU é flexível na escolha de suas estratégias e, tomando-se o resultado dos cálculos anteriores, o custo é minimizado utilizando-se apenas a técnica Community Lens. Desta forma, serão baixados apenas 2 MB, economizando-se o tempo de download dos outros 382 MB.


Avaliação Estudo de caso

Agenda de lançamentos do seriado “Family Guy”

Comunidades: BTJunkie IsoHunt TorrentDownloads

Período de observação: pouco mais de 22 horas, iniciando 4 horas antes da estréia do episódio


Avaliação


Avaliação


Amostras do monitoramento em diferentes horários de observação

Trabalhos Futuros Projeto e implementação do BitTorrent Observer

Determinar a quantidade de telescópios, para onde ”apontarão” e quais estratégias usar para atender determinado objetivo de observação

Implementação de múltiplas instâncias do protótipo e efetuar observações de longo prazo na Internet (Planet Lab)

Estender a arquitetura do TorrentU


Conclusão do Trabalho Além de definir o ”Universo BitTorrent” e seus

elementos, este trabalho demonstra diferentes estratégias de extração de informações que, combinadas de acordo com a disponibilidade dos recursos, fornece resultados com diferentes graus de exatidão para a observação deste universo quase que imensurável, o BitTorrent.


Análise Crítica É desenvolvido um protótipo e realizado um estudo

de caso que validam a idéia do autor Necessidade de explicitar melhor os resultados

com relação a observação das ”lentes” A solução é aplicável para quaisquer tipos de redes

p2p. O que mudaria seria qual o tipo de lentes e serem utilizadas e como seriam utilizadas.


OBRIGADO!


observando o universo bittorrent através de telescópios

Documents