observando o universo bit - inf.ufpr.br filerodrigo brandão mansilha, alan mezzomo, giovani...

Rodrigo Brandão Mansilha, Alan Mezzomo, Giovani Facchini, Luciano Paschoal Gaspary, Marinho Pilla Barcellos

UFRGS - 2010

XXVIII Simpósio Brasileiro de Redes de Computadores e Sistemas Distribuídos

Apresentação por Leandro Guadagnin

Universidade Federal do Paraná

Observando o Universo BitTorrent Através de Telescópios

Sumário

• Objetivo

• Motivação

• Introdução

• O Universo BitTorrent

• Arquitetura, estratégias, lentes do telescópio

• Avaliação

• Resultados

• Conclusão

• Trabalhos Futuros

• Análise Crítica

25/10/2010 Observando o universo BitTorrent através de Telescópios 2

Objetivo

Propor uma arquitetura flexível para monitorar deforma eficiente o ”Universo BitTorrent” através dacombinação de diferentes estratégias de observaçãode acordo com informações desejadas.


Motivação

Responsável por 45% a 78% de todo o compartilhamento P2P, dependendo da localização

Pouco se sabe sobre o funcionamento do BitTorrent e padrões de comportamento de seus usuários

Métodos de observação pobres em detalhe, exatidão e/ou cobertura

Vantagens do BitTorrent:

Campanhas de marketing baseadas em conteúdo, estimar perdas financeiras com cópias ilegais – pirataria, auxiliar Internet Service Providers na investigação de métodos que minimizem o custo de tráfego, combate a pedofilia, possibilidade de intercâmbio de informações entre comunidade científica


Introdução

Bram Cohen, 2003

O BitTorrent nasceu de uma implementação que foi incrementada, estendida e testada por usuários

Escala: planetária. Milhões de usuários operando sobre uma camada de aplicação

Dimensão, complexidade, heterogeneidade e incerteza

Formado por milhões de ”pequenas” redes sobrepostas (overlays) desconexas chamadas de enxames.

Desafio: chegar ao enxame desejado


O Universo BitTorrent

Constituído por:

Enxames

Pares

Rastreadores (pontos de encontro)

Conteúdos (conteúdo digital)

Ex.: um par é um agente de usuário que executa o protocolo e participa de um ou mais enxames, de acordo com o conteúdo que deseja compartilhar


O Universo BitTorrent

Par: semeador ou sugador

Para ingressar em um enxame o par contata um rastreador e recebe uma lista de ips dos pares participantes daquele enxame

Para participar de um enxame um agente de usuário usa um arquivo de torrent que contém as informações sobre os fragmentos dos arquivos

Para distribuir um conteúdo o par deve gerar um torrent e torná-lo público, geralmente publicando-o em websites chamados de comunidades.

Comunidades:

abertas ou fechadas; agregadoras

Ex: BJ Share http://www.bj-share.net


O Universo BitTorrent - Download


Exemplo do Universo BitTorrent


Estratégias para extração de informação

3 tipos de acordo com a fonte de informação

Comunidades: conteúdo, rastreadores e pares

Rastreadores: logs, listas de ips

Pares: pacotes, conexão com pares

Custo das estratégias

O custo da combinação das estratégias é definido pelo produto do custo com relação a cobertura, riquesa de detalhe e exatidão.

Métricas: uso de cpu, uso de memória e recursos de rede.


Escolhendo as estratégias

Monitoramento

Comunidades: economia de recursos, não possui informação sobre os pares

Rastreadores: população de pares, menor intrusividade e menor custo, ausência de informação sobre conteúdo

Pares: riqueza de detalhes, maior custo

Monitoramento ativo e passivo

PROPOSTA: COMBINAÇÃO DE TODAS AS ESTRATÉGIAS


Modelo de informações - TorrentU

Modelo que fornece uma estruturação e ligação a respeito das comunidades, pares, rastreadores e demais elementos do universo BitTorrent


Arquitetura

TorrentU Observer

Front-end ou gerente da aplicação

Configuração do sistema

Observação dos dados coletados

Composto por: User Interface, Requester, Strategist e Observer Repository

TorrentU Telescope

Responsável pelo monitoramento do Universo BitTorrent

Resposta ao Observer

Composto por: Provider, Telescope Repository e Monitor

Monitor: divido em ”lentes”:

Community Lens

Tracker Lens

Peer Lens


Exemplo de Arquitura


Lentes do Telescópio

Community lens

Monitoramento da publicação de arquivos torrents em websites.

Utilização de parsers específicos para as comunidades

Estrutura clara para facilitar a elaboração dos parsers

Crawler focado: utilizado para obter arquivos torrent de comunidades que possuem mecanismo de busca.



Tracker Lens

Monitoramento dos rastreadores

Extração da quantidade de pares (sugadores e semeadores), endereços IP, portas e informações sobre os próprios rastreadores

O tracker lens se anuncia ao rastreador que retorna um subconjunto de sua lista de pares

Frequência de monitoramento de acordo com a carga e entrada de novos pares



Peer lens

Monitoramento dos pares

Extração de informações como nível de popularidade de determinado agente de usuário, sua versão, taxas de download/upload, quantidade de fragmentos baixados

Round Robin

A cada rodada a lente tenta se comunicar com n pares dispostos em uma fila circular.

Firewall: inalcançáveis. Aguarda a comunicação.


Avaliação

Protótipo em Java 1.6

SGBD MySQL

Atendimento aos requisitos

Escalabilidade: recursos X componentes utilizados

Escalável verticalmente e horizontalmente

Flexibilidade

Parâmetros para definir a riqueze de detalhes, cobertura e exatidão


Ocupação de Recursos


Avaliação

Estratégia vs. Eficiência

Valores estimados

Tam. arquivo torrent: 20 KB

Número de pares por rastreador: 50

Tam. mensagem HAVE de um par: 7 bytes

Tam. mensagem handshake: 136 bytes

Tam. Mensagem bitfield de um par: 180 bytes.

Cenário

Total de pares: 100.000

Total de torrents: 100

Quantidade de peças por torrent: 500


Avaliação

Exemplo:

Com base neste cenário, deseja-se saber ”quais os conteúdos compartilhados”.

O custo possível varia de 2 MB a 384 MB

Tamanho total em torrents das comunidades

2 MB = 100 arquivos de torrent * 20 KB = 2.000 KB

Tamanho total em torrents + todas as msgs do protoc.

384 MB = 2 MB + ....

Carga do monitoramento no decorrer de 2 dias

Entre 0,09 kbps e 17,68kbps


Avaliação

Conclusão do exemplo

Como o TorrentU é flexível na escolha de suas estratégias e, tomando-se o resultado dos cálculos anteriores, o custo é minimizado utilizando-se apenas a técnica Community Lens. Desta forma, serão baixados apenas 2 MB, economizando-se o tempo de download dos outros 382 MB.


Avaliação

Estudo de caso

Agenda de lançamentos

do seriado “Family Guy”

Comunidades:

BTJunkie

IsoHunt

TorrentDownloads

Período de observação: pouco mais de 22 horas, iniciando 4 horas antes da estréia do episódio


Avaliação


Avaliação


Amostras do monitoramento em diferentes horários de observação

Trabalhos Futuros

Projeto e implementação do BitTorrent Observer

Determinar a quantidade de telescópios, para onde ”apontarão” e quais estratégias usar para atender determinado objetivo de observação

Implementação de múltiplas instâncias do protótipo e efetuar observações de longo prazo na Internet (Planet Lab)

Estender a arquitetura do TorrentU


Conclusão do Trabalho

Além de definir o ”Universo BitTorrent” e seuselementos, este trabalho demonstra diferentesestratégias de extração de informações que,combinadas de acordo com a disponibilidade dosrecursos, fornece resultados com diferentes grausde exatidão para a observação deste universoquase que imensurável, o BitTorrent.


Análise Crítica

É desenvolvido um protótipo e realizado um estudo de caso que validam a idéia do autor

Necessidade de explicitar melhor os resultados com relação a observação das ”lentes”

A solução é aplicável para quaisquer tipos de redes p2p. O que mudaria seria qual o tipo de lentes e serem utilizadas e como seriam utilizadas.


OBRIGADO!


observando o universo bit - inf.ufpr.br filerodrigo brandão mansilha, alan mezzomo, giovani...

Documents