aula de redes 1

1BC-0506Comunicao e Redes

David Correa Martins [email protected]

2Apresentao

Prof. David Correa Martins Jr (CMCC)E-mail: [email protected]: Graduao, mestrado e doutorado em Cincia da Computao (Instituto de Matemtica e Estatstica USP) Estgio de doutorado de 1 ano no Texas A&M University

SBC, Bloco Delta, sala 253 (oficial)SA, Bloco A, sala 541-2 (extra-oficial)

rea de pesquisaReconhecimento de padres em aplicaes de Bioinformtica e Viso Computacional/Processamento de imagensAtualmente com foco em problemas de Biologia Sistmica Modelagem, simulao e inferncia de redes de regulao gnica Priorizao de genes associados a doenas complexas atravs da

anlise de redes biolgicas (complexas) Redes de expresso gnica, redes de protenas, redes

metablicas, ...

3Roteiro da Aula

Apresentao da DisciplinaObjetivosEmentaAvaliaoCronogramaProjetoReferncias

IntroduoSistemas ComplexosRedes ComplexasRedes no mundo realClassificaes de redes

4Parte 1Apresentao da Disciplina

5Apresentao Grafo (do grego grafos: desenho, imagem):

Um grafo um conjunto de objetos chamados vrtices ou ns, ligados por retas, chamadas arestas.

Representao:- Pontos (Vrtices ou ns)- Linhas (Arestas ou ligaes entre ns)

8Apresentao Os grafos so uma ferramenta muito til pois...

permitem estudar as inter-relaes entre atores que interagem entre eles

Pessoas Animais Objetos (computadores, imagens, filmes) Praticamente qualquer problema pode ser representado por um

grafo

9Objetivo Geral

Conhecer e trabalhar com a rea interdisciplinar de redes complexas (ou cincia das redes), envolvendo conceitos, aplicaes, relacionamentos, mtodos e ferramentas

10

Objetivos Especficos

Compreender os conceitos fundamentais de redes complexas, uma rea interdisciplinar que envolve disciplinas como fsica, matemtica, engenharia, computao, biologia e sociologia

Conhecer a teoria dos grafos e sua aplicao nas redes complexas

Conhecer os principais tipos de redes, como redes small-world e scale-free

Conhecer aplicaes dos conceitos em vrias redes do mundo real, como redes tecnolgicas, de informao, sociais e biolgicas

11

Ementa

Introduo e motivao: contexto e aplicaesTeoria dos grafosLeis de potnciaGrafos aleatriosRedes de mundo pequeno (small world)Redes sem escala (scale-free)Redes de computadores, Internet e WebRedes sociais (incluindo redes sociais online)Redes biolgicas

12

MetodologiaEm sala de aula: aulas expositivas e discussoApresentao e discusso dos slides AnimaesDemonstraes com softwaresExerccios em sala

Fora da sala de aulaListas de exerccios exerccios tericos exerccios prticos envolvendo programao, execuo de

softwares e anlise de resultadosProjeto pesquisas de resultados cientficos, incluindo coleta de dados gerao e anlise de resultados via programao e execuo de

softwares

13

AvaliaoProva: 28 de julho 50%Projeto: 4 de agosto 30% Apresentao de seminaios (4/8 e 7/8) 1/3 Relatrio em forma de artigo 2/3Atividades para entrega (~4 no total) 20% Mdia Final (MF) = 0,5*Prova + 0,3*Projeto + 0,2*Listas

MF < 5: F5

14

Cronograma estimado de aulas

Data Contedo

26/5 Apresentao, introduo e motivao

29/5 Introduo a teoria dos grafos: conceitos bsicos e representao

2/6 Busca em largura em grafosDefinio dos temas do projeto

9/6 Busca em profundidade em grafos

12/6 Caminhos mnimos em grafos

16/6 Lei de potncia e propriedades estruturais

23/6 Propriedades estruturais (continuao)Entrega dos relatrios parciais do projeto

26/6 Modelos de redes: redes aleatrias e redes de mundo pequeno

30/6 Modelos de redes: redes livres de escala, vulnerabilidade e modularidade

15

Cronograma estimado de aulas

Data Contedo

7/7 Vulnerabilidade e modularidade em grafos;

14/7 Redes de computadores; Internet e Web

21/7 Internet e Web como redes complexas

24/7 Redes sociais e redes biolgicas como redes complexas

28/7 Prova

4/8 Entrega dos projetosApresentao dos seminrios (1 dia)

7/8 Apresentao dos seminrios (2 dia)

11/8 Prova de recuperao

16

Material e atividades

Os slides das aulas, enunciados de atividades, notas e outras comunicaes da disciplina sero publicadas no Tidia:

http://tidia.ufabc.edu.br [CR-2015.2-Noite-A1]Listas de atividades sero realizadas individualmente

Entrega de atividades via formulrios online (Google)

Projeto: entrega do tema, relatrio parcial, relatrio final e slides das apresentaes no Tidia (Seo Atividades)

17

ProjetoTema livre, relacionando os conceitos aprendidos na disciplina com o tema escolhido

Entregar arquivo texto contendo os integrantes do grupo, o tema e um resumo (~250 palavras) At 2/6 no Tidia->Seo Atividades

Relatrio parcialEntregar arquivo PDF contendo um relatrio descrevendo o que cada membro do grupo fez at o momento, resultados parciais e cronograma das prximas etapas (incluindo o que cada membro pretende fazer) At 23/6 no Tidia-> Seo Atividades

Projeto: entrega do relatrio final e slides das apresentao no Tidia

At 4/8

18

Projeto

Grupos de 5 ou 6 pessoasRelatrio final em formato de artigo de at 8 pginas (ou 9 pginas, onde a 9 pgina s pode conter referncias)

- Formato IEEE coluna dupla, em Doc ou Latex- Templates Doc e Latex disponveis no Tidia

- Seo Repositrio->Projeto->Templates - Entrega em PDF

Apresentao (4/8 e 7/8) Cada grupo ter no mximo 10 minutos para apresentar os

resultados do projeto Previstos no mximo 5 minutos para perguntas

19

Bibliografia Bsica Redes complexas:Barabasi, A.L. Linked: How Everything Is Connected to Everything Else and What It Means for Business, Science and Everyday Life, - 2003PT: Linked: A Nova Cincia dos networks: Como tudo est conectado a tudo e o que isso significa para os negcios, relaes sociais e cincia - 2009.Grafos e algoritmos:T. H. Comen, C. E. Leiserson, R. L. Rivest, C. Stein. Introduction to Algorithms. The MIT Press. 3rd Edition. 2009.PT: Introduo a algoritmos - 2009.Redes de computadores:J. F. Kurose, K. W. Ross. Computer Networking: A Top-Down Approach. Addison-Wesley. 5th Edition. 2010.PT: Redes de computadores e a internet - 2010.

20

Bibliografia ComplementarNewman, M., The Structure and Function of Complex Networks, Siam Review, Vol. 45, No 2, pp.167256, 2003.

Watts, D. J., Six Degrees: The Science of a Connected Age, Norton & Company, 2003.

Boccalettia, S. et al., "Complex networks: Structure and dynamics", Physics Reports 424, pp. 175 308, 2006.

Albert, R., Barabasi, A.-L., Statistical mechanics of complex networks, Reviews of Modern Physics, Vol. 74, 2002.

Costa, L. F. et al., Characterization of Complex Networks: A Survey of measurements, Europhysics Letters, 85, 2009.

21

Parte 2:Introduo e Motivao

22

Sistemas Complexos

Sistemas complexos no so simplesmente sistemas grandes ou complicados

Aparentemente no existe uma definio consensual sobre o que so sistemas complexos, mas existem algumas caractersticas comuns apresentadas por tais sistemas, que a maioria dos pesquisadores concorda

23

Sistemas Complexos: Definies

Um sistema composto de um grande nmero de entidades, processos ou agentes que interagem entre si, cuja compreenso necessita do desenvolvimento de novas tcnicas, como modelos no lineares e simulao computacionall [Advances in Complex Systems Journal] Um sistema que pode ser analisado atravs de seus muitos componentes interrelacionados, onde o comportamento de cada um depende do comportamento dos outros

24

Sistemas Complexos: Definies

Um sistema que envolve um grande nmero de agentes que interagem, cujo comportamento agregado no linear, ou seja, no pode ser derivado da soma dos comportamentos dos componentes individuais Um sistema composto de partes interconectadas que como um todo apresenta uma ou mais propriedades (comportamentos) que no so bvios a partir das propriedades das partes individuais

25

Sistemas Complexos: Exemplos

Alguns exemplosColnias de formigasEconomias humanasEstruturas sociaisSistemas nervosos Clulas e seres vivos em geralInfraestruturas de energia e comunicaesInternet

Muitos sistemas que interessam os serem humanos so sistemas complexos

26

Sistemas Complexos: Algumas CaractersticasRedes dinmicasO dinamismo das ligaes entre os componentes de um sistema complexo importanteSistemas complexos podem ser aninhadosEconomia feita de organizaes, que so feitas de pessoas, que so feitas de clulas (todos complexos)

Produo de fenmenos emergentesAlgumas propriedades somente podem ser compreendidas em um nvel mais alto, como resultado das interao dos agentesEx.: colnias de formigas ou cupins

27

Sistemas Complexos: Algumas Caractersticas

Relacionamentos so no linearesO efeito pode no ser proporcional causaUma pequena perturbao pode causar um grande efeito, um efeito proporcional ou nenhum efeito

Relacionamentos com retroalimentao (feedback loops)

O efeito de um elemento colocado de volta como uma entrada para o sistema

28

Redes

Uma rede um conjunto de itens (vrtices ou ns) com conexes entre eles (arestas)

Em termos matemticos ou computacionais, redes so chamadas de grafos

Sistemas que assumem a forma de redes existem em grande quantidade no mundoRedes podem ser usadas para modelar problemas de vrias reas diferentes

Ns podem representar qualquer tipo de entidadeArestas podem representar qualquer tipo de relacionamento, concreto ou abstrato

29

Redes: Exemplos

Internet e World Wide Web (WWW)Redes sociais de amigos, conhecidos ou qualquer outro relacionamento entre indivduosRedes organizacionais e redes de relacionamentos entre empresasRedes neuraisRedes metablicasTeias alimentaresRedes de distribuio, como vasos sanguneos e rotas postaisRedes de citaes entre artigos

30

O Estudo de Redes

O estudo das redes na forma da teoria dos grafos um dos pilares fundamentais da matemtica discreta

A soluo de Euler para o problema das pontes de Knigsberg citado como o primeiro problema a ser resolvido com redesEuler inventou a teoria dos grafos para esse problema

Redes sociais tem sido muito estudadasUso de questionrios para saber quem tem um relacionamento com quemQuestes de centralidade e conectividade

31

O Estudo de Redes

Nos ltimos anos o estudo das redes ganhou um grande impulso

Pesquisa deixou de considerar grafos pequenos e propriedades de vrtices ou arestas individuaisFoco nas propriedades estatsticas dos grafos

O motivo a disponibilidade de computadores e redes de comunicao

Permitem coletar e analisar grandes quantidades de dados em pouco tempoMilhares, milhes ou at bilhes de vrticesContra dezenas ou centenas em pesquisas anteriores

32

Redes Complexas

Uma rede complexa uma rede com caractersticas topolgicas no triviais

Caractersticas que no ocorrem em redes simples como grafos aleatrios ou anis (ring lattices)

Sistemas complexos naturais frequentemente possuem topologias mais elaboradas

lattice grafo aleatrio

33

Colaborao entre Cientistas

Em uma rede pequena, possvelobter uma interpretao visual

Exemplo pequeno de colaboraoentre cientistas

34

Colaborao entre Cientistas Entretanto, para redes grandes....

35

Colaborao entre Cientistas Entretanto, para redes grandes....

36

Teia alimentar (presa-predador)

37

Internet

38

Redes no Mundo Real

39

Redes no Mundo RealNos estudos de redes de grande porte, impossvel realizar uma interpretao visual

Neste caso, fundamental criar ferramentas computacionais

Idia: extrair informaes para caracterizar a estrutura da rede

40

Motivao

Redes complexas formam a espinha dorsal dos sistemas complexos

Cada sistema complexo uma rede de interaes entre um grande nmero de elementos pequenos

Compreender um sistema complexo requer quebr-lo em partes e depois remont-lo

41

Motivao

A caracterizao da topologia das redes importante porque em geral a estrutura afeta a funo (e vice-versa)

Exemplo: Estrutura de redes sociaisPrevenir a transmisso de doenasControlar a disseminao de informao (marketing, moda, boatos, etc.)

Exemplo: Estrutura da rede eltrica e InternetCompreender a robustez e estabilidade dos sistemas de transmisso de energia e de dados

42

Tipos de Redes

Um conjunto de vrtices ligados por arestas o tipo mais simples de rede

Vrtices e arestas podem ter uma grande quantidade de atributos associadosArestas podem ser direcionadas, representando relaes unidirecionais

Exemplo: redes sociaisVrtices podem representar pessoas de sexo, nacionalidade, idade e renda diferentesArestas podem indicar relaes interpessoais Pesos nas arestas podem representar o grau de conhecimento que uma pessoa tem da outra

43

Tipos de Redes

rede no direcionada com um tipo de aresta e vrticerede com tipos diferentes de vrtices e arestasrede com pesos variados nas arestas e nos vrticesrede direcionada

44

O que a rea de redes estuda?

Propriedade estatsticas das redesEncontrar propriedades estatsticas (ex.: tamanhos de caminhos e distribuies de grau), que caracterizem sua estrutura e seu comportamentoEncontrar maneiras de medir essas propriedades

Modelos de redesCriar modelos de redes para compreender o significado das suas propriedades

45

O que a rea de redes estuda?

Predio de comportamento dos sistemasPrever qual comportamento os sistemas tero com base nas propriedades estruturais medidas e nas regras locais que governam os vrtices individuais

Exemplos: como a estrutura da rede afeta? O trfego na Internet? O desempenho de um mecanismo de busca na Web? A dinmica de sistemas sociais? A dinmica de sistemas biolgicos?

46

Redes no Mundo Real

Vrios tipos de redes tm sido estudados nos ltimos anosCostuma-se classificar as redes em 4 categorias, que englobam tipos semelhantes

Outras classificaes so possveisCategorias de redesRedes sociaisRedes de informaoRedes tecnolgicasRedes biolgicas

47

Redes Sociais

Uma rede social um conjunto de pessoas ou grupos de pessoas com algum padro de contato ou interao entre elesExemplosAmizades entre indivduosRelacionamentos comerciais entre empresasCasamentos entre famliasRelacionamentos sexuais (ex.: controle de DST)

48

Experimento Small World

Stanley Milgram realizou um experimento nos anos 1960, cujo resultado gerou o famoso problema do mundo pequeno (small world), ou seis graus de separao

Pessoas de cidades do interior (meio oeste) dos EUA receberam solicitaes de entregar uma carta para uma pessoa desconhecida em Boston

Elas deviam enviar pelo correio a carta para algum que conhecessem bem e que em sua opinio estivesse mais prximo do destino

49


O objetivo foi avaliar a distribuio dos tamanhos dos caminhos em uma rede de pessoas conhecidasA maioria das cartas foi perdida, mas cerca de um quarto atingiu o destinoPelo procedimento adotado, foi possvel medir a quantidade de pessoas que participaram de cada caminho entre origem e destino

O menor foi 3 (alguns foram da ordem de dezenas)A mdia dos caminhos entre as pessoas foi 6

50


O resultado do experimento deu origem ao conceito dos Seis Graus de Separao que se tornou popular

51

Seis Graus de Separao

52

Redes Sociais: Problemas

Os estudos tradicionais em redes sociais tem vrios problemas: impreciso, subjetividade e amostra de tamanho pequenoA coleta de dados , em geral, realizada atravs de questionrios ou entrevistas

Mtodos trabalhosos, que limitam o tamanho da redeOs dados so influenciados por aspectos subjetivos das pessoas que respondem

Ex.: o conceito de amigo pode variar entre pessoasAs pessoas podem no dizer a verdadeCom ou sem inteno

53

Redes Sociais: Solues Atuais

Nos tempos da Internet, a obteno de dados com alto grau de preciso tornou-se simples, tornando disponveis dados sobre redes de colaboraes em diferentes nveis

Existem vrios bancos de dados disponveis com dados de vrios tipos de relacionamentos

Artistas de Hollywood e filmes em que eles participaramJogadores e futebol e clubesPesquisadores e co-autoria de artigos

54

Redes Sociais Online

As redes sociais online so grande objeto de estudo atualmenteRelaes estticas e dinmicasEstticas: as relaes so explicitamente escolhidas e/ou aprovadas pelos participantesEx: amigos no Facebook, contatos profissionais no LinkedIn, seguidores no TwitterPodem no representar relacionamentos ativosDinmicas: com quem voc se comunica (ex.: mensagens no Facebook, Whatsapp, Skype, Gtalk)Essas representam relacionamentos ativos

55

Redes Sociais Online: Dados

Obteno de dados automaticamente das redes sociais fcil

Milhes de usurios, relacionamentos e outras informaes podem ser recuperados

Em geral, possvel obter toda a rede de relacionamentos das redes sociais, atravs de programas do tipo crawler que executam continuamente e recuperam dados

Utilizando as interfaces de programao (APIs) que elas disponibilizamFazendo requisies a partir das pginas Web

56

Redes de Informao

Redes de informao so tambm chamadas de redes de conhecimento porque uma informao faz referncia outra, de modo que se torna possvel navegar entre as informaesRedes de citao de artigosArtigos citam outros artigosA partir disso, os pesquisadores podem conhecer outras fontes de informao sobre um assuntoEstrutura: alguns pesquisadores publicam muito mais e so muitos mais citados do que outrosNo estilo de uma lei de potncia

57

Redes de Informao

World Wide Web (WWW)A Web forma uma rede de informao, funcionando como um servio da Internet Importante: Internet e Web NO so sinnimosPginas contm links para outras pginasEstrutura Algumas pginas so extremamente mais referenciadas do que

outras (grandes portais, por exemplo) Algumas pginas referenciam uma quantidade enorme de outras

pginas (mecanismos de busca, como o Google) Novamente, no estilo de uma lei de potncia

Outros exemplosRedes P2P, patentes, ...

58

Redes de Informao

rede de citaes Web

59

Redes Tecnolgicas

Redes tecnolgicas foram construdas pelo ser humano para a distribuio de algum servio bsico, como eletricidade ou dadosExemplosInternet (no nvel de interconexo de roteadores)Redes de energia eltricaRede de telefoniaRede de distribuio postal (correios)Sistema de aeroportos

60

Redes Tecnolgicas

Rede eltricaRede de transmisso de energia de alta tensoInterconexo entre sistemas de transmisso (ou seja, rede) necessria para fazer melhor uso dos recursos (energia)Pode causar problemas, como apages, quando falhas em cascata ocorrem e se propagam na rede

62

Redes Tecnolgicas: Internet

Rede de comutao de pacotes, para transmisso de dados entre computadores remotosInterconexo no nvel fsico, ou seja atravs de roteadores e enlaces (links) de dadosTambm apresenta interconexo no nvel de Sistemas Autnomos (AS), que so agrupamentos de redes que possuem autonomia de roteamento

Exemplos de AS: RNP, Telefonica, Embratel, etc.

63

Roteadores e Sistemas Autnomos

AS

roteador

64

Redes Tecnolgicas: Internet

O conhecimento da topologia de interconexo da Internet pode trazer vrios benefcios

Escalabilidade e robustezProjeto de melhores protocolos e aplicaes

ProblemaNo se conhece a topologia da Internet, nem no nvel de roteadores nem de ASs Como a Internet no tem dono, em geral no se revela a topologia

por questes de sigilo Somente as redes acadmicas revelam sua topologia

Todo o conhecimento da topologia obtido atravs de inferncias

65

Mapa da Internet: Nvel AS

http://www.caida.org

66

Redes Biolgicas

Vrios sistemas biolgicos podem ser representados como redes

Exemplos mais comunsRedes de vias metablicasTeias alimentaresInteraes entre protenasRegulao gnicaRedes de neurniosRedes vasculares

67

Redes Biolgicas

Redes de vias metablicosOs vrtices so substncias bioqumicas presentes nos seres vivos, que podem ser tanto produto como substrato para uma reao

Arestas direcionadas de entrada, caso uma reao metablica conhecida atue num dado substrato e produz um dado resultado

68

Redes Biolgicas

Teias alimentaresVrtices representam espcies em um ecossistema

Arestas direcionadas da espcie A para a espcie B indica que A predador de B

Ou ao contrrio, indicando a energia que flui de B para A

69

Ferramentas computacionais

Existem diversas ferramentas computacionais para anlise de redes disponveis livremente na internetUsaremos para algumas atividades as seguintes ferramentas:l R-project: O R uma linguagem e um ambiente para

computao estatstica (http://cran.fiocruz.br)l Gephi: uma ferramenta de visualizao interativa para

redes de sistemas complexos (https://gephi.org)l Instale as duas ferramentas no seu computador

70

Para Casa

Assistir:http://www.youtube.com/watch?v=w-FKPJRZne4http://www.youtube.com/watch?v=U-vqQjo1kcIhttp://www.youtube.com/watch?v=jEF2fOvBVDo

Slide 1Slide 2Slide 3Slide 4Slide 5Slide 6Slide 7Slide 8Slide 9Slide 10Slide 11Slide 12Slide 13Slide 14Slide 15Slide 16Slide 17Slide 18Slide 19Slide 20Slide 21Slide 22Slide 23Slide 24Slide 25Slide 26Slide 27Slide 28Slide 29Slide 30Slide 31Slide 32Slide 33Slide 34Slide 35Slide 36Slide 37Slide 38Slide 39Slide 40Slide 41Slide 42Slide 43Slide 44Slide 45Slide 46Slide 47Slide 48Slide 49Slide 50Slide 51Slide 52Slide 53Slide 54Slide 55Slide 56Slide 57Slide 58Slide 59Slide 60Slide 61Slide 62Slide 63Slide 64Slide 65Slide 66Slide 67Slide 68Slide 69Slide 70

aula de redes 1

Documents