ars - análise de redes sociais - viii eri mg

140
ARS - Análise de Redes Sociais Prof. Petrônio Cândido de Lima e Silva

Upload: petronio-candido

Post on 25-Jun-2015

527 views

Category:

Data & Analytics


2 download

DESCRIPTION

Slides do minicurso de Análise de Redes Sociais para a VIII Escola Regional de Informática de Minas Gerais - Unimontes/Montes Claros

TRANSCRIPT

Page 1: ARS - Análise de Redes Sociais - VIII ERI MG

ARS - Análise de Redes Sociais

Prof. Petrônio Cândido de Lima e Silva

Page 2: ARS - Análise de Redes Sociais - VIII ERI MG

Agenda

1. Contextualização2. Fundamentos Teóricos

a. Teoria dos Grafosb. Redes Sociaisc. Métricas e Algoritmos de ARS

3. Práticaa. Extração de Dados de Redes Sociaisb. Análise

Page 3: ARS - Análise de Redes Sociais - VIII ERI MG

Introdução e Contextualização

Page 4: ARS - Análise de Redes Sociais - VIII ERI MG

Redes Sociais“Diga-me com quem tu andas e eu te direi que és”

Pessoas e Relacionamentos

Pessoas → PessoasPessoas ← Pessoas

Page 5: ARS - Análise de Redes Sociais - VIII ERI MG

Redes Sociais

● Incapacidade de abstrair em toda a sua complexidade o emaranhado de relacionamentos em que estamos envolvidos○ Qual o seu impacto nos outros ?○ Qual o impacto dos outros em você ?○ Quem você conhece?○ Como você classifica quem conhece?

Page 6: ARS - Análise de Redes Sociais - VIII ERI MG

Redes Sociais

● TUDO está conectado○ Grande emaranhado de inter-relacionamentos de

todas as naturezas;○ Influências se propagam na rede;○ Protagonistas○ Coadjuvantes

Page 7: ARS - Análise de Redes Sociais - VIII ERI MG

Redes Sociais

● Complexas

● Dinâmicas

● Redundantes

● Localizadas

● Difusas

● Recursivas

● Incompletude

● Limites nebulosos

Page 8: ARS - Análise de Redes Sociais - VIII ERI MG

Redes Sociais

● Resistência / Resiliência ○ Tolerante à falhas○ Laços isolados entre pessoas são frágeis○ A rede em si é extremamente resistente à

desconexão:■ Quando perde pessoas■ Quando perde relacionamentos

Page 9: ARS - Análise de Redes Sociais - VIII ERI MG

Redes Sociais● GRANOVETTER (1973)

● Laços Fortes (Strong Ties)

○ Interligam pessoas próximas/íntimas, de um mesmo

grupo ou comunidade;

○ São pessoas basicamente parecidas;

Page 10: ARS - Análise de Redes Sociais - VIII ERI MG

Redes Sociais● Laços Fracos (Weak Ties)

○ Interligam conhecidos e pessoas que freqüentam

outros grupos ou comunidades;

○ Conhecidos, convivência ocasional e esporádica;

○ Elos de ligação entre grupos diferentes, garantindo

a diversidade;

Page 11: ARS - Análise de Redes Sociais - VIII ERI MG

Redes Sociais● Com quem é melhor procurar emprego?

Entre os amigos próximos (strong ties) ou

com os distantes (weak ties) ?

● strong ties: Possivelmente também são

seus concorrentes

● weak ties: Elo com outros mercados!

Page 12: ARS - Análise de Redes Sociais - VIII ERI MG

Aplicações

● Redes de Contágio Emocional

● Redes de Poder/Influência

● Redes Terroristas

● Redes Científicas

Page 13: ARS - Análise de Redes Sociais - VIII ERI MG

Redes de Contágio Emocional● Modelos de contágio

○ ABDO (2009)● Modelo de contágio emocional no Facebook

○ KRAMER, GUILLORY e HANCOCK (2014)○ COVIELLO et al (2014)

● #VemPraRua○ CANCIAN, FALCÃO e MALINI (2013)

● #ProtestoRJ○ CALMON, BRUNO e ANTOUN (2014)

Page 14: ARS - Análise de Redes Sociais - VIII ERI MG

Redes de Contágio Emocional

Page 15: ARS - Análise de Redes Sociais - VIII ERI MG
Page 16: ARS - Análise de Redes Sociais - VIII ERI MG
Page 17: ARS - Análise de Redes Sociais - VIII ERI MG

Redes de Poder / Influência

● NSA espiona a presidente DILMA○ GLOBO (2013)

● Redes de financiamento político○ HOROCHOVSKI et al (2014)

Page 18: ARS - Análise de Redes Sociais - VIII ERI MG

NSA espiona Dilma

Page 19: ARS - Análise de Redes Sociais - VIII ERI MG

Redes Terroristas e Criminosas● Terroristas do 11/09 e rede Al Qaeda

○ KREBS (2002)○ XU e CHEN (2005)

Page 20: ARS - Análise de Redes Sociais - VIII ERI MG
Page 21: ARS - Análise de Redes Sociais - VIII ERI MG
Page 22: ARS - Análise de Redes Sociais - VIII ERI MG

Redes Científicas

● VANZ (2009)● BALANCIERI et al. (2005)● ROSSONI, SILVA e JÚNIOR (2008)

Page 23: ARS - Análise de Redes Sociais - VIII ERI MG
Page 24: ARS - Análise de Redes Sociais - VIII ERI MG
Page 25: ARS - Análise de Redes Sociais - VIII ERI MG

Fundamentos Teóricos

Page 26: ARS - Análise de Redes Sociais - VIII ERI MG

Agenda

1. Grafos

2. Redes Complexas

3. Redes Sociais

4. Métricas de Redes Sociais

5. ARS versus Mineração de Grafos

Page 27: ARS - Análise de Redes Sociais - VIII ERI MG

Teoria dos Grafos

Page 28: ARS - Análise de Redes Sociais - VIII ERI MG

GrafosG = { V , E }

V = {a1, a2, a3, ... , an}

E = {(ai,ak) | ai, aj ∈ V }

n = | V |

m = | E |

Page 29: ARS - Análise de Redes Sociais - VIII ERI MG

Grafos

B

J

A

FC I

H

G

D

Page 30: ARS - Análise de Redes Sociais - VIII ERI MG

Grafos

● Simples - Arestas simétricas

( ai , ak ) = ( ak , ai )

● Direcionados (Dígrafos) - Arestas assimétricas

( ai , ak ) ≠ ( ak , ai )

Page 31: ARS - Análise de Redes Sociais - VIII ERI MG

Grafos

B

J

A

FC I

H

G

D

Page 32: ARS - Análise de Redes Sociais - VIII ERI MG

Grafos - Matriz de AdjacênciasA B C D E F G H I J

A 0 0 1 0 0 0 0 0 0 0

B 0 0 1 0 0 0 1 0 0 0

C 1 1 0 0 0 1 1 0 0 0

D 0 0 0 0 0 0 0 0 0 0

E 0 0 0 0 0 0 0 0 0 0

F 0 0 1 1 0 0 0 0 0 0

G 0 1 1 0 0 0 0 0 0 0

H 0 0 0 0 0 0 0 0 0 1

I 0 0 0 0 0 0 0 0 0 1

J 0 0 0 0 0 0 0 1 1 0

wi,j ∈

V

0, se não há aresta entre i e j

x >0, se há aresta entre i e j

Wij é conhecido como Peso ou Custo da aresta

A(G) = [wij]

Page 33: ARS - Análise de Redes Sociais - VIII ERI MG

Grafos - Matriz de Adjacências

● Multigrafos○ Permite mais de uma aresta entre dois vértices

● Hipergrafos

○ Uma mesma aresta pode conectar mais de dois

vértices

Page 34: ARS - Análise de Redes Sociais - VIII ERI MG

Grafos

● Grau - Degree

○ Número de arestas que estão conectadas à um

vértice:

d(i) = ∑j∈V wij (considerando wij binária)

Page 35: ARS - Análise de Redes Sociais - VIII ERI MG

Digrafos

● Grau de Entrada / Incidente (InDegree)

○ din(v) = ∑j∈V wvj

● Grau de Saída (outDegree)

○ dout(v) = ∑j∈V wjv

Page 36: ARS - Análise de Redes Sociais - VIII ERI MG

Grafos

● Soma dos Graus

d(G) = ∑v∈V d(v) = 2m

● Grau Médio do Grafo

d(G) = 1/n ∑v∈V d(v) = 2m/n

Page 37: ARS - Análise de Redes Sociais - VIII ERI MG

Digrafos● Base - Conjunto de Vertedores

○ É um subconjunto dos vértices de um dígrafo tal que:

B ⊆ V | ∀v ∈ B, din(v) = 0, dout(v) > 0

● Anti-Base - Conjunto dos Sorvedores○ É um subconjunto dos vértices de um dígrafo tal que:

AB ⊆ V | ∀v ∈ AB, din(v) > 0, dout(v) = 0

Page 38: ARS - Análise de Redes Sociais - VIII ERI MG

Grafos

B

H

A

EC I

G

F

D

B = {A, E, G}

AB = {D, I, F}

Page 39: ARS - Análise de Redes Sociais - VIII ERI MG

● cij - Caminho○ Partindo de i, uma lista de n vértices que o

interligam ao vértice j, existindo arestas entre eles.● Menor Caminho (Shortest Path)

○ Caminho de Custo Mínimo○ DIJKSTRA (1959)○ O(m log n)

Grafos

Page 40: ARS - Análise de Redes Sociais - VIII ERI MG

l(i,j) - Distância GeodésicaO custo (ou tamanho) do menor caminho entre i e j;

l(i,j) = ∑x,y ∈ Cij wxy

● l(G) - Distância Geodésica Média○ O tamanho médio dos caminhos dos grafo G

l(G) = 1/n ∑i,j ∈ V l(i,j)

Grafos

Page 41: ARS - Análise de Redes Sociais - VIII ERI MG

Grafos - Matriz de VizinhançaA B C D E F G H I J

A 0 0 1 0 0 0 0 0 0 0

B 0 0 1 0 0 0 1 0 0 0

C 1 1 0 0 0 1 1 0 0 0

D 0 0 0 0 0 0 0 0 0 0

E 0 0 0 0 0 0 0 0 0 0

F 0 0 1 1 0 0 0 0 0 0

G 0 1 1 0 0 0 0 0 0 0

H 0 0 0 0 0 0 0 0 0 1

I 0 0 0 0 0 0 0 0 0 1

J 0 0 0 0 0 0 0 1 1 0

wi,j ∈ V = l(i,j)

Wij é a distância entre i e j

A(G) = [wij]

Page 42: ARS - Análise de Redes Sociais - VIII ERI MG

● Conexo

○ Existe um caminho entre quaisquer dois vértices do

grafo: ∃cij ∀i,j∈ V

● Desconexo

○ ∄cij ∀i,j∈ V

Grafos

Page 43: ARS - Análise de Redes Sociais - VIII ERI MG

● Sub-grafos

Gs = (Vs,Es) | Vs ⊂ V, Es ⊂ E

● Componentes○ Sub grafos conexos de um grafo desconexo

Grafos

Page 44: ARS - Análise de Redes Sociais - VIII ERI MG

Grafos● Conjunto de Corte

○ Conjunto mínimo de vértices ou arestas que se

removidos do grafo causam sua desconexão ou

aumentam o número de componentes;

○ Ponto de Articulação / Vértice de Corte (Cut-Edge)

○ Aresta de Corte (Cut-Arc)

Page 45: ARS - Análise de Redes Sociais - VIII ERI MG

Grafos● Resistência

○ Capacidade de uma rede tem de perder nós e continuar

conectada;

○ Próximo ao conceito de Densidade, que será estudado

adiante.

Page 46: ARS - Análise de Redes Sociais - VIII ERI MG

Grafos

● Grafos Completos - Kn

Kn = [n(n-1)]/2

● Clique○ Subgrafo completo de um grafo

Page 47: ARS - Análise de Redes Sociais - VIII ERI MG

Grafos● Árvores

● Árvore Geradora Mínima

○ Um subgrafo em forma de árvore, de custo mínimo,

que conecte todos os vértices com o mínimo de

arestas

Page 48: ARS - Análise de Redes Sociais - VIII ERI MG

Redes Complexas

Page 49: ARS - Análise de Redes Sociais - VIII ERI MG

Redes Complexas

● Grafos de alta dimensionalidade● Propriedades comuns:

○ Aleatórios○ Distribuição de Grau○ Estruturas de comunidade

Page 50: ARS - Análise de Redes Sociais - VIII ERI MG

Redes Complexas

● Tipos de Redes○ Biológicas○ Sociais○ Informacionais○ Tecnológicas

Page 51: ARS - Análise de Redes Sociais - VIII ERI MG

Grafos Aletórios de Erdös-Rény

● ERDÖS e RÉNY (1961)● Dado um conjunto de vértices V, as arestas

entre esses vértices são calculadas por uma probabilidade k;

GERnk = (V, E) | n = |n| , k = |E|

Page 52: ARS - Análise de Redes Sociais - VIII ERI MG

Grafos Aletórios de Erdös-Rény

1. Inicia com os n vértices isolados ( E = ∅ )2. Para i = 0 até K

a. Selecione dois nós aleatoriamente: i e jb. E ← (i, j)

● Resultados interessantes:d(GERnk) ≈ k

l(GERnk) ≈ logkn

Page 53: ARS - Análise de Redes Sociais - VIII ERI MG

Grafos Aletórios de Erdös-Rény

B

H

A

E

C

I

G

FD

B

H

A

E

C

I

G

FD

B

H

A

E

C

I

G

FD

Page 54: ARS - Análise de Redes Sociais - VIII ERI MG

Modelo de Watts-Strogatz

● WATTS e STROGATZ (1998)● Todos os vértices se conectam aos seus

vizinhos mais próximos;● Existe uma probabilidade de reconexão da

aresta com outro vértice

Page 55: ARS - Análise de Redes Sociais - VIII ERI MG

Grafos Aletórios de Erdös-Rény

B

H

A

E

C

I

G

FD

B

H

A

E

C

I

G

FD

B

H

A

E

C

I

G

FD

Page 56: ARS - Análise de Redes Sociais - VIII ERI MG

Distribuição de Grau● Uma distribuição de grau é a distribuição de frequências de vértices (nk)

com um determinado grau (k) em relação à n

fk = nk / nFr

eq (f

k)

Grau (k)

Page 57: ARS - Análise de Redes Sociais - VIII ERI MG

Lei de Potência

P(x) = �x-�

● Distribuição de Cauda LongaFr

eq (f

k)

Grau (k)

Page 58: ARS - Análise de Redes Sociais - VIII ERI MG

Lei de Zipf

● Lei de Potência empírica● Em um texto, crie um histograma com as

frequências de cada palavra, ordenado da mais frequente para a menos frequente.

● A Lei de Zipf correlaciona a frequência de cada palavra com a sua posição no histograma

Page 59: ARS - Análise de Redes Sociais - VIII ERI MG

Lei de Zipf

fk = ak-b

Freq

(fk)

Grau (k)

Page 60: ARS - Análise de Redes Sociais - VIII ERI MG

Princípio de Pareto (20/80)

● Lei de Potência empírica

“20% das causas são responsáveis por 80% das conseqüencias”

Page 61: ARS - Análise de Redes Sociais - VIII ERI MG

Modelo de Barabási-Albert● BARABÁSI e ALBERT (1999)● Um grafo que tem uma distribuição de grau

que segue a Lei de Potência● Também conhecido como Modelo

Preferencial ou Rede Preferencial ou Scale Free Networks

Page 62: ARS - Análise de Redes Sociais - VIII ERI MG

Modelo de Barabási-Albert● A probabilidade de um vértice qualquer

conectar-se ao vértice:

P(j) = d(j) / ∑i ∈ V d(i)

Page 63: ARS - Análise de Redes Sociais - VIII ERI MG

Modelo de Barabási-Albert

B

G

A

EC I

H

FD

K

L

M

NO

J

Grau Freq

7 1

3 2

2 5

1 7Grau (k)

Freq

(fk)

Page 64: ARS - Análise de Redes Sociais - VIII ERI MG

Redes Sociais

B

GA

EC I

H

FD

K

L

M

NO

J

P

Q R

S

T

R

U

V

X

Z

W

��

��

��

��

��

Page 65: ARS - Análise de Redes Sociais - VIII ERI MG

Mundo Pequeno - Teoria dos Seis Graus

● MILGRAM (1967)

● Lembram do GER?

d(GERnk) ≈ k

l(GERnk) ≈ logkn

Page 66: ARS - Análise de Redes Sociais - VIII ERI MG

Mundo Pequeno - Teoria dos Seis Graus

● Para n bem grande:

n ≅ 7 . 109 (est. da população mundial)

k ≅ 40 (família, amigos, etc…)

l ≅ log407.109 ≅ 6

Page 67: ARS - Análise de Redes Sociais - VIII ERI MG

Mundo Pequeno - Teoria dos Seis Graus

● Corroborada/aceita pelos dados○ Orkut, Facebook, Twitter, etc..

● Oráculo de Bacon○ http://oracleofbacon.org/

Page 68: ARS - Análise de Redes Sociais - VIII ERI MG

Análise de Redes Sociais

Page 69: ARS - Análise de Redes Sociais - VIII ERI MG

Análise de Redes Sociais

● Utilização de TG e TR em Redes Sociais

● Alta Dimensionalidade

n > 500 e d(G) ≅ 100

● Redes com conexeões○ Preferenciais

○ Locais (geograficamente)

Page 70: ARS - Análise de Redes Sociais - VIII ERI MG

Análise de Redes Sociais

● Busca identificar:○ Importância dos atores e dos papéis

○ Comunidades

● Relacionamentos entre os atores○ Fluxos de informação

○ Estruturas de organização e hierarquia

Page 71: ARS - Análise de Redes Sociais - VIII ERI MG

Redes Sociais

● Escopo○ Redes Totais (Whole Networks)

■ TODOS os envolvidos em um contexto

○ Redes Egocêntricas (Egocentric Networks)

■ A rede de relacionamentos de uma pessoa

Page 72: ARS - Análise de Redes Sociais - VIII ERI MG

Técnicas de ARS

● Métricas Estruturais○ Centralidade○ Excentricidade○ Densidade○ Transitividade○ Coesão

● Detecção de Comunidades

Page 73: ARS - Análise de Redes Sociais - VIII ERI MG

Centralidade

● Usadas para determinar a importância de um vértice dentro da rede○ Centralidade de Grau○ Centralidade de Proximidade○ Centralidade de Intermediação○ Centralidade de Autovetor

Page 74: ARS - Análise de Redes Sociais - VIII ERI MG

Centralidade de Grau - Degree

● É o grau (normalizado) de um vértice

● Revela a importância/prestígio daquele

vértice dentro do grafo

c(i) = ( ∑j∈V wij ) / ( n - 1)

Page 75: ARS - Análise de Redes Sociais - VIII ERI MG

Centralidade de Proximidade - Closeness

● FREEMAN (1977)

● Afastamento○ Soma das distâncias para todos os outros nós

● Proximidade○ Afastamento-1

cp(v) = [ ∑j∈V l(v,j) ]-1

Page 76: ARS - Análise de Redes Sociais - VIII ERI MG

Centralidade de Intermediação - Betweenness

● FREEMAN (1977)● O número de vezes que um vértice participa

do caminho mais curto entre dois outros vértices.

● Teoricamente esse vértice controla a comunicação entre outros vértices

Page 77: ARS - Análise de Redes Sociais - VIII ERI MG

Centralidade de Intermediação - Betweenness

ci(v) = ∑a,b≠v pavb / pab

Onde:● pab = Quantidade de caminhos que entre os

vértices a e b● pavb = Quantidade de caminhos que entre os

vértices a e b que passam por v

Page 78: ARS - Análise de Redes Sociais - VIII ERI MG

Centralidade de Fluxo de Intermediação

● HANNEMAN e RIDDLE (2005)● Variação da Centralidade de Intermediação● Leva em consideração TODOS os caminhos

possíveis, não apenas os geodésicos● Pessoas tendem a fazer uso de todos os

caminhos possíveis, mesmo se há um caminho menor e mais eficiente;

Page 79: ARS - Análise de Redes Sociais - VIII ERI MG

Centralidade de Autovetor (Eigenvector)

● Relevância de um vértice a partir dos nós vizinhos

a(v) = 1/� ∑j ∈ V wvj . a(j)

Aw = �w

Page 80: ARS - Análise de Redes Sociais - VIII ERI MG

HITS - Hypertext Induced Topics Search

● GIBSON, KLEINBERG e RAGHAVAN (1998)

● Autoridade (Authority)○ Um vértice com informação confiável, de qualidade○ Recebe muitas ligações de hubs

● Concentrador (Hub) ○ Um vértice com ligações de alta qualidade○ Aponta para muitas autoridades

Page 81: ARS - Análise de Redes Sociais - VIII ERI MG

HITSa ← E ; h ← E ; c = 0; k = 20enquanto c < k

para i ← 1 até na(i) ← ∑wij = 1 h(j)

para i ← 1 até nh(i) ← ∑wij = 1 a(j)

normalizar(a) ; normalizar(h)c ← c + 1

Page 82: ARS - Análise de Redes Sociais - VIII ERI MG

HITSa0 = [1 1 1 1] h0 = [1 1 1 1]

a1 = [1 1 2 3] h1 = [2 2 1 2]a1 = [0 0 .5 1] h1 = [1 1 0 1]

a2 = [1 1 2 2] h2 = [1 1.5 1 .5]a2 = [0 0 1 1] h2 = [.5 1 .5 0]

a3 = [0 .5 1 2] h3 = [1 2 1 1]a3 = [0 .25 .5 1] h3 = [0 1 0 0]

A C

B D

0 1 0 1

0 0 1 1

0 0 0 1

1 0 1 0

Page 83: ARS - Análise de Redes Sociais - VIII ERI MG

PageRank

● BRIN e PAGE (1998)● Variação da Centralidade de Auto Vetor● A importância de um nó é medida a partir da

importância dos nós que estão conectados à ele;

Page 84: ARS - Análise de Redes Sociais - VIII ERI MG

PageRank

pr(v) = (1-d)/n + d . ∑j ∈ Vin pr(j) / dout(j)Onde:● d = Fator de amortecimento

○ Probabilidade de um vértice ser visitado a partir de uma aresta vinda de outro vértice, 0 ≤ d ≤ 1

○ (1-d)/n é a probabilidade do vértice ser visitado aleatoriamente

● Vin = Conjunto de entrada de v

Page 85: ARS - Análise de Redes Sociais - VIII ERI MG

PageRank

pr(v) = (1-d)/n + d . ∑j ∈ Vin pr(j) / dout(j)W’ = dW + (1-d)E

R = W’Ronde:● W = Matriz de adjacências● R = Vetor com os PageRanks● E = [1,...1]

Page 86: ARS - Análise de Redes Sociais - VIII ERI MG

PageRank

i ← 0

R0 ← E/n

enquanto |Ri-1 - Ri | < �

Ri+1 ← (1-d)E + dWRi

i ← i + 1

Page 87: ARS - Análise de Redes Sociais - VIII ERI MG

PageRankd = 0,85 � = 0.00R0 = [0.25 0.25 0.25 0.25]T

E= [ 1 1 1 1]T

R1 = (1-d)E + dMT R0

= + .85 MT

Final: []

A C

B D

din dout

A 1 2

B 1 2

C 2 1

D 3 2

0 1 0 1

0 0 1 1

0 0 0 1

1 0 1 0

0.14

0.14

0.25

0.46

0.15

0.15

0.15

0.15

0.25

0.25

0.25

0.25

Page 88: ARS - Análise de Redes Sociais - VIII ERI MG

Excentricidade

● Usadas para determinar a dispersão dos vértices dentro da rede○ Excentricidade do vértice○ Excentricidade da rede

■ Diâmetro■ Raio

Page 89: ARS - Análise de Redes Sociais - VIII ERI MG

Excentricidade

● A excentricidade de um vértice é o maior comprimento dentre os menores caminhos de um vértice aos outros vértices do grafo.

e(v) = max ( l(v,w) ), ∀w ∈ V

Page 90: ARS - Análise de Redes Sociais - VIII ERI MG

Excentricidade

● Diâmetro○ É a máxima excentricidade do grafo○ O maior dos maiores caminhos

L(G) = max∀v ∈ V ( e(v) )

● Raio○ É a mínima excentricidade do grafo

l(G) = min∀v ∈ V ( e(v) )

Page 91: ARS - Análise de Redes Sociais - VIII ERI MG

Excentricidade

● Vértices Centrais

○ Excentricidade = Raio

● Vértices Periféricos

○ Excentricidade = Diâmetro

Page 92: ARS - Análise de Redes Sociais - VIII ERI MG

Coesão

● Densidade

○ Número de arestas de G comparado ao de um Kn

com os mesmos vértices

D = 2E / n(n-1)

● Grafos Densos x Grafos Esparsos

Page 93: ARS - Análise de Redes Sociais - VIII ERI MG

Coesão

● Coeficiente de Clusterização do vértice○ A probabilidade de que dois vértices conectados por

um terceiro vértice sejam também conectados entre si

c(v) = 2Ev / dv(dv-1)Onde:

Ev = número de arestas entre os vizinhos de Edv = Grau de v, dv > 1 (número de vizinhos de v)

Page 94: ARS - Análise de Redes Sociais - VIII ERI MG

Coesão

● Coeficiente de Clusterização do vértice○ c(v) mede:

■ o quanto os vértices se agrupam na vizinhança de v

■ O quanto eles estão próximos de formar um clique

Page 95: ARS - Análise de Redes Sociais - VIII ERI MG

Coesão● Coeficiente de Clusterização do grafo

c(G) = 1/n ∑v∈V c(v)

Page 96: ARS - Análise de Redes Sociais - VIII ERI MG

Um pouco de diversão

http://moviegalaxies.com/

Page 97: ARS - Análise de Redes Sociais - VIII ERI MG

Detecção de Comunidades

Page 98: ARS - Análise de Redes Sociais - VIII ERI MG

Detecção de comunidades● Sub grafos coesos / densos● Formados por afinidades, estreitam suas relações● Caracterizam-se por:

○ Muitas (e fortes) conexões internas (entre seus membros)

○ Poucas( e fracas) conexões externas (entre membros de outras comunidade)

● Útil para segmentação

Page 99: ARS - Análise de Redes Sociais - VIII ERI MG

Detecção de comunidadesUma comunidade é um subgrafo C tal que

C(Vc,Ec) ⊂ G(V,E)

Considerando O o subgrafo com todas as arestas e vértices fora do subgrafo C:

O(Vo, Eo) = G(V,E) - C(Vc, Ec)

Em que: c(C) > c(O)

Page 100: ARS - Análise de Redes Sociais - VIII ERI MG

Detecção de Comunidades● Problema de otimização combinatória

○ Maximizar o c(v) entre os vértices do grupo e

minimizar o c(v) fora do grupo

● Heurísticas, Metaheurísticas, ...

Page 101: ARS - Análise de Redes Sociais - VIII ERI MG

Detecção de Comunidades● Cliques

○ Sub grupo Kn

● N-Cliques

○ Um clique em que os elementos não precisam ser

adjacentes, vizinhos a uma distância máxima de n;

○ l(i,j) = n | ∀i,j ∈ G

Page 102: ARS - Análise de Redes Sociais - VIII ERI MG

Detecção de Comunidades● K-plexes

○ Um subgrafo onde cada vértice é adjacente a todos

os outros vértices, exceto a k vértices.

○ d(v) ≥ n - k | ∀v ∈ G

Page 103: ARS - Análise de Redes Sociais - VIII ERI MG

Detecção de Comunidades● LS Set

○ SEIDMAN (1983)

○ Um subgrafo onde cada vértice tem mais arestas

com outros membros do subgrafo do que com

qualquer outro vértice de fora

Page 104: ARS - Análise de Redes Sociais - VIII ERI MG

Detecção de Comunidades● NEWMAN e GIRVAN (2004)

● Estratégia Top-Down

● Utiliza a centralidade de intermediação de

arestas para definir os limites entre as

comunidades;

Page 105: ARS - Análise de Redes Sociais - VIII ERI MG

Detecção de Comunidades● Uma aresta com alto grau de intermediação

tem potencial de ser a ponte entre

comunidades distintas;

● Se ela for removida desconectamos o grafo

e geramos componentes conexas

Page 106: ARS - Análise de Redes Sociais - VIII ERI MG

Detecção de Comunidades1. Para cada a ∈ E

a. Calcule ci(a)2. enquanto

a. selecione a = max ci(a)b. remover ac. Checar componentesd. Recalcular ci(a) ∀a ∈ E

Page 107: ARS - Análise de Redes Sociais - VIII ERI MG

Detecção de Comunidades

● BLONDEL et al, 2008● Analiza as comunidades partindo dos

vértices individuais e calculando o ganho de modularidade em se adicionar novos vértices

● Estratégia Bottom-Up

Page 108: ARS - Análise de Redes Sociais - VIII ERI MG

Detecção de ComunidadesC←V ; g ← 0enquanto g > 0

para cada i ∈ Cpara cada j ∈ vizinho(i)

se m(i,j) > m(j,)g ← m(i,j) i ← j

Onde:

● g = ganho de modularidade

● C = vetor de comunidades

● m(C,j) = Função do ganho de

modularidade para adicionar o

vértice j à comunidade C, [-1, 1]

Page 109: ARS - Análise de Redes Sociais - VIII ERI MG

Detecção de Comunidades

m(C,i) = [ (Cin+iout)/2m - ((Ct + it)/2m)2 ]

- [ Cin / 2m - (Ct/2m)2 - (it/2m)2 ]Onde:● Cin = Soma dos pesos das arestas internas de C● Ct = Soma dos pesos das arestas ligadas a algum vértice de C● Iout = Soma dos pesos das arestas ligadas a i● it = Soma dos pesos das arestas entre i e algum vértice de C

Page 110: ARS - Análise de Redes Sociais - VIII ERI MG

Detecção de ComunidadesOnde:● Cin = Soma dos pesos das arestas internas de C

Cin = ∑k,j∈C wkj● Ct = Soma dos pesos das arestas ligadas a algum vértice de C

Ct = ∑k∈G,j∈C wkj● Iout = Soma dos pesos das arestas ligadas a i

iout = ∑k∈G wik● it = Soma dos pesos das arestas entre i e algum vértice de C

it = ∑k∈C wik

Page 111: ARS - Análise de Redes Sociais - VIII ERI MG

Detecção de Comunidades● Cria-se um grafo para representar os

relacionamentos entre as comunidades● Cada vértice representa uma comunidade, e

seu valor Cin● Uma aresta entre os vértice i e j é

acrescentada quando há arestas entre os vértices internos das comunidades i e j e o valor é a soma dos pesos dessas arestas

Page 112: ARS - Análise de Redes Sociais - VIII ERI MG

Prática

Page 113: ARS - Análise de Redes Sociais - VIII ERI MG

Agenda

1. Extração de Dados da Social Mediaa. WebCrawlersb. Netvizz

2. O Software Gephia. Importação de Dadosb. Visualizaçãoc. Métricas

Page 114: ARS - Análise de Redes Sociais - VIII ERI MG

DataSets● SNAP - Stanford Large Network Dataset Collection

○ https://snap.stanford.edu/data/ ● Social Computing Data Repository

○ http://socialcomputing.asu.edu/pages/datasets● MPI-SWS datasets

○ http://socialnetworks.mpi-sws.org/datasets.html

(fonte: http://www.kdnuggets.com/2014/08/interesting-social-media-datasets.html )

Page 115: ARS - Análise de Redes Sociais - VIII ERI MG

Social Media

Page 116: ARS - Análise de Redes Sociais - VIII ERI MG

Social Media

● Como extrair dos dados?● Questões legais e privacidade

○ Dados públicos?○ Necessita autorização?

Page 117: ARS - Análise de Redes Sociais - VIII ERI MG

Social Media API’s

● Facebook○ Graph API: ○ netvizz

● Twitter○ REST API: ○ Twitter4j: https://github.com/yusuke/twitter4j

Page 118: ARS - Análise de Redes Sociais - VIII ERI MG

Crawling Social Media

● Crie um aplicativo● Gere os tokens● Cuidado com os Rate Limits!!!!

○ Faça uma paginação de dados● Armazene os dados: JSON

Page 119: ARS - Análise de Redes Sociais - VIII ERI MG

Crawling Social Media

● Flocker○ Twitter○ http://flocker.outliers.es/ ○ GDF, PNG e SVG

● netvizz○ Facebook○ https://apps.facebook.com/netvizz/ ○ GDF

Page 120: ARS - Análise de Redes Sociais - VIII ERI MG

Crawling Social Media

● NodeXL○ Twitter, Facebook, Flickr, YouTube○ http://nodexl.codeplex.com/ ○ XLS

● GNIP○ Twitter, Facebook, Foursquare, Instagram,

Youtube,...○ http://gnip.com/

Page 121: ARS - Análise de Redes Sociais - VIII ERI MG

Software para Grafos

● neo4j● GraphMiner● NetLogo● Pajek● Gephi● yEd

Page 122: ARS - Análise de Redes Sociais - VIII ERI MG

Gephi - Open Graph Viz Plataform

● http://gephi.github.io/● Software para visualização e análise de

Grafos○ Gratuito e de código aberto○ Multi plataforma○ Plugins

Page 123: ARS - Análise de Redes Sociais - VIII ERI MG

Gephi - Open Graph Viz Plataform

● Visão Geral○ Contexto○ Partições○ Classificação○ Estatísticas (Métricas)○ Distribuição ( Layouts)○ Filtros

Page 124: ARS - Análise de Redes Sociais - VIII ERI MG

Gephi - Open Graph Viz Plataform

● Laboratório de Dados○ Manipulação de Nós e Arestas○ Importação/Exportação

● Visualização○ Configurações (Nós, Arestas e Rótulos)○ Exportação (SVG/PDF/PNG)

Page 125: ARS - Análise de Redes Sociais - VIII ERI MG

Gephi - Open Graph Viz Plataform

● Formatos de Dados - Entrada○ GDF○ GDFX

● Formatos de Dados - Saída○ CSV○ PDF○ PNG

Page 126: ARS - Análise de Redes Sociais - VIII ERI MG
Page 127: ARS - Análise de Redes Sociais - VIII ERI MG

Gephi - Open Graph Viz Plataform

Métricas

● PageRank● HITS● Densidade● Diâmetro● Modularidade

● Centr. de Grau● Centr. de Intermediação● Centr. de Proximidade● Coef. de Clustering

Page 128: ARS - Análise de Redes Sociais - VIII ERI MG

Gephi - Open Graph Viz Plataform

1. Estatísticas → Modularidade2. Partição

a. Nósb. Atualizarc. Modularity Classd. Aplicar

Page 129: ARS - Análise de Redes Sociais - VIII ERI MG
Page 130: ARS - Análise de Redes Sociais - VIII ERI MG

Gephi - Open Graph Viz Plataform

● Layouts○ Distribuição Aleatória○ Contração○ Expansão○ Fruchterman Reingold○ Force Atlas○ Yfan Hu

Page 131: ARS - Análise de Redes Sociais - VIII ERI MG
Page 132: ARS - Análise de Redes Sociais - VIII ERI MG

Gephi - Open Graph Viz Plataform

● Classificação○ Nós○ Cor e Tamanho/Peso○ Pagerank○ Aplicar

● Visualização○ Cor de Fundo

Page 133: ARS - Análise de Redes Sociais - VIII ERI MG
Page 134: ARS - Análise de Redes Sociais - VIII ERI MG

Conclusão

Page 135: ARS - Análise de Redes Sociais - VIII ERI MG

Referências

Page 136: ARS - Análise de Redes Sociais - VIII ERI MG

ReferênciasABDO, Alexandre Hannud. Relações entre topologia e dinâmica em processos de crescimento e contágio em redes complexas. 2009. Tese de Doutorado. University of Aberdeen.ALMEIDA, Leonardo Jesus. Detecção de comunidades em redes complexas utilizando estratégia multinível. Tese de Doutorado. Universidade de São Paulo: São Paulo, 2009.ANALYTIC BRIDGE. Network analytics: more than pretty pictures. Disponível em <http://www.analyticbridge.com/profiles/blogs/network-analytics-more-than-pretty-pictures>. Acesso em <02/11/2014>BALANCIERI, Renato et al. A análise de redes de colaboração científica sob as novas tecnologias de informação e comunicação: um estudo na Plataforma Lattes. Ciência da Informação, v. 34, n. 1, 2005.BARABÁSI, Albert-László; ALBERT, Réka. Emergence of scaling in random networks. Science, v. 286, n. 5439, p. 509-512, 1999.BASTIAN, M.; HEYMANN, S.; JACOMY, M. Gephi: an open source software for exploring and manipulating networks. International AAAI Conference on Weblogs and Social Media. Disponível em <http://www.aaai.org/ocs/index.php/ICWSM/09/paper/view/154/1009 >. Acesso em <02/11/2014>BLONDEL, V.; GUILLAUME, J. L.; LAMBIOTTE, R.; LEFEBVRE, E. Fast unfolding of communities in large networks. Journal of Statistical Mechanics: Theory and Experiment 2008 (10), P1000BORBA, Elizandro Max. Medidas de Centralidade em Grafos e Aplicações em redes de dados. Dissertação (mestrado) Universidade Federal do Rio Grande do Sul, Programa de Pós-Graduação em Matemática Aplicada, Porto Alegre, 2013.

Page 137: ARS - Análise de Redes Sociais - VIII ERI MG

ReferênciasBORTOLOSSI, Humberto J.;QUEIROZ, João J. D. B.; SILVA, Michele M. A Lei de Zipf e outras leis de potência em dados empíricos. Disponível em <http://klein.sbm.org.br/wp-content/uploads/2012/12/ Zipt-bortolossi-queiroz-dasilva-lpp-projeto-klein.pdf>. Acesso em <07/11/2014> BRIN, Sergey; PAGE, Lawrence. The anatomy of a large-scale hypertextual Web search engine. Computer networks and ISDN systems, v. 30, n. 1, p. 107-117, 1998.BSF. Introdução ao Gephi. Disponível em <http://bsf.org.br/2011/10/18/introducao-ao-gephi/ >. Acesso em <02/11/2014> CANCIAN, Allan; FALCÃO, Paula; MALINI, Fábio. Ciberativismo e Manifestações Sociais. O #vemprarua no Brasil. Anais do VII Simpósio Nacional da ABCiber. Novembro/2013 Curitiba, Paraná. Curitiba: UTP, 2013.CALMON, Priscila; BRUNO, Fernanda; ANTOUN, Henrique. Contágio entre redes e ruas: mapeando o #ProtestoRJ no Twitter. Disponível em <http://pt.slideshare.net/priscillacalmon/ contgio-entre-as-redes-e-as-ruas-mapeando-o-protestorj-no-twitter-1 >. Acesso em <11/11/2014>.COVIELLO, Lorenzo et al. Detecting Emotional Contagion in Massive Social Networks. PloS one, v. 9, n. 3, p. e90315, 2014.DIJKSTRA, E. W. A note on two problems in connexion with graphs. Numerische Mathematik 1, 1959. p. 269–271.ERDŐS, Paul; RÉNYI, Alfréd. On the strength of connectedness of a random graph. Acta Mathematica Hungarica, v. 12, n. 1, p. 261-267, 1961.

Page 138: ARS - Análise de Redes Sociais - VIII ERI MG

ReferênciasFEOFILOFF, P.; KOHAYAKAWA, Y.; WAKABAYASHI, Y. Uma Introdução Sucinta à Teoria dos Grafos. Disponível em <http://www.ime.usp.br/~pf/teoriadosgrafos/texto/TeoriaDosGrafos.pdf >. Acesso em <02/09/2014>FIGUEIREDO, Daniel R. Introdução a Redes Complexas. Em: de Souza, A.F., Jr. Meira, W. (editores), Atualizações em Informática 2011, PUC-Rio, Cap. 7, pp 303--358, 2011.FREEMAN, Linton C. A set of measures of centrality based on betweenness. Sociometry, p. 35-41, 1977.GEPHI: The Open Graph Viz Plataform. Disponível em <http://gephi.github.io/ >. Acesso em <02/11/2014>GIBSON, David; KLEINBERG, Jon; RAGHAVAN, Prabhakar. Inferring web communities from link topology. In: Proceedings of the ninth ACM conference on Hypertext and hypermedia: links, objects, time and space. ACM, 1998. p. 225-234. GRANOVETTER, Mark S. The Strenght of Weak Ties. The American Journal of Sociology, vol. 78, n. 6, p. 1360-1380, 1973.HAN, Jiawei; KAMBER,, Micheline. Graph Mining, Social Network Analysis, and Multirelational Data Mining. Em Data Mining: Concepts and Techniques 2 ed., Morgan Kaufmann, 2006.HANNEMAN, Robert A.; RIDDLE, Mark. Introduction to social network methods. Riverside, CA: University of California. 2005.

Page 139: ARS - Análise de Redes Sociais - VIII ERI MG

ReferênciasHOROCHOVSKI, Rodrigo Rossi et al. Redes de Financiamento Eleitoral nas Eleições de 2008 no Litoral do Paraná. Paraná Eleitoral v. 3 n. 1 p. 103-131. 2014.KRAMER, Adam DI; GUILLORY, Jamie E.; HANCOCK, Jeffrey T. Experimental evidence of massive-scale emotional contagion through social networks. Proceedings of the National Academy of Sciences, 2014.KREBS, Valdis E. Mapping networks of terrorist cells. Connections, v. 24, n. 3, p. 43-52, 2002.GLOBO. Veja os documentos ultrassecretos que comprovam espionagem a Dilma. Disponível em <http://g1.globo.com/fantastico/noticia/2013/09/veja-os-documentos-ultrassecretos-que-comprovam-espionagem-dilma.html >. Acesso em <02/11/2014>HUMANIDADES DIGITAIS. Análise e visualização de redes: O Gephi. Disponível em <http://humanidadesdigitais.org/2013/08/16/analise-e-visualizacao-de-redes-o-gephi/ >MILGRAM, Stanley. The small world problem. Psychology today, v. 2, n. 1, p. 60-67, 1967.NEWMAN, Mark EJ; GIRVAN, Michelle. Finding and evaluating community structure in networks. Physical review v. 69, n. 2, p. 026113, 2004.ROSSONI, Luciano; SILVA, Antônio João H.; JÚNIOR, Israel F.. Estrutura de relacionamento entre instituições de pesquisa do campo de ciência e tecnologia no Brasil. Revista de Administração de Empresas, v. 48, n. 4, p. 34-48, 2008.SEIDMAN, S. B. Network Structure and Minimum Degree. Social Networks, v.5, p.269-287, 1983.

Page 140: ARS - Análise de Redes Sociais - VIII ERI MG

ReferênciasVANZ, Samile Andrea de Souza. As redes de colaboração científica no Brasil:(2004-2006). 2009.XU, Jennifer; CHEN, Hsinchun. Criminal network analysis and visualization. Communications of the ACM, v. 48, n. 6, p. 100-107, 2005.WATTS, Duncan J.; STROGATZ, Steven H. Collective dynamics of ‘small-world’networks. Nature, v. 393, n. 6684, p. 440-442, 1998.WASHIO, Takashi; MOTODA, Hiroshi. State of the art of graph-based data mining. Acm Sigkdd Explorations Newsletter, v. 5, n. 1, p. 59-68, 2003.