aprendizado de máquina em redes complexas...de treinamento. dados de treinamento consistem em pares...

106
Fabricio Breve UNESP http://www.fabriciobreve.com Aprendizado Semi-Supervisionado usando Competição e Cooperação entre Partículas em Redes Complexas

Upload: others

Post on 22-Aug-2020

0 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Agenda Introduccedilatildeo

Aprendizado de Maacutequina

Aprendizado Semi-Supervisionado

Modelos Baseados em Grafos

Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em Redes Descriccedilatildeo do Modelo

Resultados

Extensotildees do Modelo Detecccedilatildeo de Comunidades Sobrepostas

Aprendizado Semi-Supervisionado com Dados Imperfeitos

Segmentaccedilatildeo de Imagens

Conclusotildees

2

Introduccedilatildeo

Aprendizado de Maacutequina

Aprendizado Semi-Supervisionado

Modelos baseados em Grafos

3

Aprendizado de Maacutequina Disciplina que trata do projeto e desenvolvimento de

algoritmos que melhoram automaticamente com a experiecircncia imitando o comportamento de aprendizado de humanos

Algumas das principais categorias

Aprendizado Supervisionado

Aprendizado Natildeo Supervisionado

Aprendizado Semi-Supervisionado

bullMitchell T Machine Learning McGraw Hill 1997bullAlpaydin E Introduction to machine learning MIT Press 2004bullNatarajan B K Machine learning a theoretical approach Morgan Kaufmann 1991

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

4

Aprendizado Supervisionado Algoritmos deduzem uma funccedilatildeo a partir dos dados

de treinamento

Dados de treinamento consistem em pares de exemplos de entradas e saiacutedas desejadas

Objetivo obter uma funccedilatildeo que seja capaz de predizer a saiacuteda para qualquer entrada vaacutelida apoacutes ter visto um nuacutemero suficiente de exemplos de treinamento

bullAlpaydin E Introduction to machine learning MIT Press 2004bullDuda R O Hart P E amp Stork D G Pattern Classification (2nd Edition) Wiley-Interscience 2000

5

Exemplo Preccedilo de uma casa

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-NC-ND

R$ 350000 R$ 800000

Exemplo adaptado dehttpswwwyoutubecomwatchv=IpGxLWOIZy46

R$ 800000

R$ 600000

R$ 350000

Preccedilo

Tamanho da Casa (msup2)

50000

Regressatildeo Linear

7

Erro

Erro8

Gradiente Descendente

Objetivo MiacutenimoErro Quadraacutetico

9

Exemplo Detecccedilatildeo de SPAM

200 e-mails

Exemplo adaptado dehttpswwwyoutubecomwatchv=IpGxLWOIZy4

10

Exemplo Detecccedilatildeo de SPAM

Classificamos 50 como SPAMe 150 como Natildeo-SPAM

SPAM Natildeo-SPAM

11

SPAM Natildeo-SPAM

Vamos procurar quantos desses e-mails tem a palavra

ldquoreacuteplicardquo

Questatildeo com base em nossos dados se um e-mail conteacutem a palavra ldquoreacuteplicardquo qual a probabilidade de ser SPAM

( ) 40 ( ) 60 ( ) 8012

Algoritmo Naive Bayes Podemos acrescentar outros atributos

ldquoreacuteplicardquo rarr 80

ldquograacutetisrdquo rarr 65

ldquobaratordquo rarr 60

erro de ortografia rarr 70

falta linha de assunto rarr 90

etc

Combinando essas probabilidades individuais podemos obter classificadores mais confiaacuteveis

13

Aprendizado Natildeo Supervisionado Algoritmos buscam determinar como os dados estatildeo

organizados

Dados de treinamento consistem apenas de exemplos de entrada sem roacutetulos ou valores de saiacuteda

Objetivo encontrar padrotildees no espaccedilo de entradas

Uma das formas de atingir este objetivo eacute observar quais satildeo as regiotildees com maior e menor densidade de dados

bullAlpaydin E Introduction to machine learning MIT Press 2004bullDuda R O Hart P E amp Stork D G Pattern Classification (2nd Edition) Wiley-Interscience 2000

14

Onde abrir pizzarias

Exemplo adaptado dehttpswwwyoutubecomwatchv=IpGxLWOIZy4

15

Onde abrir pizzarias

16

Onde abrir pizzarias

17

Aprendizado Semi-Supervisionado Algoritmos fazem uso tanto de dados rotulados

quanto de dados natildeo rotulados para o treinamento

Normalmente poucos dados rotulados e bastante dados natildeo rotulados

Objetivo fornecer roacutetulos para os dados natildeo rotulados

Em muitos casos o uso de alguns dados rotulados em meio aos dados natildeo rotulados melhora consideravelmente a precisatildeo do aprendizado

bullZhu X Semi-Supervised Learning Literature Survey Technical Report 1530 Computer Sciences University of Wisconsin-Madison 2005bullChapelle O Schoumllkopf B amp Zien A Eds Semi-Supervised Learning Adaptive Computation and Machine Learning Cambridge MA The MIT Press 2006bullAbney S Semisupervised Learning for Computational Linguistics CRC Press 200818

X Zhu ldquoSemi-supervised learning literature surveyrdquo Computer Sciences University of Wisconsin-Madison Tech Rep 1530 2005

Um problema de classificaccedilatildeo binaacuterio em

aprendizado semi-supervisionado

Se assumirmos que cada classe tem

distribuiccedilatildeo Gaussiana podemos usar os dados

natildeo rotulados para ajudar a estimar os

paracircmetros (a) dados rotulados (b) dados

rotulados e natildeo rotulados (c) modelo aprendido a partir dos dados rotulados (d) modelo aprendido a

partir dos dados rotulados e natildeo

rotulados

19

Meacutetodos Baseados em Grafos Aacuterea de pesquisa mais ativa em aprendizado semi-

supervisionado

Dados satildeo representados por noacutes de um grafo onde as arestas satildeo rotuladas com a distacircncia entre os pares de noacutes

Noacutes rotulados satildeo usados para propagar informaccedilatildeo de roacutetulo para os demais

Meacutetodos assumem suavidade de roacutetulos atraveacutes do grafo

20

Exemplo Alunos aprovados em vestibular

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 743 82 Aprovado

2 358 63 Reprovado

3 826 91 Aprovado

4 412 71 Reprovado

5 915 89

6 873 89

7 520 75

8 297 59

9 358 72

10 884 88

11 725 90

12 612 77

Cada aluno eacute um noacute do grafo

Vamos conectar cada noacute com seus 3 vizinhos mais proacuteximos usando a distacircncia euclidiana

11

10

12

87

9

54

6

2

1

3

21

Primeiro vamos normalizar os dados

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 743 82 Aprovado

2 358 63 Reprovado

3 826 91 Aprovado

4 412 71 Reprovado

5 915 89

6 873 89

7 520 75

8 297 59

9 358 72

10 884 88

11 725 90

12 612 77

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 050 029 Aprovado

2 -117 -143 Reprovado

3 086 110 Aprovado

4 -093 -071 Reprovado

5 125 092

6 107 092

7 -046 -035

8 -143 -179

9 -117 -062

10 112 083

11 043 101

12 -006 -017

Dados normalizados meacutedia 0 desvio padratildeo 1

22

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

119889(119894 119895) =2

119909119894 minus 1199091198952+ 119910119894 minus 119910119895

2

1 2 3 4 5 6 7 8 9 10 11 12

1 240 089 175 098 085 116 284 190 082 073 073

2 240 325 076 337 325 129 045 081 321 292 168

3 089 325 255 043 027 196 370 266 037 045 157

4 175 076 255 272 258 059 120 025 256 219 1025 098 337 043 272 018 213 382 287 016 083 171

6 085 325 027 258 018 199 369 271 010 065 157

7 116 129 196 059 213 199 174 075 197 162 044

8 284 045 370 120 382 369 174 121 366 336 213

9 190 081 266 025 287 271 075 121 270 228 119

10 082 321 037 256 016 010 197 366 270 071 154

11 073 292 045 219 083 065 162 336 228 071 127

12 073 168 157 102 171 157 044 213 119 154 127

5

3

7

12

Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em Redes

Descriccedilatildeo do Modelo

Resultados

24

Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em Redes Complexas

Aplicaccedilatildeo em Aprendizado Semi-Supervisionado

Competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas na rede combinado em um esquema uacutenico

Cooperaccedilatildeo Partiacuteculas da mesma classe caminham pela rede de maneira

cooperativa propagando seus roacutetulos

Objetivo Dominar a maior quantidade de noacutes possiacutevel

Competiccedilatildeo Partiacuteculas de classes diferentes competem entre si para

determinar as bordas das classes

Objetivo Evitar a invasatildeo de partiacuteculas de outros times

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming Particle competition and cooperation in networks for semi-supervised learning IEEE Transactions on Knowledge and Data Engineering v24 p1686 - 1698 2012 httpdxdoiorg101109TKDE2011119

25

Configuraccedilatildeo Inicial dos Noacutes

Transforma-se a base de dados em uma rede natildeo direcionada sem peso

Para cada item de dado eacute gerado um noacute na rede

As arestas podem ser geradas usando uma das duas formas

Cada noacute eacute conectado aos vizinhos cuja distacircncia eacute menor que um limiar 120590

Cada noacute eacute conectado aos seus 119948 vizinhos mais proacuteximos

4

26

Configuraccedilatildeo Inicial das Partiacuteculas

Uma partiacutecula eacute gerada para cada noacute rotulado na rede

Este noacute seraacute o noacute casa da partiacutecula correspondente

A posiccedilatildeo inicial de cada partiacutecula eacute ajustada para seu respectivo noacute casa

Partiacuteculas com o mesmo roacutetulo jogam para o mesmo time

4

27

Configuraccedilatildeo Inicial dos Noacutes Cada noacute tem um vetor de domiacutenio

Noacutes rotulados tem niacuteveis de domiacutenio configurados para seus respectivos times Ex [ 1 0 0 0 ] (4 classes noacute rotulado

como classe A)

Noacutes natildeo rotulados tecircm niacuteveis de domiacutenio configurados igualmente para cada time Ex [ 025 025 025 025 ] (4 classes noacute

natildeo rotulado)

002040608

1

002040608

1

119907119894120596ℓ = ൞

1 se 119909119894 eacute rotulado e 119910119894 = ℓ0 se 119909119894 eacute rotulado e 119910119894 ne ℓ

ൗ1 119888 se 119909119894 natildeo eacute rotulado28

Dinacircmica de Noacutes

Quando uma partiacutecula seleciona um vizinho para visitar ela Diminui o niacutevel de domiacutenio de

outros times nesse vizinho

Aumenta o niacutevel de domiacutenio de seu proacuteprio time nesse vizinho

Exceccedilatildeo Niacuteveis de domiacutenio de noacutes

rotulados satildeo fixos

0

05

1

0

05

1

119905

119905 + 1

119907119894120596ℓ 119905 + 1 =

max 0 119907119894120596ℓ 119905 minus

Δ119907120588119895120596 119905

119888 minus 1se 119909119894 natildeo eacute rotulado e ℓ ne 120588119895

119891

119907119894120596ℓ 119905 +

119902neℓ119907119894

120596119902 119905 minus 119907119894

120596119902 119905 + 1 se 119909119894 natildeo eacute rotulado e ℓ = 120588119895119891

119907119894120596ℓ 119905 se 119909119894 eacute rotulado29

Dinacircmica de Partiacuteculas Uma partiacutecula se torna

Forte quando ela visita um noacute dominado por seu time

Fraca quando ela visita um noacute dominado por outro time

0 05 1 0 05 1

01 01 02

06

0 05 1 0 05 1

01

04

0203

120588119895120596 119905 + 1 = 119907119894

120596ℓ 119905 + 1

30

Tabela de Distacircncia Manteacutem a partiacutecula informada da

distacircncia para seu noacute casa Evita que a partiacutecula perca toda sua

forccedila caminhando em territoacuterios inimigos

Manteacutem as partiacuteculas por perto para proteger sua proacutepria vizinhanccedila

Atualizada automaticamente com informaccedilatildeo local Natildeo requer nenhum caacutelculo a priori

4

24

0

1

1

2

33

4

120588119895119889119896 119905 + 1 = ቐ

120588119895119889119894 119905 + 1 se 120588119895

119889119894 119905 + 1 lt 120588119895119889119896 119905

120588119895119889119896 119905 caso contraacuterio31

Caminhada Aleatoacuterio-Gulosa Caminhada Aleatoacuteria

A partiacutecula escolhe aleatoriamente qualquer vizinhos para visitar sem preocupaccedilatildeo com o niacutevel de domiacutenio

Probabilidades iguais para todos os vizinhos

Caminhada Gulosa A partiacutecula prefere visitar noacutes

que ela jaacute domina e noacutes mais proacuteximos de seu noacute casa

Probabilidade de visitar cada vizinho dada pelo niacutevel de domiacutenio e distacircncia

As partiacuteculas precisam exibir ambos os movimentos para que haja um equiliacutebrio entre o comportamento exploratoacuterio e o defensivo

119901 119907119894|120588119895 =119882119902119894

σ120583=1119899 119882119902120583

119901 119907119894|120588119895 =119882119902119894119907119894

120596ℓ 1 + 120588119895119889119894

minus2

σ120583=1119899 119882119902120583 119907120583

120596ℓ 1 + 120588119895

119889120583minus2

CAMINHADA GULOSACAMINHADA ALEATOacuteRIA

Probabilidades no Movimento Guloso

Probabilidades no Movimento Aleatoacuterio

35

18

47

33

33

33

1199071

1199072

1199073

1199074

1199072

1199073

1199074

1199072

1199073

1199074

01 01 02

06

04

0203

01

08

0100

01

33

Choques Uma partiacutecula fica no noacute

visitado somente se o niacutevel de domiacutenio de seu time eacute maior que o dos outros

Caso contraacuterio um choque acontece e a partiacutecula eacute expulsa voltando ao noacute onde estava anteriormente ateacute a proacutexima iteraccedilatildeo

07

03

03

07

0604

0406

34

AlgoritmoConstruir a rede

Configurar os niacuteveis de domiacutenio

Configurar posiccedilatildeo inicial de partiacuteculas e seus correspondentes noacutes-casa

Configurar forccedila da partiacutecula e distacircncia

Repita

Para cada partiacutecula faccedila

Selecione movimento aleatoacuterio ou guloso

Selecione o noacute a ser visitado

Atualize os niacuteveis de domiacutenio do noacute visitado

Atualize a forccedila da partiacutecula

Atualize a tabela de distacircncias

Ateacute que o criteacuterio de parada ou um nuacutemero preacute-definido de passos seja atingido

Rotule cada noacute natildeo rotulado de acordo com o time de partiacuteculas que tiver o maior domiacutenio

35

1 2 3 4

5 6 7 8

9 10 11 12

Voltando ao nosso exemplo dos alunosNo final das iteraccedilotildees

36

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

5

3

7

12

Agora eacute soacute ldquopintarrdquo os noacutes com a classe das partiacuteculas que o dominaram

37

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092 Aprovado

6 873 89 107 092 Aprovado

7 520 75 -046 -035 Reprovado

8 297 59 -143 -179 Reprovado

9 358 72 -117 -062 Reprovado

10 884 88 112 083 Aprovado

11 725 90 043 101 Aprovado

12 612 77 -006 -017 Reprovado

1

11

10

6

8

9

4

2

5

3

7

12

E pronto Todos os dados natildeo rotulados tiveram seus roacutetulos estimados pelo classificador do modelo de partiacuteculas

38

Anaacutelise de complexidade do meacutetodo proposto em rede com meacutedia mistura (a) Nuacutemero de

iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 5119911119900119906119905 lt 119896 gt = 02

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Anaacutelise de complexidade do meacutetodo proposto em rede com

alta mistura (a) Nuacutemero de iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 10119911119900119906119905 lt 119896 gt = 04

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Tamanho da Base de Dados (n)

Tem

po

(se

gun

do

s)

Tempo de execuccedilatildeo de quatro meacutetodos baseados em grafos incluindo o meacutetodo de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas para classificar uma sequencia de bases de dados artificiais com 4 classes com distribuiccedilatildeo Gaussiana com tamanhos crescentes

41

Classificaccedilatildeo de base de dado artificial com 2000

amostras divididas igualmente em duas classes com forma de

banana

Desempenho de Classificaccedilatildeo

42

Classificaccedilatildeo de base de dado artificial com 1000

amostras divididas em duas classes Highleyman

Desempenho de Classificaccedilatildeo

43

Classificaccedilatildeo de base de dado artificial com 1200

amostras divididas emduas classes Lithuanian com 800 e 400 amostras

respectivamente

Desempenho de Classificaccedilatildeo

44

Classificaccedilatildeo de base de dado artificial com 1200

amostras igualmente divididas em trecircs classes

com distribuiccedilatildeo Gaussiana

Desempenho de Classificaccedilatildeo

45

Benchmark - Erros de teste () com 100 pontos de dados rotulados46

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 100 pontos de dados rotulados

Benchmark - Erros de teste () com 10 pontos de dados rotulados48

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 10 pontos de dados rotulados

Erros de classificaccedilatildeo () e tempos de execuccedilatildeo (segundos) de quatro meacutetodos baseados em grafos aplicados em bases de dados grandes

Erros de Classificaccedilatildeo e Tempos de Execuccedilatildeo em Grandes Bases de Dados

50

Extensotildees do Modelo de Partiacuteculas

Detecccedilatildeo de Comunidades SobrepostasAprendizado Semi-Supervisionado com Dados ImperfeitosClassificaccedilatildeo Semi-Supervisionada de Fluxos de DadosAprendizado Ativo e Semi-SupervisionadoSegmentaccedilatildeo de Imagens

51

Extensotildees do Modelo de Partiacuteculas

52

O modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas jaacute foi estendido para realizar diversos tipos de tarefas de aprendizado de maacutequina

Detecccedilatildeo de Comunidades Sobrepostas

Aprendizado Semi-Supervisionado com Dados Imperfeitos

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados

Aprendizado Ativo e Semi-Supervisionado

Segmentaccedilatildeo de Imagens

Detecccedilatildeo de Comunidades Sobrepostas

Breve Fabricio ZHAO Liang Fuzzy community structure detection by particle competition and cooperation Soft Computing (Berlin Print) v 17 p 659-673 2013httpdxdoiorg101007s00500-012-0924-3

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming ParticleCompetition and Cooperation for Uncovering Network Overlap Community Structure In The 8th InternationalSymposium on Neural Networks (ISNN 2011) 2011 Guilin China Lecture Notes in Computer Science Berlin Heidelberg Springer-Verlag 2011 v6677 p426 ndash 433httpdxdoiorg101007978-3-642-21111-9_48

53

Detecccedilatildeo de Comunidades Sobrepostas

Em problemas de classificaccedilatildeo nem sempre os elementos pertencem a um uacutenico grupo

Haacute casos em que elementos pertencem a muacuteltiplas comunidades

Exemplo Redes Sociais

Muacuteltiplos Grupos famiacutelia colegas de trabalho colegas de escola

A maioria dos meacutetodos natildeo consegue detectar tal estrutura de sobreposiccedilatildeo

54Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Esta extensatildeo oferece saiacutedas contiacutenuas atraveacutes de um niacutevel de dominacircncia acumulado

Quantifica a dominacircncia de cada time de partiacuteculas sobre os noacutes ao longo de toda a execuccedilatildeo do algoritmo O niacutevel de dominacircncia acumulado inicia em zero para todas as

classes e eacute aumentado somente quando o movimento aleatoacuterio eacute selecionado na classe correspondente agrave partiacutecula

Nunca diminui

119907119894120582ℓ 119905 + 1 = 119907119894

120582ℓ 119905 + 120588119895120596 119905

55

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 2: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Agenda Introduccedilatildeo

Aprendizado de Maacutequina

Aprendizado Semi-Supervisionado

Modelos Baseados em Grafos

Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em Redes Descriccedilatildeo do Modelo

Resultados

Extensotildees do Modelo Detecccedilatildeo de Comunidades Sobrepostas

Aprendizado Semi-Supervisionado com Dados Imperfeitos

Segmentaccedilatildeo de Imagens

Conclusotildees

2

Introduccedilatildeo

Aprendizado de Maacutequina

Aprendizado Semi-Supervisionado

Modelos baseados em Grafos

3

Aprendizado de Maacutequina Disciplina que trata do projeto e desenvolvimento de

algoritmos que melhoram automaticamente com a experiecircncia imitando o comportamento de aprendizado de humanos

Algumas das principais categorias

Aprendizado Supervisionado

Aprendizado Natildeo Supervisionado

Aprendizado Semi-Supervisionado

bullMitchell T Machine Learning McGraw Hill 1997bullAlpaydin E Introduction to machine learning MIT Press 2004bullNatarajan B K Machine learning a theoretical approach Morgan Kaufmann 1991

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

4

Aprendizado Supervisionado Algoritmos deduzem uma funccedilatildeo a partir dos dados

de treinamento

Dados de treinamento consistem em pares de exemplos de entradas e saiacutedas desejadas

Objetivo obter uma funccedilatildeo que seja capaz de predizer a saiacuteda para qualquer entrada vaacutelida apoacutes ter visto um nuacutemero suficiente de exemplos de treinamento

bullAlpaydin E Introduction to machine learning MIT Press 2004bullDuda R O Hart P E amp Stork D G Pattern Classification (2nd Edition) Wiley-Interscience 2000

5

Exemplo Preccedilo de uma casa

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-NC-ND

R$ 350000 R$ 800000

Exemplo adaptado dehttpswwwyoutubecomwatchv=IpGxLWOIZy46

R$ 800000

R$ 600000

R$ 350000

Preccedilo

Tamanho da Casa (msup2)

50000

Regressatildeo Linear

7

Erro

Erro8

Gradiente Descendente

Objetivo MiacutenimoErro Quadraacutetico

9

Exemplo Detecccedilatildeo de SPAM

200 e-mails

Exemplo adaptado dehttpswwwyoutubecomwatchv=IpGxLWOIZy4

10

Exemplo Detecccedilatildeo de SPAM

Classificamos 50 como SPAMe 150 como Natildeo-SPAM

SPAM Natildeo-SPAM

11

SPAM Natildeo-SPAM

Vamos procurar quantos desses e-mails tem a palavra

ldquoreacuteplicardquo

Questatildeo com base em nossos dados se um e-mail conteacutem a palavra ldquoreacuteplicardquo qual a probabilidade de ser SPAM

( ) 40 ( ) 60 ( ) 8012

Algoritmo Naive Bayes Podemos acrescentar outros atributos

ldquoreacuteplicardquo rarr 80

ldquograacutetisrdquo rarr 65

ldquobaratordquo rarr 60

erro de ortografia rarr 70

falta linha de assunto rarr 90

etc

Combinando essas probabilidades individuais podemos obter classificadores mais confiaacuteveis

13

Aprendizado Natildeo Supervisionado Algoritmos buscam determinar como os dados estatildeo

organizados

Dados de treinamento consistem apenas de exemplos de entrada sem roacutetulos ou valores de saiacuteda

Objetivo encontrar padrotildees no espaccedilo de entradas

Uma das formas de atingir este objetivo eacute observar quais satildeo as regiotildees com maior e menor densidade de dados

bullAlpaydin E Introduction to machine learning MIT Press 2004bullDuda R O Hart P E amp Stork D G Pattern Classification (2nd Edition) Wiley-Interscience 2000

14

Onde abrir pizzarias

Exemplo adaptado dehttpswwwyoutubecomwatchv=IpGxLWOIZy4

15

Onde abrir pizzarias

16

Onde abrir pizzarias

17

Aprendizado Semi-Supervisionado Algoritmos fazem uso tanto de dados rotulados

quanto de dados natildeo rotulados para o treinamento

Normalmente poucos dados rotulados e bastante dados natildeo rotulados

Objetivo fornecer roacutetulos para os dados natildeo rotulados

Em muitos casos o uso de alguns dados rotulados em meio aos dados natildeo rotulados melhora consideravelmente a precisatildeo do aprendizado

bullZhu X Semi-Supervised Learning Literature Survey Technical Report 1530 Computer Sciences University of Wisconsin-Madison 2005bullChapelle O Schoumllkopf B amp Zien A Eds Semi-Supervised Learning Adaptive Computation and Machine Learning Cambridge MA The MIT Press 2006bullAbney S Semisupervised Learning for Computational Linguistics CRC Press 200818

X Zhu ldquoSemi-supervised learning literature surveyrdquo Computer Sciences University of Wisconsin-Madison Tech Rep 1530 2005

Um problema de classificaccedilatildeo binaacuterio em

aprendizado semi-supervisionado

Se assumirmos que cada classe tem

distribuiccedilatildeo Gaussiana podemos usar os dados

natildeo rotulados para ajudar a estimar os

paracircmetros (a) dados rotulados (b) dados

rotulados e natildeo rotulados (c) modelo aprendido a partir dos dados rotulados (d) modelo aprendido a

partir dos dados rotulados e natildeo

rotulados

19

Meacutetodos Baseados em Grafos Aacuterea de pesquisa mais ativa em aprendizado semi-

supervisionado

Dados satildeo representados por noacutes de um grafo onde as arestas satildeo rotuladas com a distacircncia entre os pares de noacutes

Noacutes rotulados satildeo usados para propagar informaccedilatildeo de roacutetulo para os demais

Meacutetodos assumem suavidade de roacutetulos atraveacutes do grafo

20

Exemplo Alunos aprovados em vestibular

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 743 82 Aprovado

2 358 63 Reprovado

3 826 91 Aprovado

4 412 71 Reprovado

5 915 89

6 873 89

7 520 75

8 297 59

9 358 72

10 884 88

11 725 90

12 612 77

Cada aluno eacute um noacute do grafo

Vamos conectar cada noacute com seus 3 vizinhos mais proacuteximos usando a distacircncia euclidiana

11

10

12

87

9

54

6

2

1

3

21

Primeiro vamos normalizar os dados

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 743 82 Aprovado

2 358 63 Reprovado

3 826 91 Aprovado

4 412 71 Reprovado

5 915 89

6 873 89

7 520 75

8 297 59

9 358 72

10 884 88

11 725 90

12 612 77

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 050 029 Aprovado

2 -117 -143 Reprovado

3 086 110 Aprovado

4 -093 -071 Reprovado

5 125 092

6 107 092

7 -046 -035

8 -143 -179

9 -117 -062

10 112 083

11 043 101

12 -006 -017

Dados normalizados meacutedia 0 desvio padratildeo 1

22

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

119889(119894 119895) =2

119909119894 minus 1199091198952+ 119910119894 minus 119910119895

2

1 2 3 4 5 6 7 8 9 10 11 12

1 240 089 175 098 085 116 284 190 082 073 073

2 240 325 076 337 325 129 045 081 321 292 168

3 089 325 255 043 027 196 370 266 037 045 157

4 175 076 255 272 258 059 120 025 256 219 1025 098 337 043 272 018 213 382 287 016 083 171

6 085 325 027 258 018 199 369 271 010 065 157

7 116 129 196 059 213 199 174 075 197 162 044

8 284 045 370 120 382 369 174 121 366 336 213

9 190 081 266 025 287 271 075 121 270 228 119

10 082 321 037 256 016 010 197 366 270 071 154

11 073 292 045 219 083 065 162 336 228 071 127

12 073 168 157 102 171 157 044 213 119 154 127

5

3

7

12

Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em Redes

Descriccedilatildeo do Modelo

Resultados

24

Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em Redes Complexas

Aplicaccedilatildeo em Aprendizado Semi-Supervisionado

Competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas na rede combinado em um esquema uacutenico

Cooperaccedilatildeo Partiacuteculas da mesma classe caminham pela rede de maneira

cooperativa propagando seus roacutetulos

Objetivo Dominar a maior quantidade de noacutes possiacutevel

Competiccedilatildeo Partiacuteculas de classes diferentes competem entre si para

determinar as bordas das classes

Objetivo Evitar a invasatildeo de partiacuteculas de outros times

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming Particle competition and cooperation in networks for semi-supervised learning IEEE Transactions on Knowledge and Data Engineering v24 p1686 - 1698 2012 httpdxdoiorg101109TKDE2011119

25

Configuraccedilatildeo Inicial dos Noacutes

Transforma-se a base de dados em uma rede natildeo direcionada sem peso

Para cada item de dado eacute gerado um noacute na rede

As arestas podem ser geradas usando uma das duas formas

Cada noacute eacute conectado aos vizinhos cuja distacircncia eacute menor que um limiar 120590

Cada noacute eacute conectado aos seus 119948 vizinhos mais proacuteximos

4

26

Configuraccedilatildeo Inicial das Partiacuteculas

Uma partiacutecula eacute gerada para cada noacute rotulado na rede

Este noacute seraacute o noacute casa da partiacutecula correspondente

A posiccedilatildeo inicial de cada partiacutecula eacute ajustada para seu respectivo noacute casa

Partiacuteculas com o mesmo roacutetulo jogam para o mesmo time

4

27

Configuraccedilatildeo Inicial dos Noacutes Cada noacute tem um vetor de domiacutenio

Noacutes rotulados tem niacuteveis de domiacutenio configurados para seus respectivos times Ex [ 1 0 0 0 ] (4 classes noacute rotulado

como classe A)

Noacutes natildeo rotulados tecircm niacuteveis de domiacutenio configurados igualmente para cada time Ex [ 025 025 025 025 ] (4 classes noacute

natildeo rotulado)

002040608

1

002040608

1

119907119894120596ℓ = ൞

1 se 119909119894 eacute rotulado e 119910119894 = ℓ0 se 119909119894 eacute rotulado e 119910119894 ne ℓ

ൗ1 119888 se 119909119894 natildeo eacute rotulado28

Dinacircmica de Noacutes

Quando uma partiacutecula seleciona um vizinho para visitar ela Diminui o niacutevel de domiacutenio de

outros times nesse vizinho

Aumenta o niacutevel de domiacutenio de seu proacuteprio time nesse vizinho

Exceccedilatildeo Niacuteveis de domiacutenio de noacutes

rotulados satildeo fixos

0

05

1

0

05

1

119905

119905 + 1

119907119894120596ℓ 119905 + 1 =

max 0 119907119894120596ℓ 119905 minus

Δ119907120588119895120596 119905

119888 minus 1se 119909119894 natildeo eacute rotulado e ℓ ne 120588119895

119891

119907119894120596ℓ 119905 +

119902neℓ119907119894

120596119902 119905 minus 119907119894

120596119902 119905 + 1 se 119909119894 natildeo eacute rotulado e ℓ = 120588119895119891

119907119894120596ℓ 119905 se 119909119894 eacute rotulado29

Dinacircmica de Partiacuteculas Uma partiacutecula se torna

Forte quando ela visita um noacute dominado por seu time

Fraca quando ela visita um noacute dominado por outro time

0 05 1 0 05 1

01 01 02

06

0 05 1 0 05 1

01

04

0203

120588119895120596 119905 + 1 = 119907119894

120596ℓ 119905 + 1

30

Tabela de Distacircncia Manteacutem a partiacutecula informada da

distacircncia para seu noacute casa Evita que a partiacutecula perca toda sua

forccedila caminhando em territoacuterios inimigos

Manteacutem as partiacuteculas por perto para proteger sua proacutepria vizinhanccedila

Atualizada automaticamente com informaccedilatildeo local Natildeo requer nenhum caacutelculo a priori

4

24

0

1

1

2

33

4

120588119895119889119896 119905 + 1 = ቐ

120588119895119889119894 119905 + 1 se 120588119895

119889119894 119905 + 1 lt 120588119895119889119896 119905

120588119895119889119896 119905 caso contraacuterio31

Caminhada Aleatoacuterio-Gulosa Caminhada Aleatoacuteria

A partiacutecula escolhe aleatoriamente qualquer vizinhos para visitar sem preocupaccedilatildeo com o niacutevel de domiacutenio

Probabilidades iguais para todos os vizinhos

Caminhada Gulosa A partiacutecula prefere visitar noacutes

que ela jaacute domina e noacutes mais proacuteximos de seu noacute casa

Probabilidade de visitar cada vizinho dada pelo niacutevel de domiacutenio e distacircncia

As partiacuteculas precisam exibir ambos os movimentos para que haja um equiliacutebrio entre o comportamento exploratoacuterio e o defensivo

119901 119907119894|120588119895 =119882119902119894

σ120583=1119899 119882119902120583

119901 119907119894|120588119895 =119882119902119894119907119894

120596ℓ 1 + 120588119895119889119894

minus2

σ120583=1119899 119882119902120583 119907120583

120596ℓ 1 + 120588119895

119889120583minus2

CAMINHADA GULOSACAMINHADA ALEATOacuteRIA

Probabilidades no Movimento Guloso

Probabilidades no Movimento Aleatoacuterio

35

18

47

33

33

33

1199071

1199072

1199073

1199074

1199072

1199073

1199074

1199072

1199073

1199074

01 01 02

06

04

0203

01

08

0100

01

33

Choques Uma partiacutecula fica no noacute

visitado somente se o niacutevel de domiacutenio de seu time eacute maior que o dos outros

Caso contraacuterio um choque acontece e a partiacutecula eacute expulsa voltando ao noacute onde estava anteriormente ateacute a proacutexima iteraccedilatildeo

07

03

03

07

0604

0406

34

AlgoritmoConstruir a rede

Configurar os niacuteveis de domiacutenio

Configurar posiccedilatildeo inicial de partiacuteculas e seus correspondentes noacutes-casa

Configurar forccedila da partiacutecula e distacircncia

Repita

Para cada partiacutecula faccedila

Selecione movimento aleatoacuterio ou guloso

Selecione o noacute a ser visitado

Atualize os niacuteveis de domiacutenio do noacute visitado

Atualize a forccedila da partiacutecula

Atualize a tabela de distacircncias

Ateacute que o criteacuterio de parada ou um nuacutemero preacute-definido de passos seja atingido

Rotule cada noacute natildeo rotulado de acordo com o time de partiacuteculas que tiver o maior domiacutenio

35

1 2 3 4

5 6 7 8

9 10 11 12

Voltando ao nosso exemplo dos alunosNo final das iteraccedilotildees

36

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

5

3

7

12

Agora eacute soacute ldquopintarrdquo os noacutes com a classe das partiacuteculas que o dominaram

37

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092 Aprovado

6 873 89 107 092 Aprovado

7 520 75 -046 -035 Reprovado

8 297 59 -143 -179 Reprovado

9 358 72 -117 -062 Reprovado

10 884 88 112 083 Aprovado

11 725 90 043 101 Aprovado

12 612 77 -006 -017 Reprovado

1

11

10

6

8

9

4

2

5

3

7

12

E pronto Todos os dados natildeo rotulados tiveram seus roacutetulos estimados pelo classificador do modelo de partiacuteculas

38

Anaacutelise de complexidade do meacutetodo proposto em rede com meacutedia mistura (a) Nuacutemero de

iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 5119911119900119906119905 lt 119896 gt = 02

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Anaacutelise de complexidade do meacutetodo proposto em rede com

alta mistura (a) Nuacutemero de iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 10119911119900119906119905 lt 119896 gt = 04

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Tamanho da Base de Dados (n)

Tem

po

(se

gun

do

s)

Tempo de execuccedilatildeo de quatro meacutetodos baseados em grafos incluindo o meacutetodo de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas para classificar uma sequencia de bases de dados artificiais com 4 classes com distribuiccedilatildeo Gaussiana com tamanhos crescentes

41

Classificaccedilatildeo de base de dado artificial com 2000

amostras divididas igualmente em duas classes com forma de

banana

Desempenho de Classificaccedilatildeo

42

Classificaccedilatildeo de base de dado artificial com 1000

amostras divididas em duas classes Highleyman

Desempenho de Classificaccedilatildeo

43

Classificaccedilatildeo de base de dado artificial com 1200

amostras divididas emduas classes Lithuanian com 800 e 400 amostras

respectivamente

Desempenho de Classificaccedilatildeo

44

Classificaccedilatildeo de base de dado artificial com 1200

amostras igualmente divididas em trecircs classes

com distribuiccedilatildeo Gaussiana

Desempenho de Classificaccedilatildeo

45

Benchmark - Erros de teste () com 100 pontos de dados rotulados46

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 100 pontos de dados rotulados

Benchmark - Erros de teste () com 10 pontos de dados rotulados48

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 10 pontos de dados rotulados

Erros de classificaccedilatildeo () e tempos de execuccedilatildeo (segundos) de quatro meacutetodos baseados em grafos aplicados em bases de dados grandes

Erros de Classificaccedilatildeo e Tempos de Execuccedilatildeo em Grandes Bases de Dados

50

Extensotildees do Modelo de Partiacuteculas

Detecccedilatildeo de Comunidades SobrepostasAprendizado Semi-Supervisionado com Dados ImperfeitosClassificaccedilatildeo Semi-Supervisionada de Fluxos de DadosAprendizado Ativo e Semi-SupervisionadoSegmentaccedilatildeo de Imagens

51

Extensotildees do Modelo de Partiacuteculas

52

O modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas jaacute foi estendido para realizar diversos tipos de tarefas de aprendizado de maacutequina

Detecccedilatildeo de Comunidades Sobrepostas

Aprendizado Semi-Supervisionado com Dados Imperfeitos

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados

Aprendizado Ativo e Semi-Supervisionado

Segmentaccedilatildeo de Imagens

Detecccedilatildeo de Comunidades Sobrepostas

Breve Fabricio ZHAO Liang Fuzzy community structure detection by particle competition and cooperation Soft Computing (Berlin Print) v 17 p 659-673 2013httpdxdoiorg101007s00500-012-0924-3

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming ParticleCompetition and Cooperation for Uncovering Network Overlap Community Structure In The 8th InternationalSymposium on Neural Networks (ISNN 2011) 2011 Guilin China Lecture Notes in Computer Science Berlin Heidelberg Springer-Verlag 2011 v6677 p426 ndash 433httpdxdoiorg101007978-3-642-21111-9_48

53

Detecccedilatildeo de Comunidades Sobrepostas

Em problemas de classificaccedilatildeo nem sempre os elementos pertencem a um uacutenico grupo

Haacute casos em que elementos pertencem a muacuteltiplas comunidades

Exemplo Redes Sociais

Muacuteltiplos Grupos famiacutelia colegas de trabalho colegas de escola

A maioria dos meacutetodos natildeo consegue detectar tal estrutura de sobreposiccedilatildeo

54Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Esta extensatildeo oferece saiacutedas contiacutenuas atraveacutes de um niacutevel de dominacircncia acumulado

Quantifica a dominacircncia de cada time de partiacuteculas sobre os noacutes ao longo de toda a execuccedilatildeo do algoritmo O niacutevel de dominacircncia acumulado inicia em zero para todas as

classes e eacute aumentado somente quando o movimento aleatoacuterio eacute selecionado na classe correspondente agrave partiacutecula

Nunca diminui

119907119894120582ℓ 119905 + 1 = 119907119894

120582ℓ 119905 + 120588119895120596 119905

55

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 3: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Introduccedilatildeo

Aprendizado de Maacutequina

Aprendizado Semi-Supervisionado

Modelos baseados em Grafos

3

Aprendizado de Maacutequina Disciplina que trata do projeto e desenvolvimento de

algoritmos que melhoram automaticamente com a experiecircncia imitando o comportamento de aprendizado de humanos

Algumas das principais categorias

Aprendizado Supervisionado

Aprendizado Natildeo Supervisionado

Aprendizado Semi-Supervisionado

bullMitchell T Machine Learning McGraw Hill 1997bullAlpaydin E Introduction to machine learning MIT Press 2004bullNatarajan B K Machine learning a theoretical approach Morgan Kaufmann 1991

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

4

Aprendizado Supervisionado Algoritmos deduzem uma funccedilatildeo a partir dos dados

de treinamento

Dados de treinamento consistem em pares de exemplos de entradas e saiacutedas desejadas

Objetivo obter uma funccedilatildeo que seja capaz de predizer a saiacuteda para qualquer entrada vaacutelida apoacutes ter visto um nuacutemero suficiente de exemplos de treinamento

bullAlpaydin E Introduction to machine learning MIT Press 2004bullDuda R O Hart P E amp Stork D G Pattern Classification (2nd Edition) Wiley-Interscience 2000

5

Exemplo Preccedilo de uma casa

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-NC-ND

R$ 350000 R$ 800000

Exemplo adaptado dehttpswwwyoutubecomwatchv=IpGxLWOIZy46

R$ 800000

R$ 600000

R$ 350000

Preccedilo

Tamanho da Casa (msup2)

50000

Regressatildeo Linear

7

Erro

Erro8

Gradiente Descendente

Objetivo MiacutenimoErro Quadraacutetico

9

Exemplo Detecccedilatildeo de SPAM

200 e-mails

Exemplo adaptado dehttpswwwyoutubecomwatchv=IpGxLWOIZy4

10

Exemplo Detecccedilatildeo de SPAM

Classificamos 50 como SPAMe 150 como Natildeo-SPAM

SPAM Natildeo-SPAM

11

SPAM Natildeo-SPAM

Vamos procurar quantos desses e-mails tem a palavra

ldquoreacuteplicardquo

Questatildeo com base em nossos dados se um e-mail conteacutem a palavra ldquoreacuteplicardquo qual a probabilidade de ser SPAM

( ) 40 ( ) 60 ( ) 8012

Algoritmo Naive Bayes Podemos acrescentar outros atributos

ldquoreacuteplicardquo rarr 80

ldquograacutetisrdquo rarr 65

ldquobaratordquo rarr 60

erro de ortografia rarr 70

falta linha de assunto rarr 90

etc

Combinando essas probabilidades individuais podemos obter classificadores mais confiaacuteveis

13

Aprendizado Natildeo Supervisionado Algoritmos buscam determinar como os dados estatildeo

organizados

Dados de treinamento consistem apenas de exemplos de entrada sem roacutetulos ou valores de saiacuteda

Objetivo encontrar padrotildees no espaccedilo de entradas

Uma das formas de atingir este objetivo eacute observar quais satildeo as regiotildees com maior e menor densidade de dados

bullAlpaydin E Introduction to machine learning MIT Press 2004bullDuda R O Hart P E amp Stork D G Pattern Classification (2nd Edition) Wiley-Interscience 2000

14

Onde abrir pizzarias

Exemplo adaptado dehttpswwwyoutubecomwatchv=IpGxLWOIZy4

15

Onde abrir pizzarias

16

Onde abrir pizzarias

17

Aprendizado Semi-Supervisionado Algoritmos fazem uso tanto de dados rotulados

quanto de dados natildeo rotulados para o treinamento

Normalmente poucos dados rotulados e bastante dados natildeo rotulados

Objetivo fornecer roacutetulos para os dados natildeo rotulados

Em muitos casos o uso de alguns dados rotulados em meio aos dados natildeo rotulados melhora consideravelmente a precisatildeo do aprendizado

bullZhu X Semi-Supervised Learning Literature Survey Technical Report 1530 Computer Sciences University of Wisconsin-Madison 2005bullChapelle O Schoumllkopf B amp Zien A Eds Semi-Supervised Learning Adaptive Computation and Machine Learning Cambridge MA The MIT Press 2006bullAbney S Semisupervised Learning for Computational Linguistics CRC Press 200818

X Zhu ldquoSemi-supervised learning literature surveyrdquo Computer Sciences University of Wisconsin-Madison Tech Rep 1530 2005

Um problema de classificaccedilatildeo binaacuterio em

aprendizado semi-supervisionado

Se assumirmos que cada classe tem

distribuiccedilatildeo Gaussiana podemos usar os dados

natildeo rotulados para ajudar a estimar os

paracircmetros (a) dados rotulados (b) dados

rotulados e natildeo rotulados (c) modelo aprendido a partir dos dados rotulados (d) modelo aprendido a

partir dos dados rotulados e natildeo

rotulados

19

Meacutetodos Baseados em Grafos Aacuterea de pesquisa mais ativa em aprendizado semi-

supervisionado

Dados satildeo representados por noacutes de um grafo onde as arestas satildeo rotuladas com a distacircncia entre os pares de noacutes

Noacutes rotulados satildeo usados para propagar informaccedilatildeo de roacutetulo para os demais

Meacutetodos assumem suavidade de roacutetulos atraveacutes do grafo

20

Exemplo Alunos aprovados em vestibular

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 743 82 Aprovado

2 358 63 Reprovado

3 826 91 Aprovado

4 412 71 Reprovado

5 915 89

6 873 89

7 520 75

8 297 59

9 358 72

10 884 88

11 725 90

12 612 77

Cada aluno eacute um noacute do grafo

Vamos conectar cada noacute com seus 3 vizinhos mais proacuteximos usando a distacircncia euclidiana

11

10

12

87

9

54

6

2

1

3

21

Primeiro vamos normalizar os dados

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 743 82 Aprovado

2 358 63 Reprovado

3 826 91 Aprovado

4 412 71 Reprovado

5 915 89

6 873 89

7 520 75

8 297 59

9 358 72

10 884 88

11 725 90

12 612 77

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 050 029 Aprovado

2 -117 -143 Reprovado

3 086 110 Aprovado

4 -093 -071 Reprovado

5 125 092

6 107 092

7 -046 -035

8 -143 -179

9 -117 -062

10 112 083

11 043 101

12 -006 -017

Dados normalizados meacutedia 0 desvio padratildeo 1

22

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

119889(119894 119895) =2

119909119894 minus 1199091198952+ 119910119894 minus 119910119895

2

1 2 3 4 5 6 7 8 9 10 11 12

1 240 089 175 098 085 116 284 190 082 073 073

2 240 325 076 337 325 129 045 081 321 292 168

3 089 325 255 043 027 196 370 266 037 045 157

4 175 076 255 272 258 059 120 025 256 219 1025 098 337 043 272 018 213 382 287 016 083 171

6 085 325 027 258 018 199 369 271 010 065 157

7 116 129 196 059 213 199 174 075 197 162 044

8 284 045 370 120 382 369 174 121 366 336 213

9 190 081 266 025 287 271 075 121 270 228 119

10 082 321 037 256 016 010 197 366 270 071 154

11 073 292 045 219 083 065 162 336 228 071 127

12 073 168 157 102 171 157 044 213 119 154 127

5

3

7

12

Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em Redes

Descriccedilatildeo do Modelo

Resultados

24

Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em Redes Complexas

Aplicaccedilatildeo em Aprendizado Semi-Supervisionado

Competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas na rede combinado em um esquema uacutenico

Cooperaccedilatildeo Partiacuteculas da mesma classe caminham pela rede de maneira

cooperativa propagando seus roacutetulos

Objetivo Dominar a maior quantidade de noacutes possiacutevel

Competiccedilatildeo Partiacuteculas de classes diferentes competem entre si para

determinar as bordas das classes

Objetivo Evitar a invasatildeo de partiacuteculas de outros times

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming Particle competition and cooperation in networks for semi-supervised learning IEEE Transactions on Knowledge and Data Engineering v24 p1686 - 1698 2012 httpdxdoiorg101109TKDE2011119

25

Configuraccedilatildeo Inicial dos Noacutes

Transforma-se a base de dados em uma rede natildeo direcionada sem peso

Para cada item de dado eacute gerado um noacute na rede

As arestas podem ser geradas usando uma das duas formas

Cada noacute eacute conectado aos vizinhos cuja distacircncia eacute menor que um limiar 120590

Cada noacute eacute conectado aos seus 119948 vizinhos mais proacuteximos

4

26

Configuraccedilatildeo Inicial das Partiacuteculas

Uma partiacutecula eacute gerada para cada noacute rotulado na rede

Este noacute seraacute o noacute casa da partiacutecula correspondente

A posiccedilatildeo inicial de cada partiacutecula eacute ajustada para seu respectivo noacute casa

Partiacuteculas com o mesmo roacutetulo jogam para o mesmo time

4

27

Configuraccedilatildeo Inicial dos Noacutes Cada noacute tem um vetor de domiacutenio

Noacutes rotulados tem niacuteveis de domiacutenio configurados para seus respectivos times Ex [ 1 0 0 0 ] (4 classes noacute rotulado

como classe A)

Noacutes natildeo rotulados tecircm niacuteveis de domiacutenio configurados igualmente para cada time Ex [ 025 025 025 025 ] (4 classes noacute

natildeo rotulado)

002040608

1

002040608

1

119907119894120596ℓ = ൞

1 se 119909119894 eacute rotulado e 119910119894 = ℓ0 se 119909119894 eacute rotulado e 119910119894 ne ℓ

ൗ1 119888 se 119909119894 natildeo eacute rotulado28

Dinacircmica de Noacutes

Quando uma partiacutecula seleciona um vizinho para visitar ela Diminui o niacutevel de domiacutenio de

outros times nesse vizinho

Aumenta o niacutevel de domiacutenio de seu proacuteprio time nesse vizinho

Exceccedilatildeo Niacuteveis de domiacutenio de noacutes

rotulados satildeo fixos

0

05

1

0

05

1

119905

119905 + 1

119907119894120596ℓ 119905 + 1 =

max 0 119907119894120596ℓ 119905 minus

Δ119907120588119895120596 119905

119888 minus 1se 119909119894 natildeo eacute rotulado e ℓ ne 120588119895

119891

119907119894120596ℓ 119905 +

119902neℓ119907119894

120596119902 119905 minus 119907119894

120596119902 119905 + 1 se 119909119894 natildeo eacute rotulado e ℓ = 120588119895119891

119907119894120596ℓ 119905 se 119909119894 eacute rotulado29

Dinacircmica de Partiacuteculas Uma partiacutecula se torna

Forte quando ela visita um noacute dominado por seu time

Fraca quando ela visita um noacute dominado por outro time

0 05 1 0 05 1

01 01 02

06

0 05 1 0 05 1

01

04

0203

120588119895120596 119905 + 1 = 119907119894

120596ℓ 119905 + 1

30

Tabela de Distacircncia Manteacutem a partiacutecula informada da

distacircncia para seu noacute casa Evita que a partiacutecula perca toda sua

forccedila caminhando em territoacuterios inimigos

Manteacutem as partiacuteculas por perto para proteger sua proacutepria vizinhanccedila

Atualizada automaticamente com informaccedilatildeo local Natildeo requer nenhum caacutelculo a priori

4

24

0

1

1

2

33

4

120588119895119889119896 119905 + 1 = ቐ

120588119895119889119894 119905 + 1 se 120588119895

119889119894 119905 + 1 lt 120588119895119889119896 119905

120588119895119889119896 119905 caso contraacuterio31

Caminhada Aleatoacuterio-Gulosa Caminhada Aleatoacuteria

A partiacutecula escolhe aleatoriamente qualquer vizinhos para visitar sem preocupaccedilatildeo com o niacutevel de domiacutenio

Probabilidades iguais para todos os vizinhos

Caminhada Gulosa A partiacutecula prefere visitar noacutes

que ela jaacute domina e noacutes mais proacuteximos de seu noacute casa

Probabilidade de visitar cada vizinho dada pelo niacutevel de domiacutenio e distacircncia

As partiacuteculas precisam exibir ambos os movimentos para que haja um equiliacutebrio entre o comportamento exploratoacuterio e o defensivo

119901 119907119894|120588119895 =119882119902119894

σ120583=1119899 119882119902120583

119901 119907119894|120588119895 =119882119902119894119907119894

120596ℓ 1 + 120588119895119889119894

minus2

σ120583=1119899 119882119902120583 119907120583

120596ℓ 1 + 120588119895

119889120583minus2

CAMINHADA GULOSACAMINHADA ALEATOacuteRIA

Probabilidades no Movimento Guloso

Probabilidades no Movimento Aleatoacuterio

35

18

47

33

33

33

1199071

1199072

1199073

1199074

1199072

1199073

1199074

1199072

1199073

1199074

01 01 02

06

04

0203

01

08

0100

01

33

Choques Uma partiacutecula fica no noacute

visitado somente se o niacutevel de domiacutenio de seu time eacute maior que o dos outros

Caso contraacuterio um choque acontece e a partiacutecula eacute expulsa voltando ao noacute onde estava anteriormente ateacute a proacutexima iteraccedilatildeo

07

03

03

07

0604

0406

34

AlgoritmoConstruir a rede

Configurar os niacuteveis de domiacutenio

Configurar posiccedilatildeo inicial de partiacuteculas e seus correspondentes noacutes-casa

Configurar forccedila da partiacutecula e distacircncia

Repita

Para cada partiacutecula faccedila

Selecione movimento aleatoacuterio ou guloso

Selecione o noacute a ser visitado

Atualize os niacuteveis de domiacutenio do noacute visitado

Atualize a forccedila da partiacutecula

Atualize a tabela de distacircncias

Ateacute que o criteacuterio de parada ou um nuacutemero preacute-definido de passos seja atingido

Rotule cada noacute natildeo rotulado de acordo com o time de partiacuteculas que tiver o maior domiacutenio

35

1 2 3 4

5 6 7 8

9 10 11 12

Voltando ao nosso exemplo dos alunosNo final das iteraccedilotildees

36

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

5

3

7

12

Agora eacute soacute ldquopintarrdquo os noacutes com a classe das partiacuteculas que o dominaram

37

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092 Aprovado

6 873 89 107 092 Aprovado

7 520 75 -046 -035 Reprovado

8 297 59 -143 -179 Reprovado

9 358 72 -117 -062 Reprovado

10 884 88 112 083 Aprovado

11 725 90 043 101 Aprovado

12 612 77 -006 -017 Reprovado

1

11

10

6

8

9

4

2

5

3

7

12

E pronto Todos os dados natildeo rotulados tiveram seus roacutetulos estimados pelo classificador do modelo de partiacuteculas

38

Anaacutelise de complexidade do meacutetodo proposto em rede com meacutedia mistura (a) Nuacutemero de

iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 5119911119900119906119905 lt 119896 gt = 02

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Anaacutelise de complexidade do meacutetodo proposto em rede com

alta mistura (a) Nuacutemero de iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 10119911119900119906119905 lt 119896 gt = 04

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Tamanho da Base de Dados (n)

Tem

po

(se

gun

do

s)

Tempo de execuccedilatildeo de quatro meacutetodos baseados em grafos incluindo o meacutetodo de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas para classificar uma sequencia de bases de dados artificiais com 4 classes com distribuiccedilatildeo Gaussiana com tamanhos crescentes

41

Classificaccedilatildeo de base de dado artificial com 2000

amostras divididas igualmente em duas classes com forma de

banana

Desempenho de Classificaccedilatildeo

42

Classificaccedilatildeo de base de dado artificial com 1000

amostras divididas em duas classes Highleyman

Desempenho de Classificaccedilatildeo

43

Classificaccedilatildeo de base de dado artificial com 1200

amostras divididas emduas classes Lithuanian com 800 e 400 amostras

respectivamente

Desempenho de Classificaccedilatildeo

44

Classificaccedilatildeo de base de dado artificial com 1200

amostras igualmente divididas em trecircs classes

com distribuiccedilatildeo Gaussiana

Desempenho de Classificaccedilatildeo

45

Benchmark - Erros de teste () com 100 pontos de dados rotulados46

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 100 pontos de dados rotulados

Benchmark - Erros de teste () com 10 pontos de dados rotulados48

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 10 pontos de dados rotulados

Erros de classificaccedilatildeo () e tempos de execuccedilatildeo (segundos) de quatro meacutetodos baseados em grafos aplicados em bases de dados grandes

Erros de Classificaccedilatildeo e Tempos de Execuccedilatildeo em Grandes Bases de Dados

50

Extensotildees do Modelo de Partiacuteculas

Detecccedilatildeo de Comunidades SobrepostasAprendizado Semi-Supervisionado com Dados ImperfeitosClassificaccedilatildeo Semi-Supervisionada de Fluxos de DadosAprendizado Ativo e Semi-SupervisionadoSegmentaccedilatildeo de Imagens

51

Extensotildees do Modelo de Partiacuteculas

52

O modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas jaacute foi estendido para realizar diversos tipos de tarefas de aprendizado de maacutequina

Detecccedilatildeo de Comunidades Sobrepostas

Aprendizado Semi-Supervisionado com Dados Imperfeitos

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados

Aprendizado Ativo e Semi-Supervisionado

Segmentaccedilatildeo de Imagens

Detecccedilatildeo de Comunidades Sobrepostas

Breve Fabricio ZHAO Liang Fuzzy community structure detection by particle competition and cooperation Soft Computing (Berlin Print) v 17 p 659-673 2013httpdxdoiorg101007s00500-012-0924-3

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming ParticleCompetition and Cooperation for Uncovering Network Overlap Community Structure In The 8th InternationalSymposium on Neural Networks (ISNN 2011) 2011 Guilin China Lecture Notes in Computer Science Berlin Heidelberg Springer-Verlag 2011 v6677 p426 ndash 433httpdxdoiorg101007978-3-642-21111-9_48

53

Detecccedilatildeo de Comunidades Sobrepostas

Em problemas de classificaccedilatildeo nem sempre os elementos pertencem a um uacutenico grupo

Haacute casos em que elementos pertencem a muacuteltiplas comunidades

Exemplo Redes Sociais

Muacuteltiplos Grupos famiacutelia colegas de trabalho colegas de escola

A maioria dos meacutetodos natildeo consegue detectar tal estrutura de sobreposiccedilatildeo

54Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Esta extensatildeo oferece saiacutedas contiacutenuas atraveacutes de um niacutevel de dominacircncia acumulado

Quantifica a dominacircncia de cada time de partiacuteculas sobre os noacutes ao longo de toda a execuccedilatildeo do algoritmo O niacutevel de dominacircncia acumulado inicia em zero para todas as

classes e eacute aumentado somente quando o movimento aleatoacuterio eacute selecionado na classe correspondente agrave partiacutecula

Nunca diminui

119907119894120582ℓ 119905 + 1 = 119907119894

120582ℓ 119905 + 120588119895120596 119905

55

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 4: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Aprendizado de Maacutequina Disciplina que trata do projeto e desenvolvimento de

algoritmos que melhoram automaticamente com a experiecircncia imitando o comportamento de aprendizado de humanos

Algumas das principais categorias

Aprendizado Supervisionado

Aprendizado Natildeo Supervisionado

Aprendizado Semi-Supervisionado

bullMitchell T Machine Learning McGraw Hill 1997bullAlpaydin E Introduction to machine learning MIT Press 2004bullNatarajan B K Machine learning a theoretical approach Morgan Kaufmann 1991

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

4

Aprendizado Supervisionado Algoritmos deduzem uma funccedilatildeo a partir dos dados

de treinamento

Dados de treinamento consistem em pares de exemplos de entradas e saiacutedas desejadas

Objetivo obter uma funccedilatildeo que seja capaz de predizer a saiacuteda para qualquer entrada vaacutelida apoacutes ter visto um nuacutemero suficiente de exemplos de treinamento

bullAlpaydin E Introduction to machine learning MIT Press 2004bullDuda R O Hart P E amp Stork D G Pattern Classification (2nd Edition) Wiley-Interscience 2000

5

Exemplo Preccedilo de uma casa

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-NC-ND

R$ 350000 R$ 800000

Exemplo adaptado dehttpswwwyoutubecomwatchv=IpGxLWOIZy46

R$ 800000

R$ 600000

R$ 350000

Preccedilo

Tamanho da Casa (msup2)

50000

Regressatildeo Linear

7

Erro

Erro8

Gradiente Descendente

Objetivo MiacutenimoErro Quadraacutetico

9

Exemplo Detecccedilatildeo de SPAM

200 e-mails

Exemplo adaptado dehttpswwwyoutubecomwatchv=IpGxLWOIZy4

10

Exemplo Detecccedilatildeo de SPAM

Classificamos 50 como SPAMe 150 como Natildeo-SPAM

SPAM Natildeo-SPAM

11

SPAM Natildeo-SPAM

Vamos procurar quantos desses e-mails tem a palavra

ldquoreacuteplicardquo

Questatildeo com base em nossos dados se um e-mail conteacutem a palavra ldquoreacuteplicardquo qual a probabilidade de ser SPAM

( ) 40 ( ) 60 ( ) 8012

Algoritmo Naive Bayes Podemos acrescentar outros atributos

ldquoreacuteplicardquo rarr 80

ldquograacutetisrdquo rarr 65

ldquobaratordquo rarr 60

erro de ortografia rarr 70

falta linha de assunto rarr 90

etc

Combinando essas probabilidades individuais podemos obter classificadores mais confiaacuteveis

13

Aprendizado Natildeo Supervisionado Algoritmos buscam determinar como os dados estatildeo

organizados

Dados de treinamento consistem apenas de exemplos de entrada sem roacutetulos ou valores de saiacuteda

Objetivo encontrar padrotildees no espaccedilo de entradas

Uma das formas de atingir este objetivo eacute observar quais satildeo as regiotildees com maior e menor densidade de dados

bullAlpaydin E Introduction to machine learning MIT Press 2004bullDuda R O Hart P E amp Stork D G Pattern Classification (2nd Edition) Wiley-Interscience 2000

14

Onde abrir pizzarias

Exemplo adaptado dehttpswwwyoutubecomwatchv=IpGxLWOIZy4

15

Onde abrir pizzarias

16

Onde abrir pizzarias

17

Aprendizado Semi-Supervisionado Algoritmos fazem uso tanto de dados rotulados

quanto de dados natildeo rotulados para o treinamento

Normalmente poucos dados rotulados e bastante dados natildeo rotulados

Objetivo fornecer roacutetulos para os dados natildeo rotulados

Em muitos casos o uso de alguns dados rotulados em meio aos dados natildeo rotulados melhora consideravelmente a precisatildeo do aprendizado

bullZhu X Semi-Supervised Learning Literature Survey Technical Report 1530 Computer Sciences University of Wisconsin-Madison 2005bullChapelle O Schoumllkopf B amp Zien A Eds Semi-Supervised Learning Adaptive Computation and Machine Learning Cambridge MA The MIT Press 2006bullAbney S Semisupervised Learning for Computational Linguistics CRC Press 200818

X Zhu ldquoSemi-supervised learning literature surveyrdquo Computer Sciences University of Wisconsin-Madison Tech Rep 1530 2005

Um problema de classificaccedilatildeo binaacuterio em

aprendizado semi-supervisionado

Se assumirmos que cada classe tem

distribuiccedilatildeo Gaussiana podemos usar os dados

natildeo rotulados para ajudar a estimar os

paracircmetros (a) dados rotulados (b) dados

rotulados e natildeo rotulados (c) modelo aprendido a partir dos dados rotulados (d) modelo aprendido a

partir dos dados rotulados e natildeo

rotulados

19

Meacutetodos Baseados em Grafos Aacuterea de pesquisa mais ativa em aprendizado semi-

supervisionado

Dados satildeo representados por noacutes de um grafo onde as arestas satildeo rotuladas com a distacircncia entre os pares de noacutes

Noacutes rotulados satildeo usados para propagar informaccedilatildeo de roacutetulo para os demais

Meacutetodos assumem suavidade de roacutetulos atraveacutes do grafo

20

Exemplo Alunos aprovados em vestibular

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 743 82 Aprovado

2 358 63 Reprovado

3 826 91 Aprovado

4 412 71 Reprovado

5 915 89

6 873 89

7 520 75

8 297 59

9 358 72

10 884 88

11 725 90

12 612 77

Cada aluno eacute um noacute do grafo

Vamos conectar cada noacute com seus 3 vizinhos mais proacuteximos usando a distacircncia euclidiana

11

10

12

87

9

54

6

2

1

3

21

Primeiro vamos normalizar os dados

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 743 82 Aprovado

2 358 63 Reprovado

3 826 91 Aprovado

4 412 71 Reprovado

5 915 89

6 873 89

7 520 75

8 297 59

9 358 72

10 884 88

11 725 90

12 612 77

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 050 029 Aprovado

2 -117 -143 Reprovado

3 086 110 Aprovado

4 -093 -071 Reprovado

5 125 092

6 107 092

7 -046 -035

8 -143 -179

9 -117 -062

10 112 083

11 043 101

12 -006 -017

Dados normalizados meacutedia 0 desvio padratildeo 1

22

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

119889(119894 119895) =2

119909119894 minus 1199091198952+ 119910119894 minus 119910119895

2

1 2 3 4 5 6 7 8 9 10 11 12

1 240 089 175 098 085 116 284 190 082 073 073

2 240 325 076 337 325 129 045 081 321 292 168

3 089 325 255 043 027 196 370 266 037 045 157

4 175 076 255 272 258 059 120 025 256 219 1025 098 337 043 272 018 213 382 287 016 083 171

6 085 325 027 258 018 199 369 271 010 065 157

7 116 129 196 059 213 199 174 075 197 162 044

8 284 045 370 120 382 369 174 121 366 336 213

9 190 081 266 025 287 271 075 121 270 228 119

10 082 321 037 256 016 010 197 366 270 071 154

11 073 292 045 219 083 065 162 336 228 071 127

12 073 168 157 102 171 157 044 213 119 154 127

5

3

7

12

Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em Redes

Descriccedilatildeo do Modelo

Resultados

24

Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em Redes Complexas

Aplicaccedilatildeo em Aprendizado Semi-Supervisionado

Competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas na rede combinado em um esquema uacutenico

Cooperaccedilatildeo Partiacuteculas da mesma classe caminham pela rede de maneira

cooperativa propagando seus roacutetulos

Objetivo Dominar a maior quantidade de noacutes possiacutevel

Competiccedilatildeo Partiacuteculas de classes diferentes competem entre si para

determinar as bordas das classes

Objetivo Evitar a invasatildeo de partiacuteculas de outros times

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming Particle competition and cooperation in networks for semi-supervised learning IEEE Transactions on Knowledge and Data Engineering v24 p1686 - 1698 2012 httpdxdoiorg101109TKDE2011119

25

Configuraccedilatildeo Inicial dos Noacutes

Transforma-se a base de dados em uma rede natildeo direcionada sem peso

Para cada item de dado eacute gerado um noacute na rede

As arestas podem ser geradas usando uma das duas formas

Cada noacute eacute conectado aos vizinhos cuja distacircncia eacute menor que um limiar 120590

Cada noacute eacute conectado aos seus 119948 vizinhos mais proacuteximos

4

26

Configuraccedilatildeo Inicial das Partiacuteculas

Uma partiacutecula eacute gerada para cada noacute rotulado na rede

Este noacute seraacute o noacute casa da partiacutecula correspondente

A posiccedilatildeo inicial de cada partiacutecula eacute ajustada para seu respectivo noacute casa

Partiacuteculas com o mesmo roacutetulo jogam para o mesmo time

4

27

Configuraccedilatildeo Inicial dos Noacutes Cada noacute tem um vetor de domiacutenio

Noacutes rotulados tem niacuteveis de domiacutenio configurados para seus respectivos times Ex [ 1 0 0 0 ] (4 classes noacute rotulado

como classe A)

Noacutes natildeo rotulados tecircm niacuteveis de domiacutenio configurados igualmente para cada time Ex [ 025 025 025 025 ] (4 classes noacute

natildeo rotulado)

002040608

1

002040608

1

119907119894120596ℓ = ൞

1 se 119909119894 eacute rotulado e 119910119894 = ℓ0 se 119909119894 eacute rotulado e 119910119894 ne ℓ

ൗ1 119888 se 119909119894 natildeo eacute rotulado28

Dinacircmica de Noacutes

Quando uma partiacutecula seleciona um vizinho para visitar ela Diminui o niacutevel de domiacutenio de

outros times nesse vizinho

Aumenta o niacutevel de domiacutenio de seu proacuteprio time nesse vizinho

Exceccedilatildeo Niacuteveis de domiacutenio de noacutes

rotulados satildeo fixos

0

05

1

0

05

1

119905

119905 + 1

119907119894120596ℓ 119905 + 1 =

max 0 119907119894120596ℓ 119905 minus

Δ119907120588119895120596 119905

119888 minus 1se 119909119894 natildeo eacute rotulado e ℓ ne 120588119895

119891

119907119894120596ℓ 119905 +

119902neℓ119907119894

120596119902 119905 minus 119907119894

120596119902 119905 + 1 se 119909119894 natildeo eacute rotulado e ℓ = 120588119895119891

119907119894120596ℓ 119905 se 119909119894 eacute rotulado29

Dinacircmica de Partiacuteculas Uma partiacutecula se torna

Forte quando ela visita um noacute dominado por seu time

Fraca quando ela visita um noacute dominado por outro time

0 05 1 0 05 1

01 01 02

06

0 05 1 0 05 1

01

04

0203

120588119895120596 119905 + 1 = 119907119894

120596ℓ 119905 + 1

30

Tabela de Distacircncia Manteacutem a partiacutecula informada da

distacircncia para seu noacute casa Evita que a partiacutecula perca toda sua

forccedila caminhando em territoacuterios inimigos

Manteacutem as partiacuteculas por perto para proteger sua proacutepria vizinhanccedila

Atualizada automaticamente com informaccedilatildeo local Natildeo requer nenhum caacutelculo a priori

4

24

0

1

1

2

33

4

120588119895119889119896 119905 + 1 = ቐ

120588119895119889119894 119905 + 1 se 120588119895

119889119894 119905 + 1 lt 120588119895119889119896 119905

120588119895119889119896 119905 caso contraacuterio31

Caminhada Aleatoacuterio-Gulosa Caminhada Aleatoacuteria

A partiacutecula escolhe aleatoriamente qualquer vizinhos para visitar sem preocupaccedilatildeo com o niacutevel de domiacutenio

Probabilidades iguais para todos os vizinhos

Caminhada Gulosa A partiacutecula prefere visitar noacutes

que ela jaacute domina e noacutes mais proacuteximos de seu noacute casa

Probabilidade de visitar cada vizinho dada pelo niacutevel de domiacutenio e distacircncia

As partiacuteculas precisam exibir ambos os movimentos para que haja um equiliacutebrio entre o comportamento exploratoacuterio e o defensivo

119901 119907119894|120588119895 =119882119902119894

σ120583=1119899 119882119902120583

119901 119907119894|120588119895 =119882119902119894119907119894

120596ℓ 1 + 120588119895119889119894

minus2

σ120583=1119899 119882119902120583 119907120583

120596ℓ 1 + 120588119895

119889120583minus2

CAMINHADA GULOSACAMINHADA ALEATOacuteRIA

Probabilidades no Movimento Guloso

Probabilidades no Movimento Aleatoacuterio

35

18

47

33

33

33

1199071

1199072

1199073

1199074

1199072

1199073

1199074

1199072

1199073

1199074

01 01 02

06

04

0203

01

08

0100

01

33

Choques Uma partiacutecula fica no noacute

visitado somente se o niacutevel de domiacutenio de seu time eacute maior que o dos outros

Caso contraacuterio um choque acontece e a partiacutecula eacute expulsa voltando ao noacute onde estava anteriormente ateacute a proacutexima iteraccedilatildeo

07

03

03

07

0604

0406

34

AlgoritmoConstruir a rede

Configurar os niacuteveis de domiacutenio

Configurar posiccedilatildeo inicial de partiacuteculas e seus correspondentes noacutes-casa

Configurar forccedila da partiacutecula e distacircncia

Repita

Para cada partiacutecula faccedila

Selecione movimento aleatoacuterio ou guloso

Selecione o noacute a ser visitado

Atualize os niacuteveis de domiacutenio do noacute visitado

Atualize a forccedila da partiacutecula

Atualize a tabela de distacircncias

Ateacute que o criteacuterio de parada ou um nuacutemero preacute-definido de passos seja atingido

Rotule cada noacute natildeo rotulado de acordo com o time de partiacuteculas que tiver o maior domiacutenio

35

1 2 3 4

5 6 7 8

9 10 11 12

Voltando ao nosso exemplo dos alunosNo final das iteraccedilotildees

36

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

5

3

7

12

Agora eacute soacute ldquopintarrdquo os noacutes com a classe das partiacuteculas que o dominaram

37

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092 Aprovado

6 873 89 107 092 Aprovado

7 520 75 -046 -035 Reprovado

8 297 59 -143 -179 Reprovado

9 358 72 -117 -062 Reprovado

10 884 88 112 083 Aprovado

11 725 90 043 101 Aprovado

12 612 77 -006 -017 Reprovado

1

11

10

6

8

9

4

2

5

3

7

12

E pronto Todos os dados natildeo rotulados tiveram seus roacutetulos estimados pelo classificador do modelo de partiacuteculas

38

Anaacutelise de complexidade do meacutetodo proposto em rede com meacutedia mistura (a) Nuacutemero de

iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 5119911119900119906119905 lt 119896 gt = 02

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Anaacutelise de complexidade do meacutetodo proposto em rede com

alta mistura (a) Nuacutemero de iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 10119911119900119906119905 lt 119896 gt = 04

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Tamanho da Base de Dados (n)

Tem

po

(se

gun

do

s)

Tempo de execuccedilatildeo de quatro meacutetodos baseados em grafos incluindo o meacutetodo de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas para classificar uma sequencia de bases de dados artificiais com 4 classes com distribuiccedilatildeo Gaussiana com tamanhos crescentes

41

Classificaccedilatildeo de base de dado artificial com 2000

amostras divididas igualmente em duas classes com forma de

banana

Desempenho de Classificaccedilatildeo

42

Classificaccedilatildeo de base de dado artificial com 1000

amostras divididas em duas classes Highleyman

Desempenho de Classificaccedilatildeo

43

Classificaccedilatildeo de base de dado artificial com 1200

amostras divididas emduas classes Lithuanian com 800 e 400 amostras

respectivamente

Desempenho de Classificaccedilatildeo

44

Classificaccedilatildeo de base de dado artificial com 1200

amostras igualmente divididas em trecircs classes

com distribuiccedilatildeo Gaussiana

Desempenho de Classificaccedilatildeo

45

Benchmark - Erros de teste () com 100 pontos de dados rotulados46

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 100 pontos de dados rotulados

Benchmark - Erros de teste () com 10 pontos de dados rotulados48

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 10 pontos de dados rotulados

Erros de classificaccedilatildeo () e tempos de execuccedilatildeo (segundos) de quatro meacutetodos baseados em grafos aplicados em bases de dados grandes

Erros de Classificaccedilatildeo e Tempos de Execuccedilatildeo em Grandes Bases de Dados

50

Extensotildees do Modelo de Partiacuteculas

Detecccedilatildeo de Comunidades SobrepostasAprendizado Semi-Supervisionado com Dados ImperfeitosClassificaccedilatildeo Semi-Supervisionada de Fluxos de DadosAprendizado Ativo e Semi-SupervisionadoSegmentaccedilatildeo de Imagens

51

Extensotildees do Modelo de Partiacuteculas

52

O modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas jaacute foi estendido para realizar diversos tipos de tarefas de aprendizado de maacutequina

Detecccedilatildeo de Comunidades Sobrepostas

Aprendizado Semi-Supervisionado com Dados Imperfeitos

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados

Aprendizado Ativo e Semi-Supervisionado

Segmentaccedilatildeo de Imagens

Detecccedilatildeo de Comunidades Sobrepostas

Breve Fabricio ZHAO Liang Fuzzy community structure detection by particle competition and cooperation Soft Computing (Berlin Print) v 17 p 659-673 2013httpdxdoiorg101007s00500-012-0924-3

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming ParticleCompetition and Cooperation for Uncovering Network Overlap Community Structure In The 8th InternationalSymposium on Neural Networks (ISNN 2011) 2011 Guilin China Lecture Notes in Computer Science Berlin Heidelberg Springer-Verlag 2011 v6677 p426 ndash 433httpdxdoiorg101007978-3-642-21111-9_48

53

Detecccedilatildeo de Comunidades Sobrepostas

Em problemas de classificaccedilatildeo nem sempre os elementos pertencem a um uacutenico grupo

Haacute casos em que elementos pertencem a muacuteltiplas comunidades

Exemplo Redes Sociais

Muacuteltiplos Grupos famiacutelia colegas de trabalho colegas de escola

A maioria dos meacutetodos natildeo consegue detectar tal estrutura de sobreposiccedilatildeo

54Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Esta extensatildeo oferece saiacutedas contiacutenuas atraveacutes de um niacutevel de dominacircncia acumulado

Quantifica a dominacircncia de cada time de partiacuteculas sobre os noacutes ao longo de toda a execuccedilatildeo do algoritmo O niacutevel de dominacircncia acumulado inicia em zero para todas as

classes e eacute aumentado somente quando o movimento aleatoacuterio eacute selecionado na classe correspondente agrave partiacutecula

Nunca diminui

119907119894120582ℓ 119905 + 1 = 119907119894

120582ℓ 119905 + 120588119895120596 119905

55

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 5: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Aprendizado Supervisionado Algoritmos deduzem uma funccedilatildeo a partir dos dados

de treinamento

Dados de treinamento consistem em pares de exemplos de entradas e saiacutedas desejadas

Objetivo obter uma funccedilatildeo que seja capaz de predizer a saiacuteda para qualquer entrada vaacutelida apoacutes ter visto um nuacutemero suficiente de exemplos de treinamento

bullAlpaydin E Introduction to machine learning MIT Press 2004bullDuda R O Hart P E amp Stork D G Pattern Classification (2nd Edition) Wiley-Interscience 2000

5

Exemplo Preccedilo de uma casa

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-NC-ND

R$ 350000 R$ 800000

Exemplo adaptado dehttpswwwyoutubecomwatchv=IpGxLWOIZy46

R$ 800000

R$ 600000

R$ 350000

Preccedilo

Tamanho da Casa (msup2)

50000

Regressatildeo Linear

7

Erro

Erro8

Gradiente Descendente

Objetivo MiacutenimoErro Quadraacutetico

9

Exemplo Detecccedilatildeo de SPAM

200 e-mails

Exemplo adaptado dehttpswwwyoutubecomwatchv=IpGxLWOIZy4

10

Exemplo Detecccedilatildeo de SPAM

Classificamos 50 como SPAMe 150 como Natildeo-SPAM

SPAM Natildeo-SPAM

11

SPAM Natildeo-SPAM

Vamos procurar quantos desses e-mails tem a palavra

ldquoreacuteplicardquo

Questatildeo com base em nossos dados se um e-mail conteacutem a palavra ldquoreacuteplicardquo qual a probabilidade de ser SPAM

( ) 40 ( ) 60 ( ) 8012

Algoritmo Naive Bayes Podemos acrescentar outros atributos

ldquoreacuteplicardquo rarr 80

ldquograacutetisrdquo rarr 65

ldquobaratordquo rarr 60

erro de ortografia rarr 70

falta linha de assunto rarr 90

etc

Combinando essas probabilidades individuais podemos obter classificadores mais confiaacuteveis

13

Aprendizado Natildeo Supervisionado Algoritmos buscam determinar como os dados estatildeo

organizados

Dados de treinamento consistem apenas de exemplos de entrada sem roacutetulos ou valores de saiacuteda

Objetivo encontrar padrotildees no espaccedilo de entradas

Uma das formas de atingir este objetivo eacute observar quais satildeo as regiotildees com maior e menor densidade de dados

bullAlpaydin E Introduction to machine learning MIT Press 2004bullDuda R O Hart P E amp Stork D G Pattern Classification (2nd Edition) Wiley-Interscience 2000

14

Onde abrir pizzarias

Exemplo adaptado dehttpswwwyoutubecomwatchv=IpGxLWOIZy4

15

Onde abrir pizzarias

16

Onde abrir pizzarias

17

Aprendizado Semi-Supervisionado Algoritmos fazem uso tanto de dados rotulados

quanto de dados natildeo rotulados para o treinamento

Normalmente poucos dados rotulados e bastante dados natildeo rotulados

Objetivo fornecer roacutetulos para os dados natildeo rotulados

Em muitos casos o uso de alguns dados rotulados em meio aos dados natildeo rotulados melhora consideravelmente a precisatildeo do aprendizado

bullZhu X Semi-Supervised Learning Literature Survey Technical Report 1530 Computer Sciences University of Wisconsin-Madison 2005bullChapelle O Schoumllkopf B amp Zien A Eds Semi-Supervised Learning Adaptive Computation and Machine Learning Cambridge MA The MIT Press 2006bullAbney S Semisupervised Learning for Computational Linguistics CRC Press 200818

X Zhu ldquoSemi-supervised learning literature surveyrdquo Computer Sciences University of Wisconsin-Madison Tech Rep 1530 2005

Um problema de classificaccedilatildeo binaacuterio em

aprendizado semi-supervisionado

Se assumirmos que cada classe tem

distribuiccedilatildeo Gaussiana podemos usar os dados

natildeo rotulados para ajudar a estimar os

paracircmetros (a) dados rotulados (b) dados

rotulados e natildeo rotulados (c) modelo aprendido a partir dos dados rotulados (d) modelo aprendido a

partir dos dados rotulados e natildeo

rotulados

19

Meacutetodos Baseados em Grafos Aacuterea de pesquisa mais ativa em aprendizado semi-

supervisionado

Dados satildeo representados por noacutes de um grafo onde as arestas satildeo rotuladas com a distacircncia entre os pares de noacutes

Noacutes rotulados satildeo usados para propagar informaccedilatildeo de roacutetulo para os demais

Meacutetodos assumem suavidade de roacutetulos atraveacutes do grafo

20

Exemplo Alunos aprovados em vestibular

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 743 82 Aprovado

2 358 63 Reprovado

3 826 91 Aprovado

4 412 71 Reprovado

5 915 89

6 873 89

7 520 75

8 297 59

9 358 72

10 884 88

11 725 90

12 612 77

Cada aluno eacute um noacute do grafo

Vamos conectar cada noacute com seus 3 vizinhos mais proacuteximos usando a distacircncia euclidiana

11

10

12

87

9

54

6

2

1

3

21

Primeiro vamos normalizar os dados

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 743 82 Aprovado

2 358 63 Reprovado

3 826 91 Aprovado

4 412 71 Reprovado

5 915 89

6 873 89

7 520 75

8 297 59

9 358 72

10 884 88

11 725 90

12 612 77

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 050 029 Aprovado

2 -117 -143 Reprovado

3 086 110 Aprovado

4 -093 -071 Reprovado

5 125 092

6 107 092

7 -046 -035

8 -143 -179

9 -117 -062

10 112 083

11 043 101

12 -006 -017

Dados normalizados meacutedia 0 desvio padratildeo 1

22

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

119889(119894 119895) =2

119909119894 minus 1199091198952+ 119910119894 minus 119910119895

2

1 2 3 4 5 6 7 8 9 10 11 12

1 240 089 175 098 085 116 284 190 082 073 073

2 240 325 076 337 325 129 045 081 321 292 168

3 089 325 255 043 027 196 370 266 037 045 157

4 175 076 255 272 258 059 120 025 256 219 1025 098 337 043 272 018 213 382 287 016 083 171

6 085 325 027 258 018 199 369 271 010 065 157

7 116 129 196 059 213 199 174 075 197 162 044

8 284 045 370 120 382 369 174 121 366 336 213

9 190 081 266 025 287 271 075 121 270 228 119

10 082 321 037 256 016 010 197 366 270 071 154

11 073 292 045 219 083 065 162 336 228 071 127

12 073 168 157 102 171 157 044 213 119 154 127

5

3

7

12

Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em Redes

Descriccedilatildeo do Modelo

Resultados

24

Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em Redes Complexas

Aplicaccedilatildeo em Aprendizado Semi-Supervisionado

Competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas na rede combinado em um esquema uacutenico

Cooperaccedilatildeo Partiacuteculas da mesma classe caminham pela rede de maneira

cooperativa propagando seus roacutetulos

Objetivo Dominar a maior quantidade de noacutes possiacutevel

Competiccedilatildeo Partiacuteculas de classes diferentes competem entre si para

determinar as bordas das classes

Objetivo Evitar a invasatildeo de partiacuteculas de outros times

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming Particle competition and cooperation in networks for semi-supervised learning IEEE Transactions on Knowledge and Data Engineering v24 p1686 - 1698 2012 httpdxdoiorg101109TKDE2011119

25

Configuraccedilatildeo Inicial dos Noacutes

Transforma-se a base de dados em uma rede natildeo direcionada sem peso

Para cada item de dado eacute gerado um noacute na rede

As arestas podem ser geradas usando uma das duas formas

Cada noacute eacute conectado aos vizinhos cuja distacircncia eacute menor que um limiar 120590

Cada noacute eacute conectado aos seus 119948 vizinhos mais proacuteximos

4

26

Configuraccedilatildeo Inicial das Partiacuteculas

Uma partiacutecula eacute gerada para cada noacute rotulado na rede

Este noacute seraacute o noacute casa da partiacutecula correspondente

A posiccedilatildeo inicial de cada partiacutecula eacute ajustada para seu respectivo noacute casa

Partiacuteculas com o mesmo roacutetulo jogam para o mesmo time

4

27

Configuraccedilatildeo Inicial dos Noacutes Cada noacute tem um vetor de domiacutenio

Noacutes rotulados tem niacuteveis de domiacutenio configurados para seus respectivos times Ex [ 1 0 0 0 ] (4 classes noacute rotulado

como classe A)

Noacutes natildeo rotulados tecircm niacuteveis de domiacutenio configurados igualmente para cada time Ex [ 025 025 025 025 ] (4 classes noacute

natildeo rotulado)

002040608

1

002040608

1

119907119894120596ℓ = ൞

1 se 119909119894 eacute rotulado e 119910119894 = ℓ0 se 119909119894 eacute rotulado e 119910119894 ne ℓ

ൗ1 119888 se 119909119894 natildeo eacute rotulado28

Dinacircmica de Noacutes

Quando uma partiacutecula seleciona um vizinho para visitar ela Diminui o niacutevel de domiacutenio de

outros times nesse vizinho

Aumenta o niacutevel de domiacutenio de seu proacuteprio time nesse vizinho

Exceccedilatildeo Niacuteveis de domiacutenio de noacutes

rotulados satildeo fixos

0

05

1

0

05

1

119905

119905 + 1

119907119894120596ℓ 119905 + 1 =

max 0 119907119894120596ℓ 119905 minus

Δ119907120588119895120596 119905

119888 minus 1se 119909119894 natildeo eacute rotulado e ℓ ne 120588119895

119891

119907119894120596ℓ 119905 +

119902neℓ119907119894

120596119902 119905 minus 119907119894

120596119902 119905 + 1 se 119909119894 natildeo eacute rotulado e ℓ = 120588119895119891

119907119894120596ℓ 119905 se 119909119894 eacute rotulado29

Dinacircmica de Partiacuteculas Uma partiacutecula se torna

Forte quando ela visita um noacute dominado por seu time

Fraca quando ela visita um noacute dominado por outro time

0 05 1 0 05 1

01 01 02

06

0 05 1 0 05 1

01

04

0203

120588119895120596 119905 + 1 = 119907119894

120596ℓ 119905 + 1

30

Tabela de Distacircncia Manteacutem a partiacutecula informada da

distacircncia para seu noacute casa Evita que a partiacutecula perca toda sua

forccedila caminhando em territoacuterios inimigos

Manteacutem as partiacuteculas por perto para proteger sua proacutepria vizinhanccedila

Atualizada automaticamente com informaccedilatildeo local Natildeo requer nenhum caacutelculo a priori

4

24

0

1

1

2

33

4

120588119895119889119896 119905 + 1 = ቐ

120588119895119889119894 119905 + 1 se 120588119895

119889119894 119905 + 1 lt 120588119895119889119896 119905

120588119895119889119896 119905 caso contraacuterio31

Caminhada Aleatoacuterio-Gulosa Caminhada Aleatoacuteria

A partiacutecula escolhe aleatoriamente qualquer vizinhos para visitar sem preocupaccedilatildeo com o niacutevel de domiacutenio

Probabilidades iguais para todos os vizinhos

Caminhada Gulosa A partiacutecula prefere visitar noacutes

que ela jaacute domina e noacutes mais proacuteximos de seu noacute casa

Probabilidade de visitar cada vizinho dada pelo niacutevel de domiacutenio e distacircncia

As partiacuteculas precisam exibir ambos os movimentos para que haja um equiliacutebrio entre o comportamento exploratoacuterio e o defensivo

119901 119907119894|120588119895 =119882119902119894

σ120583=1119899 119882119902120583

119901 119907119894|120588119895 =119882119902119894119907119894

120596ℓ 1 + 120588119895119889119894

minus2

σ120583=1119899 119882119902120583 119907120583

120596ℓ 1 + 120588119895

119889120583minus2

CAMINHADA GULOSACAMINHADA ALEATOacuteRIA

Probabilidades no Movimento Guloso

Probabilidades no Movimento Aleatoacuterio

35

18

47

33

33

33

1199071

1199072

1199073

1199074

1199072

1199073

1199074

1199072

1199073

1199074

01 01 02

06

04

0203

01

08

0100

01

33

Choques Uma partiacutecula fica no noacute

visitado somente se o niacutevel de domiacutenio de seu time eacute maior que o dos outros

Caso contraacuterio um choque acontece e a partiacutecula eacute expulsa voltando ao noacute onde estava anteriormente ateacute a proacutexima iteraccedilatildeo

07

03

03

07

0604

0406

34

AlgoritmoConstruir a rede

Configurar os niacuteveis de domiacutenio

Configurar posiccedilatildeo inicial de partiacuteculas e seus correspondentes noacutes-casa

Configurar forccedila da partiacutecula e distacircncia

Repita

Para cada partiacutecula faccedila

Selecione movimento aleatoacuterio ou guloso

Selecione o noacute a ser visitado

Atualize os niacuteveis de domiacutenio do noacute visitado

Atualize a forccedila da partiacutecula

Atualize a tabela de distacircncias

Ateacute que o criteacuterio de parada ou um nuacutemero preacute-definido de passos seja atingido

Rotule cada noacute natildeo rotulado de acordo com o time de partiacuteculas que tiver o maior domiacutenio

35

1 2 3 4

5 6 7 8

9 10 11 12

Voltando ao nosso exemplo dos alunosNo final das iteraccedilotildees

36

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

5

3

7

12

Agora eacute soacute ldquopintarrdquo os noacutes com a classe das partiacuteculas que o dominaram

37

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092 Aprovado

6 873 89 107 092 Aprovado

7 520 75 -046 -035 Reprovado

8 297 59 -143 -179 Reprovado

9 358 72 -117 -062 Reprovado

10 884 88 112 083 Aprovado

11 725 90 043 101 Aprovado

12 612 77 -006 -017 Reprovado

1

11

10

6

8

9

4

2

5

3

7

12

E pronto Todos os dados natildeo rotulados tiveram seus roacutetulos estimados pelo classificador do modelo de partiacuteculas

38

Anaacutelise de complexidade do meacutetodo proposto em rede com meacutedia mistura (a) Nuacutemero de

iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 5119911119900119906119905 lt 119896 gt = 02

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Anaacutelise de complexidade do meacutetodo proposto em rede com

alta mistura (a) Nuacutemero de iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 10119911119900119906119905 lt 119896 gt = 04

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Tamanho da Base de Dados (n)

Tem

po

(se

gun

do

s)

Tempo de execuccedilatildeo de quatro meacutetodos baseados em grafos incluindo o meacutetodo de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas para classificar uma sequencia de bases de dados artificiais com 4 classes com distribuiccedilatildeo Gaussiana com tamanhos crescentes

41

Classificaccedilatildeo de base de dado artificial com 2000

amostras divididas igualmente em duas classes com forma de

banana

Desempenho de Classificaccedilatildeo

42

Classificaccedilatildeo de base de dado artificial com 1000

amostras divididas em duas classes Highleyman

Desempenho de Classificaccedilatildeo

43

Classificaccedilatildeo de base de dado artificial com 1200

amostras divididas emduas classes Lithuanian com 800 e 400 amostras

respectivamente

Desempenho de Classificaccedilatildeo

44

Classificaccedilatildeo de base de dado artificial com 1200

amostras igualmente divididas em trecircs classes

com distribuiccedilatildeo Gaussiana

Desempenho de Classificaccedilatildeo

45

Benchmark - Erros de teste () com 100 pontos de dados rotulados46

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 100 pontos de dados rotulados

Benchmark - Erros de teste () com 10 pontos de dados rotulados48

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 10 pontos de dados rotulados

Erros de classificaccedilatildeo () e tempos de execuccedilatildeo (segundos) de quatro meacutetodos baseados em grafos aplicados em bases de dados grandes

Erros de Classificaccedilatildeo e Tempos de Execuccedilatildeo em Grandes Bases de Dados

50

Extensotildees do Modelo de Partiacuteculas

Detecccedilatildeo de Comunidades SobrepostasAprendizado Semi-Supervisionado com Dados ImperfeitosClassificaccedilatildeo Semi-Supervisionada de Fluxos de DadosAprendizado Ativo e Semi-SupervisionadoSegmentaccedilatildeo de Imagens

51

Extensotildees do Modelo de Partiacuteculas

52

O modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas jaacute foi estendido para realizar diversos tipos de tarefas de aprendizado de maacutequina

Detecccedilatildeo de Comunidades Sobrepostas

Aprendizado Semi-Supervisionado com Dados Imperfeitos

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados

Aprendizado Ativo e Semi-Supervisionado

Segmentaccedilatildeo de Imagens

Detecccedilatildeo de Comunidades Sobrepostas

Breve Fabricio ZHAO Liang Fuzzy community structure detection by particle competition and cooperation Soft Computing (Berlin Print) v 17 p 659-673 2013httpdxdoiorg101007s00500-012-0924-3

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming ParticleCompetition and Cooperation for Uncovering Network Overlap Community Structure In The 8th InternationalSymposium on Neural Networks (ISNN 2011) 2011 Guilin China Lecture Notes in Computer Science Berlin Heidelberg Springer-Verlag 2011 v6677 p426 ndash 433httpdxdoiorg101007978-3-642-21111-9_48

53

Detecccedilatildeo de Comunidades Sobrepostas

Em problemas de classificaccedilatildeo nem sempre os elementos pertencem a um uacutenico grupo

Haacute casos em que elementos pertencem a muacuteltiplas comunidades

Exemplo Redes Sociais

Muacuteltiplos Grupos famiacutelia colegas de trabalho colegas de escola

A maioria dos meacutetodos natildeo consegue detectar tal estrutura de sobreposiccedilatildeo

54Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Esta extensatildeo oferece saiacutedas contiacutenuas atraveacutes de um niacutevel de dominacircncia acumulado

Quantifica a dominacircncia de cada time de partiacuteculas sobre os noacutes ao longo de toda a execuccedilatildeo do algoritmo O niacutevel de dominacircncia acumulado inicia em zero para todas as

classes e eacute aumentado somente quando o movimento aleatoacuterio eacute selecionado na classe correspondente agrave partiacutecula

Nunca diminui

119907119894120582ℓ 119905 + 1 = 119907119894

120582ℓ 119905 + 120588119895120596 119905

55

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 6: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Exemplo Preccedilo de uma casa

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-NC-ND

R$ 350000 R$ 800000

Exemplo adaptado dehttpswwwyoutubecomwatchv=IpGxLWOIZy46

R$ 800000

R$ 600000

R$ 350000

Preccedilo

Tamanho da Casa (msup2)

50000

Regressatildeo Linear

7

Erro

Erro8

Gradiente Descendente

Objetivo MiacutenimoErro Quadraacutetico

9

Exemplo Detecccedilatildeo de SPAM

200 e-mails

Exemplo adaptado dehttpswwwyoutubecomwatchv=IpGxLWOIZy4

10

Exemplo Detecccedilatildeo de SPAM

Classificamos 50 como SPAMe 150 como Natildeo-SPAM

SPAM Natildeo-SPAM

11

SPAM Natildeo-SPAM

Vamos procurar quantos desses e-mails tem a palavra

ldquoreacuteplicardquo

Questatildeo com base em nossos dados se um e-mail conteacutem a palavra ldquoreacuteplicardquo qual a probabilidade de ser SPAM

( ) 40 ( ) 60 ( ) 8012

Algoritmo Naive Bayes Podemos acrescentar outros atributos

ldquoreacuteplicardquo rarr 80

ldquograacutetisrdquo rarr 65

ldquobaratordquo rarr 60

erro de ortografia rarr 70

falta linha de assunto rarr 90

etc

Combinando essas probabilidades individuais podemos obter classificadores mais confiaacuteveis

13

Aprendizado Natildeo Supervisionado Algoritmos buscam determinar como os dados estatildeo

organizados

Dados de treinamento consistem apenas de exemplos de entrada sem roacutetulos ou valores de saiacuteda

Objetivo encontrar padrotildees no espaccedilo de entradas

Uma das formas de atingir este objetivo eacute observar quais satildeo as regiotildees com maior e menor densidade de dados

bullAlpaydin E Introduction to machine learning MIT Press 2004bullDuda R O Hart P E amp Stork D G Pattern Classification (2nd Edition) Wiley-Interscience 2000

14

Onde abrir pizzarias

Exemplo adaptado dehttpswwwyoutubecomwatchv=IpGxLWOIZy4

15

Onde abrir pizzarias

16

Onde abrir pizzarias

17

Aprendizado Semi-Supervisionado Algoritmos fazem uso tanto de dados rotulados

quanto de dados natildeo rotulados para o treinamento

Normalmente poucos dados rotulados e bastante dados natildeo rotulados

Objetivo fornecer roacutetulos para os dados natildeo rotulados

Em muitos casos o uso de alguns dados rotulados em meio aos dados natildeo rotulados melhora consideravelmente a precisatildeo do aprendizado

bullZhu X Semi-Supervised Learning Literature Survey Technical Report 1530 Computer Sciences University of Wisconsin-Madison 2005bullChapelle O Schoumllkopf B amp Zien A Eds Semi-Supervised Learning Adaptive Computation and Machine Learning Cambridge MA The MIT Press 2006bullAbney S Semisupervised Learning for Computational Linguistics CRC Press 200818

X Zhu ldquoSemi-supervised learning literature surveyrdquo Computer Sciences University of Wisconsin-Madison Tech Rep 1530 2005

Um problema de classificaccedilatildeo binaacuterio em

aprendizado semi-supervisionado

Se assumirmos que cada classe tem

distribuiccedilatildeo Gaussiana podemos usar os dados

natildeo rotulados para ajudar a estimar os

paracircmetros (a) dados rotulados (b) dados

rotulados e natildeo rotulados (c) modelo aprendido a partir dos dados rotulados (d) modelo aprendido a

partir dos dados rotulados e natildeo

rotulados

19

Meacutetodos Baseados em Grafos Aacuterea de pesquisa mais ativa em aprendizado semi-

supervisionado

Dados satildeo representados por noacutes de um grafo onde as arestas satildeo rotuladas com a distacircncia entre os pares de noacutes

Noacutes rotulados satildeo usados para propagar informaccedilatildeo de roacutetulo para os demais

Meacutetodos assumem suavidade de roacutetulos atraveacutes do grafo

20

Exemplo Alunos aprovados em vestibular

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 743 82 Aprovado

2 358 63 Reprovado

3 826 91 Aprovado

4 412 71 Reprovado

5 915 89

6 873 89

7 520 75

8 297 59

9 358 72

10 884 88

11 725 90

12 612 77

Cada aluno eacute um noacute do grafo

Vamos conectar cada noacute com seus 3 vizinhos mais proacuteximos usando a distacircncia euclidiana

11

10

12

87

9

54

6

2

1

3

21

Primeiro vamos normalizar os dados

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 743 82 Aprovado

2 358 63 Reprovado

3 826 91 Aprovado

4 412 71 Reprovado

5 915 89

6 873 89

7 520 75

8 297 59

9 358 72

10 884 88

11 725 90

12 612 77

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 050 029 Aprovado

2 -117 -143 Reprovado

3 086 110 Aprovado

4 -093 -071 Reprovado

5 125 092

6 107 092

7 -046 -035

8 -143 -179

9 -117 -062

10 112 083

11 043 101

12 -006 -017

Dados normalizados meacutedia 0 desvio padratildeo 1

22

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

119889(119894 119895) =2

119909119894 minus 1199091198952+ 119910119894 minus 119910119895

2

1 2 3 4 5 6 7 8 9 10 11 12

1 240 089 175 098 085 116 284 190 082 073 073

2 240 325 076 337 325 129 045 081 321 292 168

3 089 325 255 043 027 196 370 266 037 045 157

4 175 076 255 272 258 059 120 025 256 219 1025 098 337 043 272 018 213 382 287 016 083 171

6 085 325 027 258 018 199 369 271 010 065 157

7 116 129 196 059 213 199 174 075 197 162 044

8 284 045 370 120 382 369 174 121 366 336 213

9 190 081 266 025 287 271 075 121 270 228 119

10 082 321 037 256 016 010 197 366 270 071 154

11 073 292 045 219 083 065 162 336 228 071 127

12 073 168 157 102 171 157 044 213 119 154 127

5

3

7

12

Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em Redes

Descriccedilatildeo do Modelo

Resultados

24

Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em Redes Complexas

Aplicaccedilatildeo em Aprendizado Semi-Supervisionado

Competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas na rede combinado em um esquema uacutenico

Cooperaccedilatildeo Partiacuteculas da mesma classe caminham pela rede de maneira

cooperativa propagando seus roacutetulos

Objetivo Dominar a maior quantidade de noacutes possiacutevel

Competiccedilatildeo Partiacuteculas de classes diferentes competem entre si para

determinar as bordas das classes

Objetivo Evitar a invasatildeo de partiacuteculas de outros times

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming Particle competition and cooperation in networks for semi-supervised learning IEEE Transactions on Knowledge and Data Engineering v24 p1686 - 1698 2012 httpdxdoiorg101109TKDE2011119

25

Configuraccedilatildeo Inicial dos Noacutes

Transforma-se a base de dados em uma rede natildeo direcionada sem peso

Para cada item de dado eacute gerado um noacute na rede

As arestas podem ser geradas usando uma das duas formas

Cada noacute eacute conectado aos vizinhos cuja distacircncia eacute menor que um limiar 120590

Cada noacute eacute conectado aos seus 119948 vizinhos mais proacuteximos

4

26

Configuraccedilatildeo Inicial das Partiacuteculas

Uma partiacutecula eacute gerada para cada noacute rotulado na rede

Este noacute seraacute o noacute casa da partiacutecula correspondente

A posiccedilatildeo inicial de cada partiacutecula eacute ajustada para seu respectivo noacute casa

Partiacuteculas com o mesmo roacutetulo jogam para o mesmo time

4

27

Configuraccedilatildeo Inicial dos Noacutes Cada noacute tem um vetor de domiacutenio

Noacutes rotulados tem niacuteveis de domiacutenio configurados para seus respectivos times Ex [ 1 0 0 0 ] (4 classes noacute rotulado

como classe A)

Noacutes natildeo rotulados tecircm niacuteveis de domiacutenio configurados igualmente para cada time Ex [ 025 025 025 025 ] (4 classes noacute

natildeo rotulado)

002040608

1

002040608

1

119907119894120596ℓ = ൞

1 se 119909119894 eacute rotulado e 119910119894 = ℓ0 se 119909119894 eacute rotulado e 119910119894 ne ℓ

ൗ1 119888 se 119909119894 natildeo eacute rotulado28

Dinacircmica de Noacutes

Quando uma partiacutecula seleciona um vizinho para visitar ela Diminui o niacutevel de domiacutenio de

outros times nesse vizinho

Aumenta o niacutevel de domiacutenio de seu proacuteprio time nesse vizinho

Exceccedilatildeo Niacuteveis de domiacutenio de noacutes

rotulados satildeo fixos

0

05

1

0

05

1

119905

119905 + 1

119907119894120596ℓ 119905 + 1 =

max 0 119907119894120596ℓ 119905 minus

Δ119907120588119895120596 119905

119888 minus 1se 119909119894 natildeo eacute rotulado e ℓ ne 120588119895

119891

119907119894120596ℓ 119905 +

119902neℓ119907119894

120596119902 119905 minus 119907119894

120596119902 119905 + 1 se 119909119894 natildeo eacute rotulado e ℓ = 120588119895119891

119907119894120596ℓ 119905 se 119909119894 eacute rotulado29

Dinacircmica de Partiacuteculas Uma partiacutecula se torna

Forte quando ela visita um noacute dominado por seu time

Fraca quando ela visita um noacute dominado por outro time

0 05 1 0 05 1

01 01 02

06

0 05 1 0 05 1

01

04

0203

120588119895120596 119905 + 1 = 119907119894

120596ℓ 119905 + 1

30

Tabela de Distacircncia Manteacutem a partiacutecula informada da

distacircncia para seu noacute casa Evita que a partiacutecula perca toda sua

forccedila caminhando em territoacuterios inimigos

Manteacutem as partiacuteculas por perto para proteger sua proacutepria vizinhanccedila

Atualizada automaticamente com informaccedilatildeo local Natildeo requer nenhum caacutelculo a priori

4

24

0

1

1

2

33

4

120588119895119889119896 119905 + 1 = ቐ

120588119895119889119894 119905 + 1 se 120588119895

119889119894 119905 + 1 lt 120588119895119889119896 119905

120588119895119889119896 119905 caso contraacuterio31

Caminhada Aleatoacuterio-Gulosa Caminhada Aleatoacuteria

A partiacutecula escolhe aleatoriamente qualquer vizinhos para visitar sem preocupaccedilatildeo com o niacutevel de domiacutenio

Probabilidades iguais para todos os vizinhos

Caminhada Gulosa A partiacutecula prefere visitar noacutes

que ela jaacute domina e noacutes mais proacuteximos de seu noacute casa

Probabilidade de visitar cada vizinho dada pelo niacutevel de domiacutenio e distacircncia

As partiacuteculas precisam exibir ambos os movimentos para que haja um equiliacutebrio entre o comportamento exploratoacuterio e o defensivo

119901 119907119894|120588119895 =119882119902119894

σ120583=1119899 119882119902120583

119901 119907119894|120588119895 =119882119902119894119907119894

120596ℓ 1 + 120588119895119889119894

minus2

σ120583=1119899 119882119902120583 119907120583

120596ℓ 1 + 120588119895

119889120583minus2

CAMINHADA GULOSACAMINHADA ALEATOacuteRIA

Probabilidades no Movimento Guloso

Probabilidades no Movimento Aleatoacuterio

35

18

47

33

33

33

1199071

1199072

1199073

1199074

1199072

1199073

1199074

1199072

1199073

1199074

01 01 02

06

04

0203

01

08

0100

01

33

Choques Uma partiacutecula fica no noacute

visitado somente se o niacutevel de domiacutenio de seu time eacute maior que o dos outros

Caso contraacuterio um choque acontece e a partiacutecula eacute expulsa voltando ao noacute onde estava anteriormente ateacute a proacutexima iteraccedilatildeo

07

03

03

07

0604

0406

34

AlgoritmoConstruir a rede

Configurar os niacuteveis de domiacutenio

Configurar posiccedilatildeo inicial de partiacuteculas e seus correspondentes noacutes-casa

Configurar forccedila da partiacutecula e distacircncia

Repita

Para cada partiacutecula faccedila

Selecione movimento aleatoacuterio ou guloso

Selecione o noacute a ser visitado

Atualize os niacuteveis de domiacutenio do noacute visitado

Atualize a forccedila da partiacutecula

Atualize a tabela de distacircncias

Ateacute que o criteacuterio de parada ou um nuacutemero preacute-definido de passos seja atingido

Rotule cada noacute natildeo rotulado de acordo com o time de partiacuteculas que tiver o maior domiacutenio

35

1 2 3 4

5 6 7 8

9 10 11 12

Voltando ao nosso exemplo dos alunosNo final das iteraccedilotildees

36

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

5

3

7

12

Agora eacute soacute ldquopintarrdquo os noacutes com a classe das partiacuteculas que o dominaram

37

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092 Aprovado

6 873 89 107 092 Aprovado

7 520 75 -046 -035 Reprovado

8 297 59 -143 -179 Reprovado

9 358 72 -117 -062 Reprovado

10 884 88 112 083 Aprovado

11 725 90 043 101 Aprovado

12 612 77 -006 -017 Reprovado

1

11

10

6

8

9

4

2

5

3

7

12

E pronto Todos os dados natildeo rotulados tiveram seus roacutetulos estimados pelo classificador do modelo de partiacuteculas

38

Anaacutelise de complexidade do meacutetodo proposto em rede com meacutedia mistura (a) Nuacutemero de

iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 5119911119900119906119905 lt 119896 gt = 02

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Anaacutelise de complexidade do meacutetodo proposto em rede com

alta mistura (a) Nuacutemero de iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 10119911119900119906119905 lt 119896 gt = 04

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Tamanho da Base de Dados (n)

Tem

po

(se

gun

do

s)

Tempo de execuccedilatildeo de quatro meacutetodos baseados em grafos incluindo o meacutetodo de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas para classificar uma sequencia de bases de dados artificiais com 4 classes com distribuiccedilatildeo Gaussiana com tamanhos crescentes

41

Classificaccedilatildeo de base de dado artificial com 2000

amostras divididas igualmente em duas classes com forma de

banana

Desempenho de Classificaccedilatildeo

42

Classificaccedilatildeo de base de dado artificial com 1000

amostras divididas em duas classes Highleyman

Desempenho de Classificaccedilatildeo

43

Classificaccedilatildeo de base de dado artificial com 1200

amostras divididas emduas classes Lithuanian com 800 e 400 amostras

respectivamente

Desempenho de Classificaccedilatildeo

44

Classificaccedilatildeo de base de dado artificial com 1200

amostras igualmente divididas em trecircs classes

com distribuiccedilatildeo Gaussiana

Desempenho de Classificaccedilatildeo

45

Benchmark - Erros de teste () com 100 pontos de dados rotulados46

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 100 pontos de dados rotulados

Benchmark - Erros de teste () com 10 pontos de dados rotulados48

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 10 pontos de dados rotulados

Erros de classificaccedilatildeo () e tempos de execuccedilatildeo (segundos) de quatro meacutetodos baseados em grafos aplicados em bases de dados grandes

Erros de Classificaccedilatildeo e Tempos de Execuccedilatildeo em Grandes Bases de Dados

50

Extensotildees do Modelo de Partiacuteculas

Detecccedilatildeo de Comunidades SobrepostasAprendizado Semi-Supervisionado com Dados ImperfeitosClassificaccedilatildeo Semi-Supervisionada de Fluxos de DadosAprendizado Ativo e Semi-SupervisionadoSegmentaccedilatildeo de Imagens

51

Extensotildees do Modelo de Partiacuteculas

52

O modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas jaacute foi estendido para realizar diversos tipos de tarefas de aprendizado de maacutequina

Detecccedilatildeo de Comunidades Sobrepostas

Aprendizado Semi-Supervisionado com Dados Imperfeitos

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados

Aprendizado Ativo e Semi-Supervisionado

Segmentaccedilatildeo de Imagens

Detecccedilatildeo de Comunidades Sobrepostas

Breve Fabricio ZHAO Liang Fuzzy community structure detection by particle competition and cooperation Soft Computing (Berlin Print) v 17 p 659-673 2013httpdxdoiorg101007s00500-012-0924-3

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming ParticleCompetition and Cooperation for Uncovering Network Overlap Community Structure In The 8th InternationalSymposium on Neural Networks (ISNN 2011) 2011 Guilin China Lecture Notes in Computer Science Berlin Heidelberg Springer-Verlag 2011 v6677 p426 ndash 433httpdxdoiorg101007978-3-642-21111-9_48

53

Detecccedilatildeo de Comunidades Sobrepostas

Em problemas de classificaccedilatildeo nem sempre os elementos pertencem a um uacutenico grupo

Haacute casos em que elementos pertencem a muacuteltiplas comunidades

Exemplo Redes Sociais

Muacuteltiplos Grupos famiacutelia colegas de trabalho colegas de escola

A maioria dos meacutetodos natildeo consegue detectar tal estrutura de sobreposiccedilatildeo

54Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Esta extensatildeo oferece saiacutedas contiacutenuas atraveacutes de um niacutevel de dominacircncia acumulado

Quantifica a dominacircncia de cada time de partiacuteculas sobre os noacutes ao longo de toda a execuccedilatildeo do algoritmo O niacutevel de dominacircncia acumulado inicia em zero para todas as

classes e eacute aumentado somente quando o movimento aleatoacuterio eacute selecionado na classe correspondente agrave partiacutecula

Nunca diminui

119907119894120582ℓ 119905 + 1 = 119907119894

120582ℓ 119905 + 120588119895120596 119905

55

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 7: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

R$ 800000

R$ 600000

R$ 350000

Preccedilo

Tamanho da Casa (msup2)

50000

Regressatildeo Linear

7

Erro

Erro8

Gradiente Descendente

Objetivo MiacutenimoErro Quadraacutetico

9

Exemplo Detecccedilatildeo de SPAM

200 e-mails

Exemplo adaptado dehttpswwwyoutubecomwatchv=IpGxLWOIZy4

10

Exemplo Detecccedilatildeo de SPAM

Classificamos 50 como SPAMe 150 como Natildeo-SPAM

SPAM Natildeo-SPAM

11

SPAM Natildeo-SPAM

Vamos procurar quantos desses e-mails tem a palavra

ldquoreacuteplicardquo

Questatildeo com base em nossos dados se um e-mail conteacutem a palavra ldquoreacuteplicardquo qual a probabilidade de ser SPAM

( ) 40 ( ) 60 ( ) 8012

Algoritmo Naive Bayes Podemos acrescentar outros atributos

ldquoreacuteplicardquo rarr 80

ldquograacutetisrdquo rarr 65

ldquobaratordquo rarr 60

erro de ortografia rarr 70

falta linha de assunto rarr 90

etc

Combinando essas probabilidades individuais podemos obter classificadores mais confiaacuteveis

13

Aprendizado Natildeo Supervisionado Algoritmos buscam determinar como os dados estatildeo

organizados

Dados de treinamento consistem apenas de exemplos de entrada sem roacutetulos ou valores de saiacuteda

Objetivo encontrar padrotildees no espaccedilo de entradas

Uma das formas de atingir este objetivo eacute observar quais satildeo as regiotildees com maior e menor densidade de dados

bullAlpaydin E Introduction to machine learning MIT Press 2004bullDuda R O Hart P E amp Stork D G Pattern Classification (2nd Edition) Wiley-Interscience 2000

14

Onde abrir pizzarias

Exemplo adaptado dehttpswwwyoutubecomwatchv=IpGxLWOIZy4

15

Onde abrir pizzarias

16

Onde abrir pizzarias

17

Aprendizado Semi-Supervisionado Algoritmos fazem uso tanto de dados rotulados

quanto de dados natildeo rotulados para o treinamento

Normalmente poucos dados rotulados e bastante dados natildeo rotulados

Objetivo fornecer roacutetulos para os dados natildeo rotulados

Em muitos casos o uso de alguns dados rotulados em meio aos dados natildeo rotulados melhora consideravelmente a precisatildeo do aprendizado

bullZhu X Semi-Supervised Learning Literature Survey Technical Report 1530 Computer Sciences University of Wisconsin-Madison 2005bullChapelle O Schoumllkopf B amp Zien A Eds Semi-Supervised Learning Adaptive Computation and Machine Learning Cambridge MA The MIT Press 2006bullAbney S Semisupervised Learning for Computational Linguistics CRC Press 200818

X Zhu ldquoSemi-supervised learning literature surveyrdquo Computer Sciences University of Wisconsin-Madison Tech Rep 1530 2005

Um problema de classificaccedilatildeo binaacuterio em

aprendizado semi-supervisionado

Se assumirmos que cada classe tem

distribuiccedilatildeo Gaussiana podemos usar os dados

natildeo rotulados para ajudar a estimar os

paracircmetros (a) dados rotulados (b) dados

rotulados e natildeo rotulados (c) modelo aprendido a partir dos dados rotulados (d) modelo aprendido a

partir dos dados rotulados e natildeo

rotulados

19

Meacutetodos Baseados em Grafos Aacuterea de pesquisa mais ativa em aprendizado semi-

supervisionado

Dados satildeo representados por noacutes de um grafo onde as arestas satildeo rotuladas com a distacircncia entre os pares de noacutes

Noacutes rotulados satildeo usados para propagar informaccedilatildeo de roacutetulo para os demais

Meacutetodos assumem suavidade de roacutetulos atraveacutes do grafo

20

Exemplo Alunos aprovados em vestibular

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 743 82 Aprovado

2 358 63 Reprovado

3 826 91 Aprovado

4 412 71 Reprovado

5 915 89

6 873 89

7 520 75

8 297 59

9 358 72

10 884 88

11 725 90

12 612 77

Cada aluno eacute um noacute do grafo

Vamos conectar cada noacute com seus 3 vizinhos mais proacuteximos usando a distacircncia euclidiana

11

10

12

87

9

54

6

2

1

3

21

Primeiro vamos normalizar os dados

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 743 82 Aprovado

2 358 63 Reprovado

3 826 91 Aprovado

4 412 71 Reprovado

5 915 89

6 873 89

7 520 75

8 297 59

9 358 72

10 884 88

11 725 90

12 612 77

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 050 029 Aprovado

2 -117 -143 Reprovado

3 086 110 Aprovado

4 -093 -071 Reprovado

5 125 092

6 107 092

7 -046 -035

8 -143 -179

9 -117 -062

10 112 083

11 043 101

12 -006 -017

Dados normalizados meacutedia 0 desvio padratildeo 1

22

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

119889(119894 119895) =2

119909119894 minus 1199091198952+ 119910119894 minus 119910119895

2

1 2 3 4 5 6 7 8 9 10 11 12

1 240 089 175 098 085 116 284 190 082 073 073

2 240 325 076 337 325 129 045 081 321 292 168

3 089 325 255 043 027 196 370 266 037 045 157

4 175 076 255 272 258 059 120 025 256 219 1025 098 337 043 272 018 213 382 287 016 083 171

6 085 325 027 258 018 199 369 271 010 065 157

7 116 129 196 059 213 199 174 075 197 162 044

8 284 045 370 120 382 369 174 121 366 336 213

9 190 081 266 025 287 271 075 121 270 228 119

10 082 321 037 256 016 010 197 366 270 071 154

11 073 292 045 219 083 065 162 336 228 071 127

12 073 168 157 102 171 157 044 213 119 154 127

5

3

7

12

Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em Redes

Descriccedilatildeo do Modelo

Resultados

24

Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em Redes Complexas

Aplicaccedilatildeo em Aprendizado Semi-Supervisionado

Competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas na rede combinado em um esquema uacutenico

Cooperaccedilatildeo Partiacuteculas da mesma classe caminham pela rede de maneira

cooperativa propagando seus roacutetulos

Objetivo Dominar a maior quantidade de noacutes possiacutevel

Competiccedilatildeo Partiacuteculas de classes diferentes competem entre si para

determinar as bordas das classes

Objetivo Evitar a invasatildeo de partiacuteculas de outros times

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming Particle competition and cooperation in networks for semi-supervised learning IEEE Transactions on Knowledge and Data Engineering v24 p1686 - 1698 2012 httpdxdoiorg101109TKDE2011119

25

Configuraccedilatildeo Inicial dos Noacutes

Transforma-se a base de dados em uma rede natildeo direcionada sem peso

Para cada item de dado eacute gerado um noacute na rede

As arestas podem ser geradas usando uma das duas formas

Cada noacute eacute conectado aos vizinhos cuja distacircncia eacute menor que um limiar 120590

Cada noacute eacute conectado aos seus 119948 vizinhos mais proacuteximos

4

26

Configuraccedilatildeo Inicial das Partiacuteculas

Uma partiacutecula eacute gerada para cada noacute rotulado na rede

Este noacute seraacute o noacute casa da partiacutecula correspondente

A posiccedilatildeo inicial de cada partiacutecula eacute ajustada para seu respectivo noacute casa

Partiacuteculas com o mesmo roacutetulo jogam para o mesmo time

4

27

Configuraccedilatildeo Inicial dos Noacutes Cada noacute tem um vetor de domiacutenio

Noacutes rotulados tem niacuteveis de domiacutenio configurados para seus respectivos times Ex [ 1 0 0 0 ] (4 classes noacute rotulado

como classe A)

Noacutes natildeo rotulados tecircm niacuteveis de domiacutenio configurados igualmente para cada time Ex [ 025 025 025 025 ] (4 classes noacute

natildeo rotulado)

002040608

1

002040608

1

119907119894120596ℓ = ൞

1 se 119909119894 eacute rotulado e 119910119894 = ℓ0 se 119909119894 eacute rotulado e 119910119894 ne ℓ

ൗ1 119888 se 119909119894 natildeo eacute rotulado28

Dinacircmica de Noacutes

Quando uma partiacutecula seleciona um vizinho para visitar ela Diminui o niacutevel de domiacutenio de

outros times nesse vizinho

Aumenta o niacutevel de domiacutenio de seu proacuteprio time nesse vizinho

Exceccedilatildeo Niacuteveis de domiacutenio de noacutes

rotulados satildeo fixos

0

05

1

0

05

1

119905

119905 + 1

119907119894120596ℓ 119905 + 1 =

max 0 119907119894120596ℓ 119905 minus

Δ119907120588119895120596 119905

119888 minus 1se 119909119894 natildeo eacute rotulado e ℓ ne 120588119895

119891

119907119894120596ℓ 119905 +

119902neℓ119907119894

120596119902 119905 minus 119907119894

120596119902 119905 + 1 se 119909119894 natildeo eacute rotulado e ℓ = 120588119895119891

119907119894120596ℓ 119905 se 119909119894 eacute rotulado29

Dinacircmica de Partiacuteculas Uma partiacutecula se torna

Forte quando ela visita um noacute dominado por seu time

Fraca quando ela visita um noacute dominado por outro time

0 05 1 0 05 1

01 01 02

06

0 05 1 0 05 1

01

04

0203

120588119895120596 119905 + 1 = 119907119894

120596ℓ 119905 + 1

30

Tabela de Distacircncia Manteacutem a partiacutecula informada da

distacircncia para seu noacute casa Evita que a partiacutecula perca toda sua

forccedila caminhando em territoacuterios inimigos

Manteacutem as partiacuteculas por perto para proteger sua proacutepria vizinhanccedila

Atualizada automaticamente com informaccedilatildeo local Natildeo requer nenhum caacutelculo a priori

4

24

0

1

1

2

33

4

120588119895119889119896 119905 + 1 = ቐ

120588119895119889119894 119905 + 1 se 120588119895

119889119894 119905 + 1 lt 120588119895119889119896 119905

120588119895119889119896 119905 caso contraacuterio31

Caminhada Aleatoacuterio-Gulosa Caminhada Aleatoacuteria

A partiacutecula escolhe aleatoriamente qualquer vizinhos para visitar sem preocupaccedilatildeo com o niacutevel de domiacutenio

Probabilidades iguais para todos os vizinhos

Caminhada Gulosa A partiacutecula prefere visitar noacutes

que ela jaacute domina e noacutes mais proacuteximos de seu noacute casa

Probabilidade de visitar cada vizinho dada pelo niacutevel de domiacutenio e distacircncia

As partiacuteculas precisam exibir ambos os movimentos para que haja um equiliacutebrio entre o comportamento exploratoacuterio e o defensivo

119901 119907119894|120588119895 =119882119902119894

σ120583=1119899 119882119902120583

119901 119907119894|120588119895 =119882119902119894119907119894

120596ℓ 1 + 120588119895119889119894

minus2

σ120583=1119899 119882119902120583 119907120583

120596ℓ 1 + 120588119895

119889120583minus2

CAMINHADA GULOSACAMINHADA ALEATOacuteRIA

Probabilidades no Movimento Guloso

Probabilidades no Movimento Aleatoacuterio

35

18

47

33

33

33

1199071

1199072

1199073

1199074

1199072

1199073

1199074

1199072

1199073

1199074

01 01 02

06

04

0203

01

08

0100

01

33

Choques Uma partiacutecula fica no noacute

visitado somente se o niacutevel de domiacutenio de seu time eacute maior que o dos outros

Caso contraacuterio um choque acontece e a partiacutecula eacute expulsa voltando ao noacute onde estava anteriormente ateacute a proacutexima iteraccedilatildeo

07

03

03

07

0604

0406

34

AlgoritmoConstruir a rede

Configurar os niacuteveis de domiacutenio

Configurar posiccedilatildeo inicial de partiacuteculas e seus correspondentes noacutes-casa

Configurar forccedila da partiacutecula e distacircncia

Repita

Para cada partiacutecula faccedila

Selecione movimento aleatoacuterio ou guloso

Selecione o noacute a ser visitado

Atualize os niacuteveis de domiacutenio do noacute visitado

Atualize a forccedila da partiacutecula

Atualize a tabela de distacircncias

Ateacute que o criteacuterio de parada ou um nuacutemero preacute-definido de passos seja atingido

Rotule cada noacute natildeo rotulado de acordo com o time de partiacuteculas que tiver o maior domiacutenio

35

1 2 3 4

5 6 7 8

9 10 11 12

Voltando ao nosso exemplo dos alunosNo final das iteraccedilotildees

36

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

5

3

7

12

Agora eacute soacute ldquopintarrdquo os noacutes com a classe das partiacuteculas que o dominaram

37

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092 Aprovado

6 873 89 107 092 Aprovado

7 520 75 -046 -035 Reprovado

8 297 59 -143 -179 Reprovado

9 358 72 -117 -062 Reprovado

10 884 88 112 083 Aprovado

11 725 90 043 101 Aprovado

12 612 77 -006 -017 Reprovado

1

11

10

6

8

9

4

2

5

3

7

12

E pronto Todos os dados natildeo rotulados tiveram seus roacutetulos estimados pelo classificador do modelo de partiacuteculas

38

Anaacutelise de complexidade do meacutetodo proposto em rede com meacutedia mistura (a) Nuacutemero de

iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 5119911119900119906119905 lt 119896 gt = 02

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Anaacutelise de complexidade do meacutetodo proposto em rede com

alta mistura (a) Nuacutemero de iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 10119911119900119906119905 lt 119896 gt = 04

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Tamanho da Base de Dados (n)

Tem

po

(se

gun

do

s)

Tempo de execuccedilatildeo de quatro meacutetodos baseados em grafos incluindo o meacutetodo de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas para classificar uma sequencia de bases de dados artificiais com 4 classes com distribuiccedilatildeo Gaussiana com tamanhos crescentes

41

Classificaccedilatildeo de base de dado artificial com 2000

amostras divididas igualmente em duas classes com forma de

banana

Desempenho de Classificaccedilatildeo

42

Classificaccedilatildeo de base de dado artificial com 1000

amostras divididas em duas classes Highleyman

Desempenho de Classificaccedilatildeo

43

Classificaccedilatildeo de base de dado artificial com 1200

amostras divididas emduas classes Lithuanian com 800 e 400 amostras

respectivamente

Desempenho de Classificaccedilatildeo

44

Classificaccedilatildeo de base de dado artificial com 1200

amostras igualmente divididas em trecircs classes

com distribuiccedilatildeo Gaussiana

Desempenho de Classificaccedilatildeo

45

Benchmark - Erros de teste () com 100 pontos de dados rotulados46

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 100 pontos de dados rotulados

Benchmark - Erros de teste () com 10 pontos de dados rotulados48

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 10 pontos de dados rotulados

Erros de classificaccedilatildeo () e tempos de execuccedilatildeo (segundos) de quatro meacutetodos baseados em grafos aplicados em bases de dados grandes

Erros de Classificaccedilatildeo e Tempos de Execuccedilatildeo em Grandes Bases de Dados

50

Extensotildees do Modelo de Partiacuteculas

Detecccedilatildeo de Comunidades SobrepostasAprendizado Semi-Supervisionado com Dados ImperfeitosClassificaccedilatildeo Semi-Supervisionada de Fluxos de DadosAprendizado Ativo e Semi-SupervisionadoSegmentaccedilatildeo de Imagens

51

Extensotildees do Modelo de Partiacuteculas

52

O modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas jaacute foi estendido para realizar diversos tipos de tarefas de aprendizado de maacutequina

Detecccedilatildeo de Comunidades Sobrepostas

Aprendizado Semi-Supervisionado com Dados Imperfeitos

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados

Aprendizado Ativo e Semi-Supervisionado

Segmentaccedilatildeo de Imagens

Detecccedilatildeo de Comunidades Sobrepostas

Breve Fabricio ZHAO Liang Fuzzy community structure detection by particle competition and cooperation Soft Computing (Berlin Print) v 17 p 659-673 2013httpdxdoiorg101007s00500-012-0924-3

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming ParticleCompetition and Cooperation for Uncovering Network Overlap Community Structure In The 8th InternationalSymposium on Neural Networks (ISNN 2011) 2011 Guilin China Lecture Notes in Computer Science Berlin Heidelberg Springer-Verlag 2011 v6677 p426 ndash 433httpdxdoiorg101007978-3-642-21111-9_48

53

Detecccedilatildeo de Comunidades Sobrepostas

Em problemas de classificaccedilatildeo nem sempre os elementos pertencem a um uacutenico grupo

Haacute casos em que elementos pertencem a muacuteltiplas comunidades

Exemplo Redes Sociais

Muacuteltiplos Grupos famiacutelia colegas de trabalho colegas de escola

A maioria dos meacutetodos natildeo consegue detectar tal estrutura de sobreposiccedilatildeo

54Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Esta extensatildeo oferece saiacutedas contiacutenuas atraveacutes de um niacutevel de dominacircncia acumulado

Quantifica a dominacircncia de cada time de partiacuteculas sobre os noacutes ao longo de toda a execuccedilatildeo do algoritmo O niacutevel de dominacircncia acumulado inicia em zero para todas as

classes e eacute aumentado somente quando o movimento aleatoacuterio eacute selecionado na classe correspondente agrave partiacutecula

Nunca diminui

119907119894120582ℓ 119905 + 1 = 119907119894

120582ℓ 119905 + 120588119895120596 119905

55

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 8: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Erro

Erro8

Gradiente Descendente

Objetivo MiacutenimoErro Quadraacutetico

9

Exemplo Detecccedilatildeo de SPAM

200 e-mails

Exemplo adaptado dehttpswwwyoutubecomwatchv=IpGxLWOIZy4

10

Exemplo Detecccedilatildeo de SPAM

Classificamos 50 como SPAMe 150 como Natildeo-SPAM

SPAM Natildeo-SPAM

11

SPAM Natildeo-SPAM

Vamos procurar quantos desses e-mails tem a palavra

ldquoreacuteplicardquo

Questatildeo com base em nossos dados se um e-mail conteacutem a palavra ldquoreacuteplicardquo qual a probabilidade de ser SPAM

( ) 40 ( ) 60 ( ) 8012

Algoritmo Naive Bayes Podemos acrescentar outros atributos

ldquoreacuteplicardquo rarr 80

ldquograacutetisrdquo rarr 65

ldquobaratordquo rarr 60

erro de ortografia rarr 70

falta linha de assunto rarr 90

etc

Combinando essas probabilidades individuais podemos obter classificadores mais confiaacuteveis

13

Aprendizado Natildeo Supervisionado Algoritmos buscam determinar como os dados estatildeo

organizados

Dados de treinamento consistem apenas de exemplos de entrada sem roacutetulos ou valores de saiacuteda

Objetivo encontrar padrotildees no espaccedilo de entradas

Uma das formas de atingir este objetivo eacute observar quais satildeo as regiotildees com maior e menor densidade de dados

bullAlpaydin E Introduction to machine learning MIT Press 2004bullDuda R O Hart P E amp Stork D G Pattern Classification (2nd Edition) Wiley-Interscience 2000

14

Onde abrir pizzarias

Exemplo adaptado dehttpswwwyoutubecomwatchv=IpGxLWOIZy4

15

Onde abrir pizzarias

16

Onde abrir pizzarias

17

Aprendizado Semi-Supervisionado Algoritmos fazem uso tanto de dados rotulados

quanto de dados natildeo rotulados para o treinamento

Normalmente poucos dados rotulados e bastante dados natildeo rotulados

Objetivo fornecer roacutetulos para os dados natildeo rotulados

Em muitos casos o uso de alguns dados rotulados em meio aos dados natildeo rotulados melhora consideravelmente a precisatildeo do aprendizado

bullZhu X Semi-Supervised Learning Literature Survey Technical Report 1530 Computer Sciences University of Wisconsin-Madison 2005bullChapelle O Schoumllkopf B amp Zien A Eds Semi-Supervised Learning Adaptive Computation and Machine Learning Cambridge MA The MIT Press 2006bullAbney S Semisupervised Learning for Computational Linguistics CRC Press 200818

X Zhu ldquoSemi-supervised learning literature surveyrdquo Computer Sciences University of Wisconsin-Madison Tech Rep 1530 2005

Um problema de classificaccedilatildeo binaacuterio em

aprendizado semi-supervisionado

Se assumirmos que cada classe tem

distribuiccedilatildeo Gaussiana podemos usar os dados

natildeo rotulados para ajudar a estimar os

paracircmetros (a) dados rotulados (b) dados

rotulados e natildeo rotulados (c) modelo aprendido a partir dos dados rotulados (d) modelo aprendido a

partir dos dados rotulados e natildeo

rotulados

19

Meacutetodos Baseados em Grafos Aacuterea de pesquisa mais ativa em aprendizado semi-

supervisionado

Dados satildeo representados por noacutes de um grafo onde as arestas satildeo rotuladas com a distacircncia entre os pares de noacutes

Noacutes rotulados satildeo usados para propagar informaccedilatildeo de roacutetulo para os demais

Meacutetodos assumem suavidade de roacutetulos atraveacutes do grafo

20

Exemplo Alunos aprovados em vestibular

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 743 82 Aprovado

2 358 63 Reprovado

3 826 91 Aprovado

4 412 71 Reprovado

5 915 89

6 873 89

7 520 75

8 297 59

9 358 72

10 884 88

11 725 90

12 612 77

Cada aluno eacute um noacute do grafo

Vamos conectar cada noacute com seus 3 vizinhos mais proacuteximos usando a distacircncia euclidiana

11

10

12

87

9

54

6

2

1

3

21

Primeiro vamos normalizar os dados

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 743 82 Aprovado

2 358 63 Reprovado

3 826 91 Aprovado

4 412 71 Reprovado

5 915 89

6 873 89

7 520 75

8 297 59

9 358 72

10 884 88

11 725 90

12 612 77

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 050 029 Aprovado

2 -117 -143 Reprovado

3 086 110 Aprovado

4 -093 -071 Reprovado

5 125 092

6 107 092

7 -046 -035

8 -143 -179

9 -117 -062

10 112 083

11 043 101

12 -006 -017

Dados normalizados meacutedia 0 desvio padratildeo 1

22

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

119889(119894 119895) =2

119909119894 minus 1199091198952+ 119910119894 minus 119910119895

2

1 2 3 4 5 6 7 8 9 10 11 12

1 240 089 175 098 085 116 284 190 082 073 073

2 240 325 076 337 325 129 045 081 321 292 168

3 089 325 255 043 027 196 370 266 037 045 157

4 175 076 255 272 258 059 120 025 256 219 1025 098 337 043 272 018 213 382 287 016 083 171

6 085 325 027 258 018 199 369 271 010 065 157

7 116 129 196 059 213 199 174 075 197 162 044

8 284 045 370 120 382 369 174 121 366 336 213

9 190 081 266 025 287 271 075 121 270 228 119

10 082 321 037 256 016 010 197 366 270 071 154

11 073 292 045 219 083 065 162 336 228 071 127

12 073 168 157 102 171 157 044 213 119 154 127

5

3

7

12

Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em Redes

Descriccedilatildeo do Modelo

Resultados

24

Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em Redes Complexas

Aplicaccedilatildeo em Aprendizado Semi-Supervisionado

Competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas na rede combinado em um esquema uacutenico

Cooperaccedilatildeo Partiacuteculas da mesma classe caminham pela rede de maneira

cooperativa propagando seus roacutetulos

Objetivo Dominar a maior quantidade de noacutes possiacutevel

Competiccedilatildeo Partiacuteculas de classes diferentes competem entre si para

determinar as bordas das classes

Objetivo Evitar a invasatildeo de partiacuteculas de outros times

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming Particle competition and cooperation in networks for semi-supervised learning IEEE Transactions on Knowledge and Data Engineering v24 p1686 - 1698 2012 httpdxdoiorg101109TKDE2011119

25

Configuraccedilatildeo Inicial dos Noacutes

Transforma-se a base de dados em uma rede natildeo direcionada sem peso

Para cada item de dado eacute gerado um noacute na rede

As arestas podem ser geradas usando uma das duas formas

Cada noacute eacute conectado aos vizinhos cuja distacircncia eacute menor que um limiar 120590

Cada noacute eacute conectado aos seus 119948 vizinhos mais proacuteximos

4

26

Configuraccedilatildeo Inicial das Partiacuteculas

Uma partiacutecula eacute gerada para cada noacute rotulado na rede

Este noacute seraacute o noacute casa da partiacutecula correspondente

A posiccedilatildeo inicial de cada partiacutecula eacute ajustada para seu respectivo noacute casa

Partiacuteculas com o mesmo roacutetulo jogam para o mesmo time

4

27

Configuraccedilatildeo Inicial dos Noacutes Cada noacute tem um vetor de domiacutenio

Noacutes rotulados tem niacuteveis de domiacutenio configurados para seus respectivos times Ex [ 1 0 0 0 ] (4 classes noacute rotulado

como classe A)

Noacutes natildeo rotulados tecircm niacuteveis de domiacutenio configurados igualmente para cada time Ex [ 025 025 025 025 ] (4 classes noacute

natildeo rotulado)

002040608

1

002040608

1

119907119894120596ℓ = ൞

1 se 119909119894 eacute rotulado e 119910119894 = ℓ0 se 119909119894 eacute rotulado e 119910119894 ne ℓ

ൗ1 119888 se 119909119894 natildeo eacute rotulado28

Dinacircmica de Noacutes

Quando uma partiacutecula seleciona um vizinho para visitar ela Diminui o niacutevel de domiacutenio de

outros times nesse vizinho

Aumenta o niacutevel de domiacutenio de seu proacuteprio time nesse vizinho

Exceccedilatildeo Niacuteveis de domiacutenio de noacutes

rotulados satildeo fixos

0

05

1

0

05

1

119905

119905 + 1

119907119894120596ℓ 119905 + 1 =

max 0 119907119894120596ℓ 119905 minus

Δ119907120588119895120596 119905

119888 minus 1se 119909119894 natildeo eacute rotulado e ℓ ne 120588119895

119891

119907119894120596ℓ 119905 +

119902neℓ119907119894

120596119902 119905 minus 119907119894

120596119902 119905 + 1 se 119909119894 natildeo eacute rotulado e ℓ = 120588119895119891

119907119894120596ℓ 119905 se 119909119894 eacute rotulado29

Dinacircmica de Partiacuteculas Uma partiacutecula se torna

Forte quando ela visita um noacute dominado por seu time

Fraca quando ela visita um noacute dominado por outro time

0 05 1 0 05 1

01 01 02

06

0 05 1 0 05 1

01

04

0203

120588119895120596 119905 + 1 = 119907119894

120596ℓ 119905 + 1

30

Tabela de Distacircncia Manteacutem a partiacutecula informada da

distacircncia para seu noacute casa Evita que a partiacutecula perca toda sua

forccedila caminhando em territoacuterios inimigos

Manteacutem as partiacuteculas por perto para proteger sua proacutepria vizinhanccedila

Atualizada automaticamente com informaccedilatildeo local Natildeo requer nenhum caacutelculo a priori

4

24

0

1

1

2

33

4

120588119895119889119896 119905 + 1 = ቐ

120588119895119889119894 119905 + 1 se 120588119895

119889119894 119905 + 1 lt 120588119895119889119896 119905

120588119895119889119896 119905 caso contraacuterio31

Caminhada Aleatoacuterio-Gulosa Caminhada Aleatoacuteria

A partiacutecula escolhe aleatoriamente qualquer vizinhos para visitar sem preocupaccedilatildeo com o niacutevel de domiacutenio

Probabilidades iguais para todos os vizinhos

Caminhada Gulosa A partiacutecula prefere visitar noacutes

que ela jaacute domina e noacutes mais proacuteximos de seu noacute casa

Probabilidade de visitar cada vizinho dada pelo niacutevel de domiacutenio e distacircncia

As partiacuteculas precisam exibir ambos os movimentos para que haja um equiliacutebrio entre o comportamento exploratoacuterio e o defensivo

119901 119907119894|120588119895 =119882119902119894

σ120583=1119899 119882119902120583

119901 119907119894|120588119895 =119882119902119894119907119894

120596ℓ 1 + 120588119895119889119894

minus2

σ120583=1119899 119882119902120583 119907120583

120596ℓ 1 + 120588119895

119889120583minus2

CAMINHADA GULOSACAMINHADA ALEATOacuteRIA

Probabilidades no Movimento Guloso

Probabilidades no Movimento Aleatoacuterio

35

18

47

33

33

33

1199071

1199072

1199073

1199074

1199072

1199073

1199074

1199072

1199073

1199074

01 01 02

06

04

0203

01

08

0100

01

33

Choques Uma partiacutecula fica no noacute

visitado somente se o niacutevel de domiacutenio de seu time eacute maior que o dos outros

Caso contraacuterio um choque acontece e a partiacutecula eacute expulsa voltando ao noacute onde estava anteriormente ateacute a proacutexima iteraccedilatildeo

07

03

03

07

0604

0406

34

AlgoritmoConstruir a rede

Configurar os niacuteveis de domiacutenio

Configurar posiccedilatildeo inicial de partiacuteculas e seus correspondentes noacutes-casa

Configurar forccedila da partiacutecula e distacircncia

Repita

Para cada partiacutecula faccedila

Selecione movimento aleatoacuterio ou guloso

Selecione o noacute a ser visitado

Atualize os niacuteveis de domiacutenio do noacute visitado

Atualize a forccedila da partiacutecula

Atualize a tabela de distacircncias

Ateacute que o criteacuterio de parada ou um nuacutemero preacute-definido de passos seja atingido

Rotule cada noacute natildeo rotulado de acordo com o time de partiacuteculas que tiver o maior domiacutenio

35

1 2 3 4

5 6 7 8

9 10 11 12

Voltando ao nosso exemplo dos alunosNo final das iteraccedilotildees

36

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

5

3

7

12

Agora eacute soacute ldquopintarrdquo os noacutes com a classe das partiacuteculas que o dominaram

37

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092 Aprovado

6 873 89 107 092 Aprovado

7 520 75 -046 -035 Reprovado

8 297 59 -143 -179 Reprovado

9 358 72 -117 -062 Reprovado

10 884 88 112 083 Aprovado

11 725 90 043 101 Aprovado

12 612 77 -006 -017 Reprovado

1

11

10

6

8

9

4

2

5

3

7

12

E pronto Todos os dados natildeo rotulados tiveram seus roacutetulos estimados pelo classificador do modelo de partiacuteculas

38

Anaacutelise de complexidade do meacutetodo proposto em rede com meacutedia mistura (a) Nuacutemero de

iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 5119911119900119906119905 lt 119896 gt = 02

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Anaacutelise de complexidade do meacutetodo proposto em rede com

alta mistura (a) Nuacutemero de iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 10119911119900119906119905 lt 119896 gt = 04

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Tamanho da Base de Dados (n)

Tem

po

(se

gun

do

s)

Tempo de execuccedilatildeo de quatro meacutetodos baseados em grafos incluindo o meacutetodo de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas para classificar uma sequencia de bases de dados artificiais com 4 classes com distribuiccedilatildeo Gaussiana com tamanhos crescentes

41

Classificaccedilatildeo de base de dado artificial com 2000

amostras divididas igualmente em duas classes com forma de

banana

Desempenho de Classificaccedilatildeo

42

Classificaccedilatildeo de base de dado artificial com 1000

amostras divididas em duas classes Highleyman

Desempenho de Classificaccedilatildeo

43

Classificaccedilatildeo de base de dado artificial com 1200

amostras divididas emduas classes Lithuanian com 800 e 400 amostras

respectivamente

Desempenho de Classificaccedilatildeo

44

Classificaccedilatildeo de base de dado artificial com 1200

amostras igualmente divididas em trecircs classes

com distribuiccedilatildeo Gaussiana

Desempenho de Classificaccedilatildeo

45

Benchmark - Erros de teste () com 100 pontos de dados rotulados46

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 100 pontos de dados rotulados

Benchmark - Erros de teste () com 10 pontos de dados rotulados48

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 10 pontos de dados rotulados

Erros de classificaccedilatildeo () e tempos de execuccedilatildeo (segundos) de quatro meacutetodos baseados em grafos aplicados em bases de dados grandes

Erros de Classificaccedilatildeo e Tempos de Execuccedilatildeo em Grandes Bases de Dados

50

Extensotildees do Modelo de Partiacuteculas

Detecccedilatildeo de Comunidades SobrepostasAprendizado Semi-Supervisionado com Dados ImperfeitosClassificaccedilatildeo Semi-Supervisionada de Fluxos de DadosAprendizado Ativo e Semi-SupervisionadoSegmentaccedilatildeo de Imagens

51

Extensotildees do Modelo de Partiacuteculas

52

O modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas jaacute foi estendido para realizar diversos tipos de tarefas de aprendizado de maacutequina

Detecccedilatildeo de Comunidades Sobrepostas

Aprendizado Semi-Supervisionado com Dados Imperfeitos

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados

Aprendizado Ativo e Semi-Supervisionado

Segmentaccedilatildeo de Imagens

Detecccedilatildeo de Comunidades Sobrepostas

Breve Fabricio ZHAO Liang Fuzzy community structure detection by particle competition and cooperation Soft Computing (Berlin Print) v 17 p 659-673 2013httpdxdoiorg101007s00500-012-0924-3

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming ParticleCompetition and Cooperation for Uncovering Network Overlap Community Structure In The 8th InternationalSymposium on Neural Networks (ISNN 2011) 2011 Guilin China Lecture Notes in Computer Science Berlin Heidelberg Springer-Verlag 2011 v6677 p426 ndash 433httpdxdoiorg101007978-3-642-21111-9_48

53

Detecccedilatildeo de Comunidades Sobrepostas

Em problemas de classificaccedilatildeo nem sempre os elementos pertencem a um uacutenico grupo

Haacute casos em que elementos pertencem a muacuteltiplas comunidades

Exemplo Redes Sociais

Muacuteltiplos Grupos famiacutelia colegas de trabalho colegas de escola

A maioria dos meacutetodos natildeo consegue detectar tal estrutura de sobreposiccedilatildeo

54Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Esta extensatildeo oferece saiacutedas contiacutenuas atraveacutes de um niacutevel de dominacircncia acumulado

Quantifica a dominacircncia de cada time de partiacuteculas sobre os noacutes ao longo de toda a execuccedilatildeo do algoritmo O niacutevel de dominacircncia acumulado inicia em zero para todas as

classes e eacute aumentado somente quando o movimento aleatoacuterio eacute selecionado na classe correspondente agrave partiacutecula

Nunca diminui

119907119894120582ℓ 119905 + 1 = 119907119894

120582ℓ 119905 + 120588119895120596 119905

55

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 9: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Gradiente Descendente

Objetivo MiacutenimoErro Quadraacutetico

9

Exemplo Detecccedilatildeo de SPAM

200 e-mails

Exemplo adaptado dehttpswwwyoutubecomwatchv=IpGxLWOIZy4

10

Exemplo Detecccedilatildeo de SPAM

Classificamos 50 como SPAMe 150 como Natildeo-SPAM

SPAM Natildeo-SPAM

11

SPAM Natildeo-SPAM

Vamos procurar quantos desses e-mails tem a palavra

ldquoreacuteplicardquo

Questatildeo com base em nossos dados se um e-mail conteacutem a palavra ldquoreacuteplicardquo qual a probabilidade de ser SPAM

( ) 40 ( ) 60 ( ) 8012

Algoritmo Naive Bayes Podemos acrescentar outros atributos

ldquoreacuteplicardquo rarr 80

ldquograacutetisrdquo rarr 65

ldquobaratordquo rarr 60

erro de ortografia rarr 70

falta linha de assunto rarr 90

etc

Combinando essas probabilidades individuais podemos obter classificadores mais confiaacuteveis

13

Aprendizado Natildeo Supervisionado Algoritmos buscam determinar como os dados estatildeo

organizados

Dados de treinamento consistem apenas de exemplos de entrada sem roacutetulos ou valores de saiacuteda

Objetivo encontrar padrotildees no espaccedilo de entradas

Uma das formas de atingir este objetivo eacute observar quais satildeo as regiotildees com maior e menor densidade de dados

bullAlpaydin E Introduction to machine learning MIT Press 2004bullDuda R O Hart P E amp Stork D G Pattern Classification (2nd Edition) Wiley-Interscience 2000

14

Onde abrir pizzarias

Exemplo adaptado dehttpswwwyoutubecomwatchv=IpGxLWOIZy4

15

Onde abrir pizzarias

16

Onde abrir pizzarias

17

Aprendizado Semi-Supervisionado Algoritmos fazem uso tanto de dados rotulados

quanto de dados natildeo rotulados para o treinamento

Normalmente poucos dados rotulados e bastante dados natildeo rotulados

Objetivo fornecer roacutetulos para os dados natildeo rotulados

Em muitos casos o uso de alguns dados rotulados em meio aos dados natildeo rotulados melhora consideravelmente a precisatildeo do aprendizado

bullZhu X Semi-Supervised Learning Literature Survey Technical Report 1530 Computer Sciences University of Wisconsin-Madison 2005bullChapelle O Schoumllkopf B amp Zien A Eds Semi-Supervised Learning Adaptive Computation and Machine Learning Cambridge MA The MIT Press 2006bullAbney S Semisupervised Learning for Computational Linguistics CRC Press 200818

X Zhu ldquoSemi-supervised learning literature surveyrdquo Computer Sciences University of Wisconsin-Madison Tech Rep 1530 2005

Um problema de classificaccedilatildeo binaacuterio em

aprendizado semi-supervisionado

Se assumirmos que cada classe tem

distribuiccedilatildeo Gaussiana podemos usar os dados

natildeo rotulados para ajudar a estimar os

paracircmetros (a) dados rotulados (b) dados

rotulados e natildeo rotulados (c) modelo aprendido a partir dos dados rotulados (d) modelo aprendido a

partir dos dados rotulados e natildeo

rotulados

19

Meacutetodos Baseados em Grafos Aacuterea de pesquisa mais ativa em aprendizado semi-

supervisionado

Dados satildeo representados por noacutes de um grafo onde as arestas satildeo rotuladas com a distacircncia entre os pares de noacutes

Noacutes rotulados satildeo usados para propagar informaccedilatildeo de roacutetulo para os demais

Meacutetodos assumem suavidade de roacutetulos atraveacutes do grafo

20

Exemplo Alunos aprovados em vestibular

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 743 82 Aprovado

2 358 63 Reprovado

3 826 91 Aprovado

4 412 71 Reprovado

5 915 89

6 873 89

7 520 75

8 297 59

9 358 72

10 884 88

11 725 90

12 612 77

Cada aluno eacute um noacute do grafo

Vamos conectar cada noacute com seus 3 vizinhos mais proacuteximos usando a distacircncia euclidiana

11

10

12

87

9

54

6

2

1

3

21

Primeiro vamos normalizar os dados

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 743 82 Aprovado

2 358 63 Reprovado

3 826 91 Aprovado

4 412 71 Reprovado

5 915 89

6 873 89

7 520 75

8 297 59

9 358 72

10 884 88

11 725 90

12 612 77

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 050 029 Aprovado

2 -117 -143 Reprovado

3 086 110 Aprovado

4 -093 -071 Reprovado

5 125 092

6 107 092

7 -046 -035

8 -143 -179

9 -117 -062

10 112 083

11 043 101

12 -006 -017

Dados normalizados meacutedia 0 desvio padratildeo 1

22

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

119889(119894 119895) =2

119909119894 minus 1199091198952+ 119910119894 minus 119910119895

2

1 2 3 4 5 6 7 8 9 10 11 12

1 240 089 175 098 085 116 284 190 082 073 073

2 240 325 076 337 325 129 045 081 321 292 168

3 089 325 255 043 027 196 370 266 037 045 157

4 175 076 255 272 258 059 120 025 256 219 1025 098 337 043 272 018 213 382 287 016 083 171

6 085 325 027 258 018 199 369 271 010 065 157

7 116 129 196 059 213 199 174 075 197 162 044

8 284 045 370 120 382 369 174 121 366 336 213

9 190 081 266 025 287 271 075 121 270 228 119

10 082 321 037 256 016 010 197 366 270 071 154

11 073 292 045 219 083 065 162 336 228 071 127

12 073 168 157 102 171 157 044 213 119 154 127

5

3

7

12

Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em Redes

Descriccedilatildeo do Modelo

Resultados

24

Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em Redes Complexas

Aplicaccedilatildeo em Aprendizado Semi-Supervisionado

Competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas na rede combinado em um esquema uacutenico

Cooperaccedilatildeo Partiacuteculas da mesma classe caminham pela rede de maneira

cooperativa propagando seus roacutetulos

Objetivo Dominar a maior quantidade de noacutes possiacutevel

Competiccedilatildeo Partiacuteculas de classes diferentes competem entre si para

determinar as bordas das classes

Objetivo Evitar a invasatildeo de partiacuteculas de outros times

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming Particle competition and cooperation in networks for semi-supervised learning IEEE Transactions on Knowledge and Data Engineering v24 p1686 - 1698 2012 httpdxdoiorg101109TKDE2011119

25

Configuraccedilatildeo Inicial dos Noacutes

Transforma-se a base de dados em uma rede natildeo direcionada sem peso

Para cada item de dado eacute gerado um noacute na rede

As arestas podem ser geradas usando uma das duas formas

Cada noacute eacute conectado aos vizinhos cuja distacircncia eacute menor que um limiar 120590

Cada noacute eacute conectado aos seus 119948 vizinhos mais proacuteximos

4

26

Configuraccedilatildeo Inicial das Partiacuteculas

Uma partiacutecula eacute gerada para cada noacute rotulado na rede

Este noacute seraacute o noacute casa da partiacutecula correspondente

A posiccedilatildeo inicial de cada partiacutecula eacute ajustada para seu respectivo noacute casa

Partiacuteculas com o mesmo roacutetulo jogam para o mesmo time

4

27

Configuraccedilatildeo Inicial dos Noacutes Cada noacute tem um vetor de domiacutenio

Noacutes rotulados tem niacuteveis de domiacutenio configurados para seus respectivos times Ex [ 1 0 0 0 ] (4 classes noacute rotulado

como classe A)

Noacutes natildeo rotulados tecircm niacuteveis de domiacutenio configurados igualmente para cada time Ex [ 025 025 025 025 ] (4 classes noacute

natildeo rotulado)

002040608

1

002040608

1

119907119894120596ℓ = ൞

1 se 119909119894 eacute rotulado e 119910119894 = ℓ0 se 119909119894 eacute rotulado e 119910119894 ne ℓ

ൗ1 119888 se 119909119894 natildeo eacute rotulado28

Dinacircmica de Noacutes

Quando uma partiacutecula seleciona um vizinho para visitar ela Diminui o niacutevel de domiacutenio de

outros times nesse vizinho

Aumenta o niacutevel de domiacutenio de seu proacuteprio time nesse vizinho

Exceccedilatildeo Niacuteveis de domiacutenio de noacutes

rotulados satildeo fixos

0

05

1

0

05

1

119905

119905 + 1

119907119894120596ℓ 119905 + 1 =

max 0 119907119894120596ℓ 119905 minus

Δ119907120588119895120596 119905

119888 minus 1se 119909119894 natildeo eacute rotulado e ℓ ne 120588119895

119891

119907119894120596ℓ 119905 +

119902neℓ119907119894

120596119902 119905 minus 119907119894

120596119902 119905 + 1 se 119909119894 natildeo eacute rotulado e ℓ = 120588119895119891

119907119894120596ℓ 119905 se 119909119894 eacute rotulado29

Dinacircmica de Partiacuteculas Uma partiacutecula se torna

Forte quando ela visita um noacute dominado por seu time

Fraca quando ela visita um noacute dominado por outro time

0 05 1 0 05 1

01 01 02

06

0 05 1 0 05 1

01

04

0203

120588119895120596 119905 + 1 = 119907119894

120596ℓ 119905 + 1

30

Tabela de Distacircncia Manteacutem a partiacutecula informada da

distacircncia para seu noacute casa Evita que a partiacutecula perca toda sua

forccedila caminhando em territoacuterios inimigos

Manteacutem as partiacuteculas por perto para proteger sua proacutepria vizinhanccedila

Atualizada automaticamente com informaccedilatildeo local Natildeo requer nenhum caacutelculo a priori

4

24

0

1

1

2

33

4

120588119895119889119896 119905 + 1 = ቐ

120588119895119889119894 119905 + 1 se 120588119895

119889119894 119905 + 1 lt 120588119895119889119896 119905

120588119895119889119896 119905 caso contraacuterio31

Caminhada Aleatoacuterio-Gulosa Caminhada Aleatoacuteria

A partiacutecula escolhe aleatoriamente qualquer vizinhos para visitar sem preocupaccedilatildeo com o niacutevel de domiacutenio

Probabilidades iguais para todos os vizinhos

Caminhada Gulosa A partiacutecula prefere visitar noacutes

que ela jaacute domina e noacutes mais proacuteximos de seu noacute casa

Probabilidade de visitar cada vizinho dada pelo niacutevel de domiacutenio e distacircncia

As partiacuteculas precisam exibir ambos os movimentos para que haja um equiliacutebrio entre o comportamento exploratoacuterio e o defensivo

119901 119907119894|120588119895 =119882119902119894

σ120583=1119899 119882119902120583

119901 119907119894|120588119895 =119882119902119894119907119894

120596ℓ 1 + 120588119895119889119894

minus2

σ120583=1119899 119882119902120583 119907120583

120596ℓ 1 + 120588119895

119889120583minus2

CAMINHADA GULOSACAMINHADA ALEATOacuteRIA

Probabilidades no Movimento Guloso

Probabilidades no Movimento Aleatoacuterio

35

18

47

33

33

33

1199071

1199072

1199073

1199074

1199072

1199073

1199074

1199072

1199073

1199074

01 01 02

06

04

0203

01

08

0100

01

33

Choques Uma partiacutecula fica no noacute

visitado somente se o niacutevel de domiacutenio de seu time eacute maior que o dos outros

Caso contraacuterio um choque acontece e a partiacutecula eacute expulsa voltando ao noacute onde estava anteriormente ateacute a proacutexima iteraccedilatildeo

07

03

03

07

0604

0406

34

AlgoritmoConstruir a rede

Configurar os niacuteveis de domiacutenio

Configurar posiccedilatildeo inicial de partiacuteculas e seus correspondentes noacutes-casa

Configurar forccedila da partiacutecula e distacircncia

Repita

Para cada partiacutecula faccedila

Selecione movimento aleatoacuterio ou guloso

Selecione o noacute a ser visitado

Atualize os niacuteveis de domiacutenio do noacute visitado

Atualize a forccedila da partiacutecula

Atualize a tabela de distacircncias

Ateacute que o criteacuterio de parada ou um nuacutemero preacute-definido de passos seja atingido

Rotule cada noacute natildeo rotulado de acordo com o time de partiacuteculas que tiver o maior domiacutenio

35

1 2 3 4

5 6 7 8

9 10 11 12

Voltando ao nosso exemplo dos alunosNo final das iteraccedilotildees

36

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

5

3

7

12

Agora eacute soacute ldquopintarrdquo os noacutes com a classe das partiacuteculas que o dominaram

37

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092 Aprovado

6 873 89 107 092 Aprovado

7 520 75 -046 -035 Reprovado

8 297 59 -143 -179 Reprovado

9 358 72 -117 -062 Reprovado

10 884 88 112 083 Aprovado

11 725 90 043 101 Aprovado

12 612 77 -006 -017 Reprovado

1

11

10

6

8

9

4

2

5

3

7

12

E pronto Todos os dados natildeo rotulados tiveram seus roacutetulos estimados pelo classificador do modelo de partiacuteculas

38

Anaacutelise de complexidade do meacutetodo proposto em rede com meacutedia mistura (a) Nuacutemero de

iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 5119911119900119906119905 lt 119896 gt = 02

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Anaacutelise de complexidade do meacutetodo proposto em rede com

alta mistura (a) Nuacutemero de iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 10119911119900119906119905 lt 119896 gt = 04

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Tamanho da Base de Dados (n)

Tem

po

(se

gun

do

s)

Tempo de execuccedilatildeo de quatro meacutetodos baseados em grafos incluindo o meacutetodo de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas para classificar uma sequencia de bases de dados artificiais com 4 classes com distribuiccedilatildeo Gaussiana com tamanhos crescentes

41

Classificaccedilatildeo de base de dado artificial com 2000

amostras divididas igualmente em duas classes com forma de

banana

Desempenho de Classificaccedilatildeo

42

Classificaccedilatildeo de base de dado artificial com 1000

amostras divididas em duas classes Highleyman

Desempenho de Classificaccedilatildeo

43

Classificaccedilatildeo de base de dado artificial com 1200

amostras divididas emduas classes Lithuanian com 800 e 400 amostras

respectivamente

Desempenho de Classificaccedilatildeo

44

Classificaccedilatildeo de base de dado artificial com 1200

amostras igualmente divididas em trecircs classes

com distribuiccedilatildeo Gaussiana

Desempenho de Classificaccedilatildeo

45

Benchmark - Erros de teste () com 100 pontos de dados rotulados46

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 100 pontos de dados rotulados

Benchmark - Erros de teste () com 10 pontos de dados rotulados48

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 10 pontos de dados rotulados

Erros de classificaccedilatildeo () e tempos de execuccedilatildeo (segundos) de quatro meacutetodos baseados em grafos aplicados em bases de dados grandes

Erros de Classificaccedilatildeo e Tempos de Execuccedilatildeo em Grandes Bases de Dados

50

Extensotildees do Modelo de Partiacuteculas

Detecccedilatildeo de Comunidades SobrepostasAprendizado Semi-Supervisionado com Dados ImperfeitosClassificaccedilatildeo Semi-Supervisionada de Fluxos de DadosAprendizado Ativo e Semi-SupervisionadoSegmentaccedilatildeo de Imagens

51

Extensotildees do Modelo de Partiacuteculas

52

O modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas jaacute foi estendido para realizar diversos tipos de tarefas de aprendizado de maacutequina

Detecccedilatildeo de Comunidades Sobrepostas

Aprendizado Semi-Supervisionado com Dados Imperfeitos

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados

Aprendizado Ativo e Semi-Supervisionado

Segmentaccedilatildeo de Imagens

Detecccedilatildeo de Comunidades Sobrepostas

Breve Fabricio ZHAO Liang Fuzzy community structure detection by particle competition and cooperation Soft Computing (Berlin Print) v 17 p 659-673 2013httpdxdoiorg101007s00500-012-0924-3

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming ParticleCompetition and Cooperation for Uncovering Network Overlap Community Structure In The 8th InternationalSymposium on Neural Networks (ISNN 2011) 2011 Guilin China Lecture Notes in Computer Science Berlin Heidelberg Springer-Verlag 2011 v6677 p426 ndash 433httpdxdoiorg101007978-3-642-21111-9_48

53

Detecccedilatildeo de Comunidades Sobrepostas

Em problemas de classificaccedilatildeo nem sempre os elementos pertencem a um uacutenico grupo

Haacute casos em que elementos pertencem a muacuteltiplas comunidades

Exemplo Redes Sociais

Muacuteltiplos Grupos famiacutelia colegas de trabalho colegas de escola

A maioria dos meacutetodos natildeo consegue detectar tal estrutura de sobreposiccedilatildeo

54Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Esta extensatildeo oferece saiacutedas contiacutenuas atraveacutes de um niacutevel de dominacircncia acumulado

Quantifica a dominacircncia de cada time de partiacuteculas sobre os noacutes ao longo de toda a execuccedilatildeo do algoritmo O niacutevel de dominacircncia acumulado inicia em zero para todas as

classes e eacute aumentado somente quando o movimento aleatoacuterio eacute selecionado na classe correspondente agrave partiacutecula

Nunca diminui

119907119894120582ℓ 119905 + 1 = 119907119894

120582ℓ 119905 + 120588119895120596 119905

55

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 10: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Exemplo Detecccedilatildeo de SPAM

200 e-mails

Exemplo adaptado dehttpswwwyoutubecomwatchv=IpGxLWOIZy4

10

Exemplo Detecccedilatildeo de SPAM

Classificamos 50 como SPAMe 150 como Natildeo-SPAM

SPAM Natildeo-SPAM

11

SPAM Natildeo-SPAM

Vamos procurar quantos desses e-mails tem a palavra

ldquoreacuteplicardquo

Questatildeo com base em nossos dados se um e-mail conteacutem a palavra ldquoreacuteplicardquo qual a probabilidade de ser SPAM

( ) 40 ( ) 60 ( ) 8012

Algoritmo Naive Bayes Podemos acrescentar outros atributos

ldquoreacuteplicardquo rarr 80

ldquograacutetisrdquo rarr 65

ldquobaratordquo rarr 60

erro de ortografia rarr 70

falta linha de assunto rarr 90

etc

Combinando essas probabilidades individuais podemos obter classificadores mais confiaacuteveis

13

Aprendizado Natildeo Supervisionado Algoritmos buscam determinar como os dados estatildeo

organizados

Dados de treinamento consistem apenas de exemplos de entrada sem roacutetulos ou valores de saiacuteda

Objetivo encontrar padrotildees no espaccedilo de entradas

Uma das formas de atingir este objetivo eacute observar quais satildeo as regiotildees com maior e menor densidade de dados

bullAlpaydin E Introduction to machine learning MIT Press 2004bullDuda R O Hart P E amp Stork D G Pattern Classification (2nd Edition) Wiley-Interscience 2000

14

Onde abrir pizzarias

Exemplo adaptado dehttpswwwyoutubecomwatchv=IpGxLWOIZy4

15

Onde abrir pizzarias

16

Onde abrir pizzarias

17

Aprendizado Semi-Supervisionado Algoritmos fazem uso tanto de dados rotulados

quanto de dados natildeo rotulados para o treinamento

Normalmente poucos dados rotulados e bastante dados natildeo rotulados

Objetivo fornecer roacutetulos para os dados natildeo rotulados

Em muitos casos o uso de alguns dados rotulados em meio aos dados natildeo rotulados melhora consideravelmente a precisatildeo do aprendizado

bullZhu X Semi-Supervised Learning Literature Survey Technical Report 1530 Computer Sciences University of Wisconsin-Madison 2005bullChapelle O Schoumllkopf B amp Zien A Eds Semi-Supervised Learning Adaptive Computation and Machine Learning Cambridge MA The MIT Press 2006bullAbney S Semisupervised Learning for Computational Linguistics CRC Press 200818

X Zhu ldquoSemi-supervised learning literature surveyrdquo Computer Sciences University of Wisconsin-Madison Tech Rep 1530 2005

Um problema de classificaccedilatildeo binaacuterio em

aprendizado semi-supervisionado

Se assumirmos que cada classe tem

distribuiccedilatildeo Gaussiana podemos usar os dados

natildeo rotulados para ajudar a estimar os

paracircmetros (a) dados rotulados (b) dados

rotulados e natildeo rotulados (c) modelo aprendido a partir dos dados rotulados (d) modelo aprendido a

partir dos dados rotulados e natildeo

rotulados

19

Meacutetodos Baseados em Grafos Aacuterea de pesquisa mais ativa em aprendizado semi-

supervisionado

Dados satildeo representados por noacutes de um grafo onde as arestas satildeo rotuladas com a distacircncia entre os pares de noacutes

Noacutes rotulados satildeo usados para propagar informaccedilatildeo de roacutetulo para os demais

Meacutetodos assumem suavidade de roacutetulos atraveacutes do grafo

20

Exemplo Alunos aprovados em vestibular

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 743 82 Aprovado

2 358 63 Reprovado

3 826 91 Aprovado

4 412 71 Reprovado

5 915 89

6 873 89

7 520 75

8 297 59

9 358 72

10 884 88

11 725 90

12 612 77

Cada aluno eacute um noacute do grafo

Vamos conectar cada noacute com seus 3 vizinhos mais proacuteximos usando a distacircncia euclidiana

11

10

12

87

9

54

6

2

1

3

21

Primeiro vamos normalizar os dados

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 743 82 Aprovado

2 358 63 Reprovado

3 826 91 Aprovado

4 412 71 Reprovado

5 915 89

6 873 89

7 520 75

8 297 59

9 358 72

10 884 88

11 725 90

12 612 77

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 050 029 Aprovado

2 -117 -143 Reprovado

3 086 110 Aprovado

4 -093 -071 Reprovado

5 125 092

6 107 092

7 -046 -035

8 -143 -179

9 -117 -062

10 112 083

11 043 101

12 -006 -017

Dados normalizados meacutedia 0 desvio padratildeo 1

22

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

119889(119894 119895) =2

119909119894 minus 1199091198952+ 119910119894 minus 119910119895

2

1 2 3 4 5 6 7 8 9 10 11 12

1 240 089 175 098 085 116 284 190 082 073 073

2 240 325 076 337 325 129 045 081 321 292 168

3 089 325 255 043 027 196 370 266 037 045 157

4 175 076 255 272 258 059 120 025 256 219 1025 098 337 043 272 018 213 382 287 016 083 171

6 085 325 027 258 018 199 369 271 010 065 157

7 116 129 196 059 213 199 174 075 197 162 044

8 284 045 370 120 382 369 174 121 366 336 213

9 190 081 266 025 287 271 075 121 270 228 119

10 082 321 037 256 016 010 197 366 270 071 154

11 073 292 045 219 083 065 162 336 228 071 127

12 073 168 157 102 171 157 044 213 119 154 127

5

3

7

12

Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em Redes

Descriccedilatildeo do Modelo

Resultados

24

Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em Redes Complexas

Aplicaccedilatildeo em Aprendizado Semi-Supervisionado

Competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas na rede combinado em um esquema uacutenico

Cooperaccedilatildeo Partiacuteculas da mesma classe caminham pela rede de maneira

cooperativa propagando seus roacutetulos

Objetivo Dominar a maior quantidade de noacutes possiacutevel

Competiccedilatildeo Partiacuteculas de classes diferentes competem entre si para

determinar as bordas das classes

Objetivo Evitar a invasatildeo de partiacuteculas de outros times

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming Particle competition and cooperation in networks for semi-supervised learning IEEE Transactions on Knowledge and Data Engineering v24 p1686 - 1698 2012 httpdxdoiorg101109TKDE2011119

25

Configuraccedilatildeo Inicial dos Noacutes

Transforma-se a base de dados em uma rede natildeo direcionada sem peso

Para cada item de dado eacute gerado um noacute na rede

As arestas podem ser geradas usando uma das duas formas

Cada noacute eacute conectado aos vizinhos cuja distacircncia eacute menor que um limiar 120590

Cada noacute eacute conectado aos seus 119948 vizinhos mais proacuteximos

4

26

Configuraccedilatildeo Inicial das Partiacuteculas

Uma partiacutecula eacute gerada para cada noacute rotulado na rede

Este noacute seraacute o noacute casa da partiacutecula correspondente

A posiccedilatildeo inicial de cada partiacutecula eacute ajustada para seu respectivo noacute casa

Partiacuteculas com o mesmo roacutetulo jogam para o mesmo time

4

27

Configuraccedilatildeo Inicial dos Noacutes Cada noacute tem um vetor de domiacutenio

Noacutes rotulados tem niacuteveis de domiacutenio configurados para seus respectivos times Ex [ 1 0 0 0 ] (4 classes noacute rotulado

como classe A)

Noacutes natildeo rotulados tecircm niacuteveis de domiacutenio configurados igualmente para cada time Ex [ 025 025 025 025 ] (4 classes noacute

natildeo rotulado)

002040608

1

002040608

1

119907119894120596ℓ = ൞

1 se 119909119894 eacute rotulado e 119910119894 = ℓ0 se 119909119894 eacute rotulado e 119910119894 ne ℓ

ൗ1 119888 se 119909119894 natildeo eacute rotulado28

Dinacircmica de Noacutes

Quando uma partiacutecula seleciona um vizinho para visitar ela Diminui o niacutevel de domiacutenio de

outros times nesse vizinho

Aumenta o niacutevel de domiacutenio de seu proacuteprio time nesse vizinho

Exceccedilatildeo Niacuteveis de domiacutenio de noacutes

rotulados satildeo fixos

0

05

1

0

05

1

119905

119905 + 1

119907119894120596ℓ 119905 + 1 =

max 0 119907119894120596ℓ 119905 minus

Δ119907120588119895120596 119905

119888 minus 1se 119909119894 natildeo eacute rotulado e ℓ ne 120588119895

119891

119907119894120596ℓ 119905 +

119902neℓ119907119894

120596119902 119905 minus 119907119894

120596119902 119905 + 1 se 119909119894 natildeo eacute rotulado e ℓ = 120588119895119891

119907119894120596ℓ 119905 se 119909119894 eacute rotulado29

Dinacircmica de Partiacuteculas Uma partiacutecula se torna

Forte quando ela visita um noacute dominado por seu time

Fraca quando ela visita um noacute dominado por outro time

0 05 1 0 05 1

01 01 02

06

0 05 1 0 05 1

01

04

0203

120588119895120596 119905 + 1 = 119907119894

120596ℓ 119905 + 1

30

Tabela de Distacircncia Manteacutem a partiacutecula informada da

distacircncia para seu noacute casa Evita que a partiacutecula perca toda sua

forccedila caminhando em territoacuterios inimigos

Manteacutem as partiacuteculas por perto para proteger sua proacutepria vizinhanccedila

Atualizada automaticamente com informaccedilatildeo local Natildeo requer nenhum caacutelculo a priori

4

24

0

1

1

2

33

4

120588119895119889119896 119905 + 1 = ቐ

120588119895119889119894 119905 + 1 se 120588119895

119889119894 119905 + 1 lt 120588119895119889119896 119905

120588119895119889119896 119905 caso contraacuterio31

Caminhada Aleatoacuterio-Gulosa Caminhada Aleatoacuteria

A partiacutecula escolhe aleatoriamente qualquer vizinhos para visitar sem preocupaccedilatildeo com o niacutevel de domiacutenio

Probabilidades iguais para todos os vizinhos

Caminhada Gulosa A partiacutecula prefere visitar noacutes

que ela jaacute domina e noacutes mais proacuteximos de seu noacute casa

Probabilidade de visitar cada vizinho dada pelo niacutevel de domiacutenio e distacircncia

As partiacuteculas precisam exibir ambos os movimentos para que haja um equiliacutebrio entre o comportamento exploratoacuterio e o defensivo

119901 119907119894|120588119895 =119882119902119894

σ120583=1119899 119882119902120583

119901 119907119894|120588119895 =119882119902119894119907119894

120596ℓ 1 + 120588119895119889119894

minus2

σ120583=1119899 119882119902120583 119907120583

120596ℓ 1 + 120588119895

119889120583minus2

CAMINHADA GULOSACAMINHADA ALEATOacuteRIA

Probabilidades no Movimento Guloso

Probabilidades no Movimento Aleatoacuterio

35

18

47

33

33

33

1199071

1199072

1199073

1199074

1199072

1199073

1199074

1199072

1199073

1199074

01 01 02

06

04

0203

01

08

0100

01

33

Choques Uma partiacutecula fica no noacute

visitado somente se o niacutevel de domiacutenio de seu time eacute maior que o dos outros

Caso contraacuterio um choque acontece e a partiacutecula eacute expulsa voltando ao noacute onde estava anteriormente ateacute a proacutexima iteraccedilatildeo

07

03

03

07

0604

0406

34

AlgoritmoConstruir a rede

Configurar os niacuteveis de domiacutenio

Configurar posiccedilatildeo inicial de partiacuteculas e seus correspondentes noacutes-casa

Configurar forccedila da partiacutecula e distacircncia

Repita

Para cada partiacutecula faccedila

Selecione movimento aleatoacuterio ou guloso

Selecione o noacute a ser visitado

Atualize os niacuteveis de domiacutenio do noacute visitado

Atualize a forccedila da partiacutecula

Atualize a tabela de distacircncias

Ateacute que o criteacuterio de parada ou um nuacutemero preacute-definido de passos seja atingido

Rotule cada noacute natildeo rotulado de acordo com o time de partiacuteculas que tiver o maior domiacutenio

35

1 2 3 4

5 6 7 8

9 10 11 12

Voltando ao nosso exemplo dos alunosNo final das iteraccedilotildees

36

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

5

3

7

12

Agora eacute soacute ldquopintarrdquo os noacutes com a classe das partiacuteculas que o dominaram

37

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092 Aprovado

6 873 89 107 092 Aprovado

7 520 75 -046 -035 Reprovado

8 297 59 -143 -179 Reprovado

9 358 72 -117 -062 Reprovado

10 884 88 112 083 Aprovado

11 725 90 043 101 Aprovado

12 612 77 -006 -017 Reprovado

1

11

10

6

8

9

4

2

5

3

7

12

E pronto Todos os dados natildeo rotulados tiveram seus roacutetulos estimados pelo classificador do modelo de partiacuteculas

38

Anaacutelise de complexidade do meacutetodo proposto em rede com meacutedia mistura (a) Nuacutemero de

iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 5119911119900119906119905 lt 119896 gt = 02

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Anaacutelise de complexidade do meacutetodo proposto em rede com

alta mistura (a) Nuacutemero de iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 10119911119900119906119905 lt 119896 gt = 04

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Tamanho da Base de Dados (n)

Tem

po

(se

gun

do

s)

Tempo de execuccedilatildeo de quatro meacutetodos baseados em grafos incluindo o meacutetodo de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas para classificar uma sequencia de bases de dados artificiais com 4 classes com distribuiccedilatildeo Gaussiana com tamanhos crescentes

41

Classificaccedilatildeo de base de dado artificial com 2000

amostras divididas igualmente em duas classes com forma de

banana

Desempenho de Classificaccedilatildeo

42

Classificaccedilatildeo de base de dado artificial com 1000

amostras divididas em duas classes Highleyman

Desempenho de Classificaccedilatildeo

43

Classificaccedilatildeo de base de dado artificial com 1200

amostras divididas emduas classes Lithuanian com 800 e 400 amostras

respectivamente

Desempenho de Classificaccedilatildeo

44

Classificaccedilatildeo de base de dado artificial com 1200

amostras igualmente divididas em trecircs classes

com distribuiccedilatildeo Gaussiana

Desempenho de Classificaccedilatildeo

45

Benchmark - Erros de teste () com 100 pontos de dados rotulados46

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 100 pontos de dados rotulados

Benchmark - Erros de teste () com 10 pontos de dados rotulados48

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 10 pontos de dados rotulados

Erros de classificaccedilatildeo () e tempos de execuccedilatildeo (segundos) de quatro meacutetodos baseados em grafos aplicados em bases de dados grandes

Erros de Classificaccedilatildeo e Tempos de Execuccedilatildeo em Grandes Bases de Dados

50

Extensotildees do Modelo de Partiacuteculas

Detecccedilatildeo de Comunidades SobrepostasAprendizado Semi-Supervisionado com Dados ImperfeitosClassificaccedilatildeo Semi-Supervisionada de Fluxos de DadosAprendizado Ativo e Semi-SupervisionadoSegmentaccedilatildeo de Imagens

51

Extensotildees do Modelo de Partiacuteculas

52

O modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas jaacute foi estendido para realizar diversos tipos de tarefas de aprendizado de maacutequina

Detecccedilatildeo de Comunidades Sobrepostas

Aprendizado Semi-Supervisionado com Dados Imperfeitos

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados

Aprendizado Ativo e Semi-Supervisionado

Segmentaccedilatildeo de Imagens

Detecccedilatildeo de Comunidades Sobrepostas

Breve Fabricio ZHAO Liang Fuzzy community structure detection by particle competition and cooperation Soft Computing (Berlin Print) v 17 p 659-673 2013httpdxdoiorg101007s00500-012-0924-3

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming ParticleCompetition and Cooperation for Uncovering Network Overlap Community Structure In The 8th InternationalSymposium on Neural Networks (ISNN 2011) 2011 Guilin China Lecture Notes in Computer Science Berlin Heidelberg Springer-Verlag 2011 v6677 p426 ndash 433httpdxdoiorg101007978-3-642-21111-9_48

53

Detecccedilatildeo de Comunidades Sobrepostas

Em problemas de classificaccedilatildeo nem sempre os elementos pertencem a um uacutenico grupo

Haacute casos em que elementos pertencem a muacuteltiplas comunidades

Exemplo Redes Sociais

Muacuteltiplos Grupos famiacutelia colegas de trabalho colegas de escola

A maioria dos meacutetodos natildeo consegue detectar tal estrutura de sobreposiccedilatildeo

54Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Esta extensatildeo oferece saiacutedas contiacutenuas atraveacutes de um niacutevel de dominacircncia acumulado

Quantifica a dominacircncia de cada time de partiacuteculas sobre os noacutes ao longo de toda a execuccedilatildeo do algoritmo O niacutevel de dominacircncia acumulado inicia em zero para todas as

classes e eacute aumentado somente quando o movimento aleatoacuterio eacute selecionado na classe correspondente agrave partiacutecula

Nunca diminui

119907119894120582ℓ 119905 + 1 = 119907119894

120582ℓ 119905 + 120588119895120596 119905

55

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 11: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Exemplo Detecccedilatildeo de SPAM

Classificamos 50 como SPAMe 150 como Natildeo-SPAM

SPAM Natildeo-SPAM

11

SPAM Natildeo-SPAM

Vamos procurar quantos desses e-mails tem a palavra

ldquoreacuteplicardquo

Questatildeo com base em nossos dados se um e-mail conteacutem a palavra ldquoreacuteplicardquo qual a probabilidade de ser SPAM

( ) 40 ( ) 60 ( ) 8012

Algoritmo Naive Bayes Podemos acrescentar outros atributos

ldquoreacuteplicardquo rarr 80

ldquograacutetisrdquo rarr 65

ldquobaratordquo rarr 60

erro de ortografia rarr 70

falta linha de assunto rarr 90

etc

Combinando essas probabilidades individuais podemos obter classificadores mais confiaacuteveis

13

Aprendizado Natildeo Supervisionado Algoritmos buscam determinar como os dados estatildeo

organizados

Dados de treinamento consistem apenas de exemplos de entrada sem roacutetulos ou valores de saiacuteda

Objetivo encontrar padrotildees no espaccedilo de entradas

Uma das formas de atingir este objetivo eacute observar quais satildeo as regiotildees com maior e menor densidade de dados

bullAlpaydin E Introduction to machine learning MIT Press 2004bullDuda R O Hart P E amp Stork D G Pattern Classification (2nd Edition) Wiley-Interscience 2000

14

Onde abrir pizzarias

Exemplo adaptado dehttpswwwyoutubecomwatchv=IpGxLWOIZy4

15

Onde abrir pizzarias

16

Onde abrir pizzarias

17

Aprendizado Semi-Supervisionado Algoritmos fazem uso tanto de dados rotulados

quanto de dados natildeo rotulados para o treinamento

Normalmente poucos dados rotulados e bastante dados natildeo rotulados

Objetivo fornecer roacutetulos para os dados natildeo rotulados

Em muitos casos o uso de alguns dados rotulados em meio aos dados natildeo rotulados melhora consideravelmente a precisatildeo do aprendizado

bullZhu X Semi-Supervised Learning Literature Survey Technical Report 1530 Computer Sciences University of Wisconsin-Madison 2005bullChapelle O Schoumllkopf B amp Zien A Eds Semi-Supervised Learning Adaptive Computation and Machine Learning Cambridge MA The MIT Press 2006bullAbney S Semisupervised Learning for Computational Linguistics CRC Press 200818

X Zhu ldquoSemi-supervised learning literature surveyrdquo Computer Sciences University of Wisconsin-Madison Tech Rep 1530 2005

Um problema de classificaccedilatildeo binaacuterio em

aprendizado semi-supervisionado

Se assumirmos que cada classe tem

distribuiccedilatildeo Gaussiana podemos usar os dados

natildeo rotulados para ajudar a estimar os

paracircmetros (a) dados rotulados (b) dados

rotulados e natildeo rotulados (c) modelo aprendido a partir dos dados rotulados (d) modelo aprendido a

partir dos dados rotulados e natildeo

rotulados

19

Meacutetodos Baseados em Grafos Aacuterea de pesquisa mais ativa em aprendizado semi-

supervisionado

Dados satildeo representados por noacutes de um grafo onde as arestas satildeo rotuladas com a distacircncia entre os pares de noacutes

Noacutes rotulados satildeo usados para propagar informaccedilatildeo de roacutetulo para os demais

Meacutetodos assumem suavidade de roacutetulos atraveacutes do grafo

20

Exemplo Alunos aprovados em vestibular

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 743 82 Aprovado

2 358 63 Reprovado

3 826 91 Aprovado

4 412 71 Reprovado

5 915 89

6 873 89

7 520 75

8 297 59

9 358 72

10 884 88

11 725 90

12 612 77

Cada aluno eacute um noacute do grafo

Vamos conectar cada noacute com seus 3 vizinhos mais proacuteximos usando a distacircncia euclidiana

11

10

12

87

9

54

6

2

1

3

21

Primeiro vamos normalizar os dados

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 743 82 Aprovado

2 358 63 Reprovado

3 826 91 Aprovado

4 412 71 Reprovado

5 915 89

6 873 89

7 520 75

8 297 59

9 358 72

10 884 88

11 725 90

12 612 77

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 050 029 Aprovado

2 -117 -143 Reprovado

3 086 110 Aprovado

4 -093 -071 Reprovado

5 125 092

6 107 092

7 -046 -035

8 -143 -179

9 -117 -062

10 112 083

11 043 101

12 -006 -017

Dados normalizados meacutedia 0 desvio padratildeo 1

22

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

119889(119894 119895) =2

119909119894 minus 1199091198952+ 119910119894 minus 119910119895

2

1 2 3 4 5 6 7 8 9 10 11 12

1 240 089 175 098 085 116 284 190 082 073 073

2 240 325 076 337 325 129 045 081 321 292 168

3 089 325 255 043 027 196 370 266 037 045 157

4 175 076 255 272 258 059 120 025 256 219 1025 098 337 043 272 018 213 382 287 016 083 171

6 085 325 027 258 018 199 369 271 010 065 157

7 116 129 196 059 213 199 174 075 197 162 044

8 284 045 370 120 382 369 174 121 366 336 213

9 190 081 266 025 287 271 075 121 270 228 119

10 082 321 037 256 016 010 197 366 270 071 154

11 073 292 045 219 083 065 162 336 228 071 127

12 073 168 157 102 171 157 044 213 119 154 127

5

3

7

12

Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em Redes

Descriccedilatildeo do Modelo

Resultados

24

Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em Redes Complexas

Aplicaccedilatildeo em Aprendizado Semi-Supervisionado

Competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas na rede combinado em um esquema uacutenico

Cooperaccedilatildeo Partiacuteculas da mesma classe caminham pela rede de maneira

cooperativa propagando seus roacutetulos

Objetivo Dominar a maior quantidade de noacutes possiacutevel

Competiccedilatildeo Partiacuteculas de classes diferentes competem entre si para

determinar as bordas das classes

Objetivo Evitar a invasatildeo de partiacuteculas de outros times

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming Particle competition and cooperation in networks for semi-supervised learning IEEE Transactions on Knowledge and Data Engineering v24 p1686 - 1698 2012 httpdxdoiorg101109TKDE2011119

25

Configuraccedilatildeo Inicial dos Noacutes

Transforma-se a base de dados em uma rede natildeo direcionada sem peso

Para cada item de dado eacute gerado um noacute na rede

As arestas podem ser geradas usando uma das duas formas

Cada noacute eacute conectado aos vizinhos cuja distacircncia eacute menor que um limiar 120590

Cada noacute eacute conectado aos seus 119948 vizinhos mais proacuteximos

4

26

Configuraccedilatildeo Inicial das Partiacuteculas

Uma partiacutecula eacute gerada para cada noacute rotulado na rede

Este noacute seraacute o noacute casa da partiacutecula correspondente

A posiccedilatildeo inicial de cada partiacutecula eacute ajustada para seu respectivo noacute casa

Partiacuteculas com o mesmo roacutetulo jogam para o mesmo time

4

27

Configuraccedilatildeo Inicial dos Noacutes Cada noacute tem um vetor de domiacutenio

Noacutes rotulados tem niacuteveis de domiacutenio configurados para seus respectivos times Ex [ 1 0 0 0 ] (4 classes noacute rotulado

como classe A)

Noacutes natildeo rotulados tecircm niacuteveis de domiacutenio configurados igualmente para cada time Ex [ 025 025 025 025 ] (4 classes noacute

natildeo rotulado)

002040608

1

002040608

1

119907119894120596ℓ = ൞

1 se 119909119894 eacute rotulado e 119910119894 = ℓ0 se 119909119894 eacute rotulado e 119910119894 ne ℓ

ൗ1 119888 se 119909119894 natildeo eacute rotulado28

Dinacircmica de Noacutes

Quando uma partiacutecula seleciona um vizinho para visitar ela Diminui o niacutevel de domiacutenio de

outros times nesse vizinho

Aumenta o niacutevel de domiacutenio de seu proacuteprio time nesse vizinho

Exceccedilatildeo Niacuteveis de domiacutenio de noacutes

rotulados satildeo fixos

0

05

1

0

05

1

119905

119905 + 1

119907119894120596ℓ 119905 + 1 =

max 0 119907119894120596ℓ 119905 minus

Δ119907120588119895120596 119905

119888 minus 1se 119909119894 natildeo eacute rotulado e ℓ ne 120588119895

119891

119907119894120596ℓ 119905 +

119902neℓ119907119894

120596119902 119905 minus 119907119894

120596119902 119905 + 1 se 119909119894 natildeo eacute rotulado e ℓ = 120588119895119891

119907119894120596ℓ 119905 se 119909119894 eacute rotulado29

Dinacircmica de Partiacuteculas Uma partiacutecula se torna

Forte quando ela visita um noacute dominado por seu time

Fraca quando ela visita um noacute dominado por outro time

0 05 1 0 05 1

01 01 02

06

0 05 1 0 05 1

01

04

0203

120588119895120596 119905 + 1 = 119907119894

120596ℓ 119905 + 1

30

Tabela de Distacircncia Manteacutem a partiacutecula informada da

distacircncia para seu noacute casa Evita que a partiacutecula perca toda sua

forccedila caminhando em territoacuterios inimigos

Manteacutem as partiacuteculas por perto para proteger sua proacutepria vizinhanccedila

Atualizada automaticamente com informaccedilatildeo local Natildeo requer nenhum caacutelculo a priori

4

24

0

1

1

2

33

4

120588119895119889119896 119905 + 1 = ቐ

120588119895119889119894 119905 + 1 se 120588119895

119889119894 119905 + 1 lt 120588119895119889119896 119905

120588119895119889119896 119905 caso contraacuterio31

Caminhada Aleatoacuterio-Gulosa Caminhada Aleatoacuteria

A partiacutecula escolhe aleatoriamente qualquer vizinhos para visitar sem preocupaccedilatildeo com o niacutevel de domiacutenio

Probabilidades iguais para todos os vizinhos

Caminhada Gulosa A partiacutecula prefere visitar noacutes

que ela jaacute domina e noacutes mais proacuteximos de seu noacute casa

Probabilidade de visitar cada vizinho dada pelo niacutevel de domiacutenio e distacircncia

As partiacuteculas precisam exibir ambos os movimentos para que haja um equiliacutebrio entre o comportamento exploratoacuterio e o defensivo

119901 119907119894|120588119895 =119882119902119894

σ120583=1119899 119882119902120583

119901 119907119894|120588119895 =119882119902119894119907119894

120596ℓ 1 + 120588119895119889119894

minus2

σ120583=1119899 119882119902120583 119907120583

120596ℓ 1 + 120588119895

119889120583minus2

CAMINHADA GULOSACAMINHADA ALEATOacuteRIA

Probabilidades no Movimento Guloso

Probabilidades no Movimento Aleatoacuterio

35

18

47

33

33

33

1199071

1199072

1199073

1199074

1199072

1199073

1199074

1199072

1199073

1199074

01 01 02

06

04

0203

01

08

0100

01

33

Choques Uma partiacutecula fica no noacute

visitado somente se o niacutevel de domiacutenio de seu time eacute maior que o dos outros

Caso contraacuterio um choque acontece e a partiacutecula eacute expulsa voltando ao noacute onde estava anteriormente ateacute a proacutexima iteraccedilatildeo

07

03

03

07

0604

0406

34

AlgoritmoConstruir a rede

Configurar os niacuteveis de domiacutenio

Configurar posiccedilatildeo inicial de partiacuteculas e seus correspondentes noacutes-casa

Configurar forccedila da partiacutecula e distacircncia

Repita

Para cada partiacutecula faccedila

Selecione movimento aleatoacuterio ou guloso

Selecione o noacute a ser visitado

Atualize os niacuteveis de domiacutenio do noacute visitado

Atualize a forccedila da partiacutecula

Atualize a tabela de distacircncias

Ateacute que o criteacuterio de parada ou um nuacutemero preacute-definido de passos seja atingido

Rotule cada noacute natildeo rotulado de acordo com o time de partiacuteculas que tiver o maior domiacutenio

35

1 2 3 4

5 6 7 8

9 10 11 12

Voltando ao nosso exemplo dos alunosNo final das iteraccedilotildees

36

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

5

3

7

12

Agora eacute soacute ldquopintarrdquo os noacutes com a classe das partiacuteculas que o dominaram

37

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092 Aprovado

6 873 89 107 092 Aprovado

7 520 75 -046 -035 Reprovado

8 297 59 -143 -179 Reprovado

9 358 72 -117 -062 Reprovado

10 884 88 112 083 Aprovado

11 725 90 043 101 Aprovado

12 612 77 -006 -017 Reprovado

1

11

10

6

8

9

4

2

5

3

7

12

E pronto Todos os dados natildeo rotulados tiveram seus roacutetulos estimados pelo classificador do modelo de partiacuteculas

38

Anaacutelise de complexidade do meacutetodo proposto em rede com meacutedia mistura (a) Nuacutemero de

iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 5119911119900119906119905 lt 119896 gt = 02

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Anaacutelise de complexidade do meacutetodo proposto em rede com

alta mistura (a) Nuacutemero de iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 10119911119900119906119905 lt 119896 gt = 04

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Tamanho da Base de Dados (n)

Tem

po

(se

gun

do

s)

Tempo de execuccedilatildeo de quatro meacutetodos baseados em grafos incluindo o meacutetodo de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas para classificar uma sequencia de bases de dados artificiais com 4 classes com distribuiccedilatildeo Gaussiana com tamanhos crescentes

41

Classificaccedilatildeo de base de dado artificial com 2000

amostras divididas igualmente em duas classes com forma de

banana

Desempenho de Classificaccedilatildeo

42

Classificaccedilatildeo de base de dado artificial com 1000

amostras divididas em duas classes Highleyman

Desempenho de Classificaccedilatildeo

43

Classificaccedilatildeo de base de dado artificial com 1200

amostras divididas emduas classes Lithuanian com 800 e 400 amostras

respectivamente

Desempenho de Classificaccedilatildeo

44

Classificaccedilatildeo de base de dado artificial com 1200

amostras igualmente divididas em trecircs classes

com distribuiccedilatildeo Gaussiana

Desempenho de Classificaccedilatildeo

45

Benchmark - Erros de teste () com 100 pontos de dados rotulados46

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 100 pontos de dados rotulados

Benchmark - Erros de teste () com 10 pontos de dados rotulados48

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 10 pontos de dados rotulados

Erros de classificaccedilatildeo () e tempos de execuccedilatildeo (segundos) de quatro meacutetodos baseados em grafos aplicados em bases de dados grandes

Erros de Classificaccedilatildeo e Tempos de Execuccedilatildeo em Grandes Bases de Dados

50

Extensotildees do Modelo de Partiacuteculas

Detecccedilatildeo de Comunidades SobrepostasAprendizado Semi-Supervisionado com Dados ImperfeitosClassificaccedilatildeo Semi-Supervisionada de Fluxos de DadosAprendizado Ativo e Semi-SupervisionadoSegmentaccedilatildeo de Imagens

51

Extensotildees do Modelo de Partiacuteculas

52

O modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas jaacute foi estendido para realizar diversos tipos de tarefas de aprendizado de maacutequina

Detecccedilatildeo de Comunidades Sobrepostas

Aprendizado Semi-Supervisionado com Dados Imperfeitos

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados

Aprendizado Ativo e Semi-Supervisionado

Segmentaccedilatildeo de Imagens

Detecccedilatildeo de Comunidades Sobrepostas

Breve Fabricio ZHAO Liang Fuzzy community structure detection by particle competition and cooperation Soft Computing (Berlin Print) v 17 p 659-673 2013httpdxdoiorg101007s00500-012-0924-3

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming ParticleCompetition and Cooperation for Uncovering Network Overlap Community Structure In The 8th InternationalSymposium on Neural Networks (ISNN 2011) 2011 Guilin China Lecture Notes in Computer Science Berlin Heidelberg Springer-Verlag 2011 v6677 p426 ndash 433httpdxdoiorg101007978-3-642-21111-9_48

53

Detecccedilatildeo de Comunidades Sobrepostas

Em problemas de classificaccedilatildeo nem sempre os elementos pertencem a um uacutenico grupo

Haacute casos em que elementos pertencem a muacuteltiplas comunidades

Exemplo Redes Sociais

Muacuteltiplos Grupos famiacutelia colegas de trabalho colegas de escola

A maioria dos meacutetodos natildeo consegue detectar tal estrutura de sobreposiccedilatildeo

54Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Esta extensatildeo oferece saiacutedas contiacutenuas atraveacutes de um niacutevel de dominacircncia acumulado

Quantifica a dominacircncia de cada time de partiacuteculas sobre os noacutes ao longo de toda a execuccedilatildeo do algoritmo O niacutevel de dominacircncia acumulado inicia em zero para todas as

classes e eacute aumentado somente quando o movimento aleatoacuterio eacute selecionado na classe correspondente agrave partiacutecula

Nunca diminui

119907119894120582ℓ 119905 + 1 = 119907119894

120582ℓ 119905 + 120588119895120596 119905

55

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 12: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

SPAM Natildeo-SPAM

Vamos procurar quantos desses e-mails tem a palavra

ldquoreacuteplicardquo

Questatildeo com base em nossos dados se um e-mail conteacutem a palavra ldquoreacuteplicardquo qual a probabilidade de ser SPAM

( ) 40 ( ) 60 ( ) 8012

Algoritmo Naive Bayes Podemos acrescentar outros atributos

ldquoreacuteplicardquo rarr 80

ldquograacutetisrdquo rarr 65

ldquobaratordquo rarr 60

erro de ortografia rarr 70

falta linha de assunto rarr 90

etc

Combinando essas probabilidades individuais podemos obter classificadores mais confiaacuteveis

13

Aprendizado Natildeo Supervisionado Algoritmos buscam determinar como os dados estatildeo

organizados

Dados de treinamento consistem apenas de exemplos de entrada sem roacutetulos ou valores de saiacuteda

Objetivo encontrar padrotildees no espaccedilo de entradas

Uma das formas de atingir este objetivo eacute observar quais satildeo as regiotildees com maior e menor densidade de dados

bullAlpaydin E Introduction to machine learning MIT Press 2004bullDuda R O Hart P E amp Stork D G Pattern Classification (2nd Edition) Wiley-Interscience 2000

14

Onde abrir pizzarias

Exemplo adaptado dehttpswwwyoutubecomwatchv=IpGxLWOIZy4

15

Onde abrir pizzarias

16

Onde abrir pizzarias

17

Aprendizado Semi-Supervisionado Algoritmos fazem uso tanto de dados rotulados

quanto de dados natildeo rotulados para o treinamento

Normalmente poucos dados rotulados e bastante dados natildeo rotulados

Objetivo fornecer roacutetulos para os dados natildeo rotulados

Em muitos casos o uso de alguns dados rotulados em meio aos dados natildeo rotulados melhora consideravelmente a precisatildeo do aprendizado

bullZhu X Semi-Supervised Learning Literature Survey Technical Report 1530 Computer Sciences University of Wisconsin-Madison 2005bullChapelle O Schoumllkopf B amp Zien A Eds Semi-Supervised Learning Adaptive Computation and Machine Learning Cambridge MA The MIT Press 2006bullAbney S Semisupervised Learning for Computational Linguistics CRC Press 200818

X Zhu ldquoSemi-supervised learning literature surveyrdquo Computer Sciences University of Wisconsin-Madison Tech Rep 1530 2005

Um problema de classificaccedilatildeo binaacuterio em

aprendizado semi-supervisionado

Se assumirmos que cada classe tem

distribuiccedilatildeo Gaussiana podemos usar os dados

natildeo rotulados para ajudar a estimar os

paracircmetros (a) dados rotulados (b) dados

rotulados e natildeo rotulados (c) modelo aprendido a partir dos dados rotulados (d) modelo aprendido a

partir dos dados rotulados e natildeo

rotulados

19

Meacutetodos Baseados em Grafos Aacuterea de pesquisa mais ativa em aprendizado semi-

supervisionado

Dados satildeo representados por noacutes de um grafo onde as arestas satildeo rotuladas com a distacircncia entre os pares de noacutes

Noacutes rotulados satildeo usados para propagar informaccedilatildeo de roacutetulo para os demais

Meacutetodos assumem suavidade de roacutetulos atraveacutes do grafo

20

Exemplo Alunos aprovados em vestibular

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 743 82 Aprovado

2 358 63 Reprovado

3 826 91 Aprovado

4 412 71 Reprovado

5 915 89

6 873 89

7 520 75

8 297 59

9 358 72

10 884 88

11 725 90

12 612 77

Cada aluno eacute um noacute do grafo

Vamos conectar cada noacute com seus 3 vizinhos mais proacuteximos usando a distacircncia euclidiana

11

10

12

87

9

54

6

2

1

3

21

Primeiro vamos normalizar os dados

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 743 82 Aprovado

2 358 63 Reprovado

3 826 91 Aprovado

4 412 71 Reprovado

5 915 89

6 873 89

7 520 75

8 297 59

9 358 72

10 884 88

11 725 90

12 612 77

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 050 029 Aprovado

2 -117 -143 Reprovado

3 086 110 Aprovado

4 -093 -071 Reprovado

5 125 092

6 107 092

7 -046 -035

8 -143 -179

9 -117 -062

10 112 083

11 043 101

12 -006 -017

Dados normalizados meacutedia 0 desvio padratildeo 1

22

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

119889(119894 119895) =2

119909119894 minus 1199091198952+ 119910119894 minus 119910119895

2

1 2 3 4 5 6 7 8 9 10 11 12

1 240 089 175 098 085 116 284 190 082 073 073

2 240 325 076 337 325 129 045 081 321 292 168

3 089 325 255 043 027 196 370 266 037 045 157

4 175 076 255 272 258 059 120 025 256 219 1025 098 337 043 272 018 213 382 287 016 083 171

6 085 325 027 258 018 199 369 271 010 065 157

7 116 129 196 059 213 199 174 075 197 162 044

8 284 045 370 120 382 369 174 121 366 336 213

9 190 081 266 025 287 271 075 121 270 228 119

10 082 321 037 256 016 010 197 366 270 071 154

11 073 292 045 219 083 065 162 336 228 071 127

12 073 168 157 102 171 157 044 213 119 154 127

5

3

7

12

Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em Redes

Descriccedilatildeo do Modelo

Resultados

24

Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em Redes Complexas

Aplicaccedilatildeo em Aprendizado Semi-Supervisionado

Competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas na rede combinado em um esquema uacutenico

Cooperaccedilatildeo Partiacuteculas da mesma classe caminham pela rede de maneira

cooperativa propagando seus roacutetulos

Objetivo Dominar a maior quantidade de noacutes possiacutevel

Competiccedilatildeo Partiacuteculas de classes diferentes competem entre si para

determinar as bordas das classes

Objetivo Evitar a invasatildeo de partiacuteculas de outros times

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming Particle competition and cooperation in networks for semi-supervised learning IEEE Transactions on Knowledge and Data Engineering v24 p1686 - 1698 2012 httpdxdoiorg101109TKDE2011119

25

Configuraccedilatildeo Inicial dos Noacutes

Transforma-se a base de dados em uma rede natildeo direcionada sem peso

Para cada item de dado eacute gerado um noacute na rede

As arestas podem ser geradas usando uma das duas formas

Cada noacute eacute conectado aos vizinhos cuja distacircncia eacute menor que um limiar 120590

Cada noacute eacute conectado aos seus 119948 vizinhos mais proacuteximos

4

26

Configuraccedilatildeo Inicial das Partiacuteculas

Uma partiacutecula eacute gerada para cada noacute rotulado na rede

Este noacute seraacute o noacute casa da partiacutecula correspondente

A posiccedilatildeo inicial de cada partiacutecula eacute ajustada para seu respectivo noacute casa

Partiacuteculas com o mesmo roacutetulo jogam para o mesmo time

4

27

Configuraccedilatildeo Inicial dos Noacutes Cada noacute tem um vetor de domiacutenio

Noacutes rotulados tem niacuteveis de domiacutenio configurados para seus respectivos times Ex [ 1 0 0 0 ] (4 classes noacute rotulado

como classe A)

Noacutes natildeo rotulados tecircm niacuteveis de domiacutenio configurados igualmente para cada time Ex [ 025 025 025 025 ] (4 classes noacute

natildeo rotulado)

002040608

1

002040608

1

119907119894120596ℓ = ൞

1 se 119909119894 eacute rotulado e 119910119894 = ℓ0 se 119909119894 eacute rotulado e 119910119894 ne ℓ

ൗ1 119888 se 119909119894 natildeo eacute rotulado28

Dinacircmica de Noacutes

Quando uma partiacutecula seleciona um vizinho para visitar ela Diminui o niacutevel de domiacutenio de

outros times nesse vizinho

Aumenta o niacutevel de domiacutenio de seu proacuteprio time nesse vizinho

Exceccedilatildeo Niacuteveis de domiacutenio de noacutes

rotulados satildeo fixos

0

05

1

0

05

1

119905

119905 + 1

119907119894120596ℓ 119905 + 1 =

max 0 119907119894120596ℓ 119905 minus

Δ119907120588119895120596 119905

119888 minus 1se 119909119894 natildeo eacute rotulado e ℓ ne 120588119895

119891

119907119894120596ℓ 119905 +

119902neℓ119907119894

120596119902 119905 minus 119907119894

120596119902 119905 + 1 se 119909119894 natildeo eacute rotulado e ℓ = 120588119895119891

119907119894120596ℓ 119905 se 119909119894 eacute rotulado29

Dinacircmica de Partiacuteculas Uma partiacutecula se torna

Forte quando ela visita um noacute dominado por seu time

Fraca quando ela visita um noacute dominado por outro time

0 05 1 0 05 1

01 01 02

06

0 05 1 0 05 1

01

04

0203

120588119895120596 119905 + 1 = 119907119894

120596ℓ 119905 + 1

30

Tabela de Distacircncia Manteacutem a partiacutecula informada da

distacircncia para seu noacute casa Evita que a partiacutecula perca toda sua

forccedila caminhando em territoacuterios inimigos

Manteacutem as partiacuteculas por perto para proteger sua proacutepria vizinhanccedila

Atualizada automaticamente com informaccedilatildeo local Natildeo requer nenhum caacutelculo a priori

4

24

0

1

1

2

33

4

120588119895119889119896 119905 + 1 = ቐ

120588119895119889119894 119905 + 1 se 120588119895

119889119894 119905 + 1 lt 120588119895119889119896 119905

120588119895119889119896 119905 caso contraacuterio31

Caminhada Aleatoacuterio-Gulosa Caminhada Aleatoacuteria

A partiacutecula escolhe aleatoriamente qualquer vizinhos para visitar sem preocupaccedilatildeo com o niacutevel de domiacutenio

Probabilidades iguais para todos os vizinhos

Caminhada Gulosa A partiacutecula prefere visitar noacutes

que ela jaacute domina e noacutes mais proacuteximos de seu noacute casa

Probabilidade de visitar cada vizinho dada pelo niacutevel de domiacutenio e distacircncia

As partiacuteculas precisam exibir ambos os movimentos para que haja um equiliacutebrio entre o comportamento exploratoacuterio e o defensivo

119901 119907119894|120588119895 =119882119902119894

σ120583=1119899 119882119902120583

119901 119907119894|120588119895 =119882119902119894119907119894

120596ℓ 1 + 120588119895119889119894

minus2

σ120583=1119899 119882119902120583 119907120583

120596ℓ 1 + 120588119895

119889120583minus2

CAMINHADA GULOSACAMINHADA ALEATOacuteRIA

Probabilidades no Movimento Guloso

Probabilidades no Movimento Aleatoacuterio

35

18

47

33

33

33

1199071

1199072

1199073

1199074

1199072

1199073

1199074

1199072

1199073

1199074

01 01 02

06

04

0203

01

08

0100

01

33

Choques Uma partiacutecula fica no noacute

visitado somente se o niacutevel de domiacutenio de seu time eacute maior que o dos outros

Caso contraacuterio um choque acontece e a partiacutecula eacute expulsa voltando ao noacute onde estava anteriormente ateacute a proacutexima iteraccedilatildeo

07

03

03

07

0604

0406

34

AlgoritmoConstruir a rede

Configurar os niacuteveis de domiacutenio

Configurar posiccedilatildeo inicial de partiacuteculas e seus correspondentes noacutes-casa

Configurar forccedila da partiacutecula e distacircncia

Repita

Para cada partiacutecula faccedila

Selecione movimento aleatoacuterio ou guloso

Selecione o noacute a ser visitado

Atualize os niacuteveis de domiacutenio do noacute visitado

Atualize a forccedila da partiacutecula

Atualize a tabela de distacircncias

Ateacute que o criteacuterio de parada ou um nuacutemero preacute-definido de passos seja atingido

Rotule cada noacute natildeo rotulado de acordo com o time de partiacuteculas que tiver o maior domiacutenio

35

1 2 3 4

5 6 7 8

9 10 11 12

Voltando ao nosso exemplo dos alunosNo final das iteraccedilotildees

36

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

5

3

7

12

Agora eacute soacute ldquopintarrdquo os noacutes com a classe das partiacuteculas que o dominaram

37

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092 Aprovado

6 873 89 107 092 Aprovado

7 520 75 -046 -035 Reprovado

8 297 59 -143 -179 Reprovado

9 358 72 -117 -062 Reprovado

10 884 88 112 083 Aprovado

11 725 90 043 101 Aprovado

12 612 77 -006 -017 Reprovado

1

11

10

6

8

9

4

2

5

3

7

12

E pronto Todos os dados natildeo rotulados tiveram seus roacutetulos estimados pelo classificador do modelo de partiacuteculas

38

Anaacutelise de complexidade do meacutetodo proposto em rede com meacutedia mistura (a) Nuacutemero de

iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 5119911119900119906119905 lt 119896 gt = 02

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Anaacutelise de complexidade do meacutetodo proposto em rede com

alta mistura (a) Nuacutemero de iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 10119911119900119906119905 lt 119896 gt = 04

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Tamanho da Base de Dados (n)

Tem

po

(se

gun

do

s)

Tempo de execuccedilatildeo de quatro meacutetodos baseados em grafos incluindo o meacutetodo de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas para classificar uma sequencia de bases de dados artificiais com 4 classes com distribuiccedilatildeo Gaussiana com tamanhos crescentes

41

Classificaccedilatildeo de base de dado artificial com 2000

amostras divididas igualmente em duas classes com forma de

banana

Desempenho de Classificaccedilatildeo

42

Classificaccedilatildeo de base de dado artificial com 1000

amostras divididas em duas classes Highleyman

Desempenho de Classificaccedilatildeo

43

Classificaccedilatildeo de base de dado artificial com 1200

amostras divididas emduas classes Lithuanian com 800 e 400 amostras

respectivamente

Desempenho de Classificaccedilatildeo

44

Classificaccedilatildeo de base de dado artificial com 1200

amostras igualmente divididas em trecircs classes

com distribuiccedilatildeo Gaussiana

Desempenho de Classificaccedilatildeo

45

Benchmark - Erros de teste () com 100 pontos de dados rotulados46

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 100 pontos de dados rotulados

Benchmark - Erros de teste () com 10 pontos de dados rotulados48

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 10 pontos de dados rotulados

Erros de classificaccedilatildeo () e tempos de execuccedilatildeo (segundos) de quatro meacutetodos baseados em grafos aplicados em bases de dados grandes

Erros de Classificaccedilatildeo e Tempos de Execuccedilatildeo em Grandes Bases de Dados

50

Extensotildees do Modelo de Partiacuteculas

Detecccedilatildeo de Comunidades SobrepostasAprendizado Semi-Supervisionado com Dados ImperfeitosClassificaccedilatildeo Semi-Supervisionada de Fluxos de DadosAprendizado Ativo e Semi-SupervisionadoSegmentaccedilatildeo de Imagens

51

Extensotildees do Modelo de Partiacuteculas

52

O modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas jaacute foi estendido para realizar diversos tipos de tarefas de aprendizado de maacutequina

Detecccedilatildeo de Comunidades Sobrepostas

Aprendizado Semi-Supervisionado com Dados Imperfeitos

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados

Aprendizado Ativo e Semi-Supervisionado

Segmentaccedilatildeo de Imagens

Detecccedilatildeo de Comunidades Sobrepostas

Breve Fabricio ZHAO Liang Fuzzy community structure detection by particle competition and cooperation Soft Computing (Berlin Print) v 17 p 659-673 2013httpdxdoiorg101007s00500-012-0924-3

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming ParticleCompetition and Cooperation for Uncovering Network Overlap Community Structure In The 8th InternationalSymposium on Neural Networks (ISNN 2011) 2011 Guilin China Lecture Notes in Computer Science Berlin Heidelberg Springer-Verlag 2011 v6677 p426 ndash 433httpdxdoiorg101007978-3-642-21111-9_48

53

Detecccedilatildeo de Comunidades Sobrepostas

Em problemas de classificaccedilatildeo nem sempre os elementos pertencem a um uacutenico grupo

Haacute casos em que elementos pertencem a muacuteltiplas comunidades

Exemplo Redes Sociais

Muacuteltiplos Grupos famiacutelia colegas de trabalho colegas de escola

A maioria dos meacutetodos natildeo consegue detectar tal estrutura de sobreposiccedilatildeo

54Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Esta extensatildeo oferece saiacutedas contiacutenuas atraveacutes de um niacutevel de dominacircncia acumulado

Quantifica a dominacircncia de cada time de partiacuteculas sobre os noacutes ao longo de toda a execuccedilatildeo do algoritmo O niacutevel de dominacircncia acumulado inicia em zero para todas as

classes e eacute aumentado somente quando o movimento aleatoacuterio eacute selecionado na classe correspondente agrave partiacutecula

Nunca diminui

119907119894120582ℓ 119905 + 1 = 119907119894

120582ℓ 119905 + 120588119895120596 119905

55

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 13: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Algoritmo Naive Bayes Podemos acrescentar outros atributos

ldquoreacuteplicardquo rarr 80

ldquograacutetisrdquo rarr 65

ldquobaratordquo rarr 60

erro de ortografia rarr 70

falta linha de assunto rarr 90

etc

Combinando essas probabilidades individuais podemos obter classificadores mais confiaacuteveis

13

Aprendizado Natildeo Supervisionado Algoritmos buscam determinar como os dados estatildeo

organizados

Dados de treinamento consistem apenas de exemplos de entrada sem roacutetulos ou valores de saiacuteda

Objetivo encontrar padrotildees no espaccedilo de entradas

Uma das formas de atingir este objetivo eacute observar quais satildeo as regiotildees com maior e menor densidade de dados

bullAlpaydin E Introduction to machine learning MIT Press 2004bullDuda R O Hart P E amp Stork D G Pattern Classification (2nd Edition) Wiley-Interscience 2000

14

Onde abrir pizzarias

Exemplo adaptado dehttpswwwyoutubecomwatchv=IpGxLWOIZy4

15

Onde abrir pizzarias

16

Onde abrir pizzarias

17

Aprendizado Semi-Supervisionado Algoritmos fazem uso tanto de dados rotulados

quanto de dados natildeo rotulados para o treinamento

Normalmente poucos dados rotulados e bastante dados natildeo rotulados

Objetivo fornecer roacutetulos para os dados natildeo rotulados

Em muitos casos o uso de alguns dados rotulados em meio aos dados natildeo rotulados melhora consideravelmente a precisatildeo do aprendizado

bullZhu X Semi-Supervised Learning Literature Survey Technical Report 1530 Computer Sciences University of Wisconsin-Madison 2005bullChapelle O Schoumllkopf B amp Zien A Eds Semi-Supervised Learning Adaptive Computation and Machine Learning Cambridge MA The MIT Press 2006bullAbney S Semisupervised Learning for Computational Linguistics CRC Press 200818

X Zhu ldquoSemi-supervised learning literature surveyrdquo Computer Sciences University of Wisconsin-Madison Tech Rep 1530 2005

Um problema de classificaccedilatildeo binaacuterio em

aprendizado semi-supervisionado

Se assumirmos que cada classe tem

distribuiccedilatildeo Gaussiana podemos usar os dados

natildeo rotulados para ajudar a estimar os

paracircmetros (a) dados rotulados (b) dados

rotulados e natildeo rotulados (c) modelo aprendido a partir dos dados rotulados (d) modelo aprendido a

partir dos dados rotulados e natildeo

rotulados

19

Meacutetodos Baseados em Grafos Aacuterea de pesquisa mais ativa em aprendizado semi-

supervisionado

Dados satildeo representados por noacutes de um grafo onde as arestas satildeo rotuladas com a distacircncia entre os pares de noacutes

Noacutes rotulados satildeo usados para propagar informaccedilatildeo de roacutetulo para os demais

Meacutetodos assumem suavidade de roacutetulos atraveacutes do grafo

20

Exemplo Alunos aprovados em vestibular

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 743 82 Aprovado

2 358 63 Reprovado

3 826 91 Aprovado

4 412 71 Reprovado

5 915 89

6 873 89

7 520 75

8 297 59

9 358 72

10 884 88

11 725 90

12 612 77

Cada aluno eacute um noacute do grafo

Vamos conectar cada noacute com seus 3 vizinhos mais proacuteximos usando a distacircncia euclidiana

11

10

12

87

9

54

6

2

1

3

21

Primeiro vamos normalizar os dados

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 743 82 Aprovado

2 358 63 Reprovado

3 826 91 Aprovado

4 412 71 Reprovado

5 915 89

6 873 89

7 520 75

8 297 59

9 358 72

10 884 88

11 725 90

12 612 77

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 050 029 Aprovado

2 -117 -143 Reprovado

3 086 110 Aprovado

4 -093 -071 Reprovado

5 125 092

6 107 092

7 -046 -035

8 -143 -179

9 -117 -062

10 112 083

11 043 101

12 -006 -017

Dados normalizados meacutedia 0 desvio padratildeo 1

22

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

119889(119894 119895) =2

119909119894 minus 1199091198952+ 119910119894 minus 119910119895

2

1 2 3 4 5 6 7 8 9 10 11 12

1 240 089 175 098 085 116 284 190 082 073 073

2 240 325 076 337 325 129 045 081 321 292 168

3 089 325 255 043 027 196 370 266 037 045 157

4 175 076 255 272 258 059 120 025 256 219 1025 098 337 043 272 018 213 382 287 016 083 171

6 085 325 027 258 018 199 369 271 010 065 157

7 116 129 196 059 213 199 174 075 197 162 044

8 284 045 370 120 382 369 174 121 366 336 213

9 190 081 266 025 287 271 075 121 270 228 119

10 082 321 037 256 016 010 197 366 270 071 154

11 073 292 045 219 083 065 162 336 228 071 127

12 073 168 157 102 171 157 044 213 119 154 127

5

3

7

12

Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em Redes

Descriccedilatildeo do Modelo

Resultados

24

Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em Redes Complexas

Aplicaccedilatildeo em Aprendizado Semi-Supervisionado

Competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas na rede combinado em um esquema uacutenico

Cooperaccedilatildeo Partiacuteculas da mesma classe caminham pela rede de maneira

cooperativa propagando seus roacutetulos

Objetivo Dominar a maior quantidade de noacutes possiacutevel

Competiccedilatildeo Partiacuteculas de classes diferentes competem entre si para

determinar as bordas das classes

Objetivo Evitar a invasatildeo de partiacuteculas de outros times

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming Particle competition and cooperation in networks for semi-supervised learning IEEE Transactions on Knowledge and Data Engineering v24 p1686 - 1698 2012 httpdxdoiorg101109TKDE2011119

25

Configuraccedilatildeo Inicial dos Noacutes

Transforma-se a base de dados em uma rede natildeo direcionada sem peso

Para cada item de dado eacute gerado um noacute na rede

As arestas podem ser geradas usando uma das duas formas

Cada noacute eacute conectado aos vizinhos cuja distacircncia eacute menor que um limiar 120590

Cada noacute eacute conectado aos seus 119948 vizinhos mais proacuteximos

4

26

Configuraccedilatildeo Inicial das Partiacuteculas

Uma partiacutecula eacute gerada para cada noacute rotulado na rede

Este noacute seraacute o noacute casa da partiacutecula correspondente

A posiccedilatildeo inicial de cada partiacutecula eacute ajustada para seu respectivo noacute casa

Partiacuteculas com o mesmo roacutetulo jogam para o mesmo time

4

27

Configuraccedilatildeo Inicial dos Noacutes Cada noacute tem um vetor de domiacutenio

Noacutes rotulados tem niacuteveis de domiacutenio configurados para seus respectivos times Ex [ 1 0 0 0 ] (4 classes noacute rotulado

como classe A)

Noacutes natildeo rotulados tecircm niacuteveis de domiacutenio configurados igualmente para cada time Ex [ 025 025 025 025 ] (4 classes noacute

natildeo rotulado)

002040608

1

002040608

1

119907119894120596ℓ = ൞

1 se 119909119894 eacute rotulado e 119910119894 = ℓ0 se 119909119894 eacute rotulado e 119910119894 ne ℓ

ൗ1 119888 se 119909119894 natildeo eacute rotulado28

Dinacircmica de Noacutes

Quando uma partiacutecula seleciona um vizinho para visitar ela Diminui o niacutevel de domiacutenio de

outros times nesse vizinho

Aumenta o niacutevel de domiacutenio de seu proacuteprio time nesse vizinho

Exceccedilatildeo Niacuteveis de domiacutenio de noacutes

rotulados satildeo fixos

0

05

1

0

05

1

119905

119905 + 1

119907119894120596ℓ 119905 + 1 =

max 0 119907119894120596ℓ 119905 minus

Δ119907120588119895120596 119905

119888 minus 1se 119909119894 natildeo eacute rotulado e ℓ ne 120588119895

119891

119907119894120596ℓ 119905 +

119902neℓ119907119894

120596119902 119905 minus 119907119894

120596119902 119905 + 1 se 119909119894 natildeo eacute rotulado e ℓ = 120588119895119891

119907119894120596ℓ 119905 se 119909119894 eacute rotulado29

Dinacircmica de Partiacuteculas Uma partiacutecula se torna

Forte quando ela visita um noacute dominado por seu time

Fraca quando ela visita um noacute dominado por outro time

0 05 1 0 05 1

01 01 02

06

0 05 1 0 05 1

01

04

0203

120588119895120596 119905 + 1 = 119907119894

120596ℓ 119905 + 1

30

Tabela de Distacircncia Manteacutem a partiacutecula informada da

distacircncia para seu noacute casa Evita que a partiacutecula perca toda sua

forccedila caminhando em territoacuterios inimigos

Manteacutem as partiacuteculas por perto para proteger sua proacutepria vizinhanccedila

Atualizada automaticamente com informaccedilatildeo local Natildeo requer nenhum caacutelculo a priori

4

24

0

1

1

2

33

4

120588119895119889119896 119905 + 1 = ቐ

120588119895119889119894 119905 + 1 se 120588119895

119889119894 119905 + 1 lt 120588119895119889119896 119905

120588119895119889119896 119905 caso contraacuterio31

Caminhada Aleatoacuterio-Gulosa Caminhada Aleatoacuteria

A partiacutecula escolhe aleatoriamente qualquer vizinhos para visitar sem preocupaccedilatildeo com o niacutevel de domiacutenio

Probabilidades iguais para todos os vizinhos

Caminhada Gulosa A partiacutecula prefere visitar noacutes

que ela jaacute domina e noacutes mais proacuteximos de seu noacute casa

Probabilidade de visitar cada vizinho dada pelo niacutevel de domiacutenio e distacircncia

As partiacuteculas precisam exibir ambos os movimentos para que haja um equiliacutebrio entre o comportamento exploratoacuterio e o defensivo

119901 119907119894|120588119895 =119882119902119894

σ120583=1119899 119882119902120583

119901 119907119894|120588119895 =119882119902119894119907119894

120596ℓ 1 + 120588119895119889119894

minus2

σ120583=1119899 119882119902120583 119907120583

120596ℓ 1 + 120588119895

119889120583minus2

CAMINHADA GULOSACAMINHADA ALEATOacuteRIA

Probabilidades no Movimento Guloso

Probabilidades no Movimento Aleatoacuterio

35

18

47

33

33

33

1199071

1199072

1199073

1199074

1199072

1199073

1199074

1199072

1199073

1199074

01 01 02

06

04

0203

01

08

0100

01

33

Choques Uma partiacutecula fica no noacute

visitado somente se o niacutevel de domiacutenio de seu time eacute maior que o dos outros

Caso contraacuterio um choque acontece e a partiacutecula eacute expulsa voltando ao noacute onde estava anteriormente ateacute a proacutexima iteraccedilatildeo

07

03

03

07

0604

0406

34

AlgoritmoConstruir a rede

Configurar os niacuteveis de domiacutenio

Configurar posiccedilatildeo inicial de partiacuteculas e seus correspondentes noacutes-casa

Configurar forccedila da partiacutecula e distacircncia

Repita

Para cada partiacutecula faccedila

Selecione movimento aleatoacuterio ou guloso

Selecione o noacute a ser visitado

Atualize os niacuteveis de domiacutenio do noacute visitado

Atualize a forccedila da partiacutecula

Atualize a tabela de distacircncias

Ateacute que o criteacuterio de parada ou um nuacutemero preacute-definido de passos seja atingido

Rotule cada noacute natildeo rotulado de acordo com o time de partiacuteculas que tiver o maior domiacutenio

35

1 2 3 4

5 6 7 8

9 10 11 12

Voltando ao nosso exemplo dos alunosNo final das iteraccedilotildees

36

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

5

3

7

12

Agora eacute soacute ldquopintarrdquo os noacutes com a classe das partiacuteculas que o dominaram

37

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092 Aprovado

6 873 89 107 092 Aprovado

7 520 75 -046 -035 Reprovado

8 297 59 -143 -179 Reprovado

9 358 72 -117 -062 Reprovado

10 884 88 112 083 Aprovado

11 725 90 043 101 Aprovado

12 612 77 -006 -017 Reprovado

1

11

10

6

8

9

4

2

5

3

7

12

E pronto Todos os dados natildeo rotulados tiveram seus roacutetulos estimados pelo classificador do modelo de partiacuteculas

38

Anaacutelise de complexidade do meacutetodo proposto em rede com meacutedia mistura (a) Nuacutemero de

iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 5119911119900119906119905 lt 119896 gt = 02

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Anaacutelise de complexidade do meacutetodo proposto em rede com

alta mistura (a) Nuacutemero de iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 10119911119900119906119905 lt 119896 gt = 04

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Tamanho da Base de Dados (n)

Tem

po

(se

gun

do

s)

Tempo de execuccedilatildeo de quatro meacutetodos baseados em grafos incluindo o meacutetodo de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas para classificar uma sequencia de bases de dados artificiais com 4 classes com distribuiccedilatildeo Gaussiana com tamanhos crescentes

41

Classificaccedilatildeo de base de dado artificial com 2000

amostras divididas igualmente em duas classes com forma de

banana

Desempenho de Classificaccedilatildeo

42

Classificaccedilatildeo de base de dado artificial com 1000

amostras divididas em duas classes Highleyman

Desempenho de Classificaccedilatildeo

43

Classificaccedilatildeo de base de dado artificial com 1200

amostras divididas emduas classes Lithuanian com 800 e 400 amostras

respectivamente

Desempenho de Classificaccedilatildeo

44

Classificaccedilatildeo de base de dado artificial com 1200

amostras igualmente divididas em trecircs classes

com distribuiccedilatildeo Gaussiana

Desempenho de Classificaccedilatildeo

45

Benchmark - Erros de teste () com 100 pontos de dados rotulados46

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 100 pontos de dados rotulados

Benchmark - Erros de teste () com 10 pontos de dados rotulados48

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 10 pontos de dados rotulados

Erros de classificaccedilatildeo () e tempos de execuccedilatildeo (segundos) de quatro meacutetodos baseados em grafos aplicados em bases de dados grandes

Erros de Classificaccedilatildeo e Tempos de Execuccedilatildeo em Grandes Bases de Dados

50

Extensotildees do Modelo de Partiacuteculas

Detecccedilatildeo de Comunidades SobrepostasAprendizado Semi-Supervisionado com Dados ImperfeitosClassificaccedilatildeo Semi-Supervisionada de Fluxos de DadosAprendizado Ativo e Semi-SupervisionadoSegmentaccedilatildeo de Imagens

51

Extensotildees do Modelo de Partiacuteculas

52

O modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas jaacute foi estendido para realizar diversos tipos de tarefas de aprendizado de maacutequina

Detecccedilatildeo de Comunidades Sobrepostas

Aprendizado Semi-Supervisionado com Dados Imperfeitos

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados

Aprendizado Ativo e Semi-Supervisionado

Segmentaccedilatildeo de Imagens

Detecccedilatildeo de Comunidades Sobrepostas

Breve Fabricio ZHAO Liang Fuzzy community structure detection by particle competition and cooperation Soft Computing (Berlin Print) v 17 p 659-673 2013httpdxdoiorg101007s00500-012-0924-3

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming ParticleCompetition and Cooperation for Uncovering Network Overlap Community Structure In The 8th InternationalSymposium on Neural Networks (ISNN 2011) 2011 Guilin China Lecture Notes in Computer Science Berlin Heidelberg Springer-Verlag 2011 v6677 p426 ndash 433httpdxdoiorg101007978-3-642-21111-9_48

53

Detecccedilatildeo de Comunidades Sobrepostas

Em problemas de classificaccedilatildeo nem sempre os elementos pertencem a um uacutenico grupo

Haacute casos em que elementos pertencem a muacuteltiplas comunidades

Exemplo Redes Sociais

Muacuteltiplos Grupos famiacutelia colegas de trabalho colegas de escola

A maioria dos meacutetodos natildeo consegue detectar tal estrutura de sobreposiccedilatildeo

54Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Esta extensatildeo oferece saiacutedas contiacutenuas atraveacutes de um niacutevel de dominacircncia acumulado

Quantifica a dominacircncia de cada time de partiacuteculas sobre os noacutes ao longo de toda a execuccedilatildeo do algoritmo O niacutevel de dominacircncia acumulado inicia em zero para todas as

classes e eacute aumentado somente quando o movimento aleatoacuterio eacute selecionado na classe correspondente agrave partiacutecula

Nunca diminui

119907119894120582ℓ 119905 + 1 = 119907119894

120582ℓ 119905 + 120588119895120596 119905

55

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 14: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Aprendizado Natildeo Supervisionado Algoritmos buscam determinar como os dados estatildeo

organizados

Dados de treinamento consistem apenas de exemplos de entrada sem roacutetulos ou valores de saiacuteda

Objetivo encontrar padrotildees no espaccedilo de entradas

Uma das formas de atingir este objetivo eacute observar quais satildeo as regiotildees com maior e menor densidade de dados

bullAlpaydin E Introduction to machine learning MIT Press 2004bullDuda R O Hart P E amp Stork D G Pattern Classification (2nd Edition) Wiley-Interscience 2000

14

Onde abrir pizzarias

Exemplo adaptado dehttpswwwyoutubecomwatchv=IpGxLWOIZy4

15

Onde abrir pizzarias

16

Onde abrir pizzarias

17

Aprendizado Semi-Supervisionado Algoritmos fazem uso tanto de dados rotulados

quanto de dados natildeo rotulados para o treinamento

Normalmente poucos dados rotulados e bastante dados natildeo rotulados

Objetivo fornecer roacutetulos para os dados natildeo rotulados

Em muitos casos o uso de alguns dados rotulados em meio aos dados natildeo rotulados melhora consideravelmente a precisatildeo do aprendizado

bullZhu X Semi-Supervised Learning Literature Survey Technical Report 1530 Computer Sciences University of Wisconsin-Madison 2005bullChapelle O Schoumllkopf B amp Zien A Eds Semi-Supervised Learning Adaptive Computation and Machine Learning Cambridge MA The MIT Press 2006bullAbney S Semisupervised Learning for Computational Linguistics CRC Press 200818

X Zhu ldquoSemi-supervised learning literature surveyrdquo Computer Sciences University of Wisconsin-Madison Tech Rep 1530 2005

Um problema de classificaccedilatildeo binaacuterio em

aprendizado semi-supervisionado

Se assumirmos que cada classe tem

distribuiccedilatildeo Gaussiana podemos usar os dados

natildeo rotulados para ajudar a estimar os

paracircmetros (a) dados rotulados (b) dados

rotulados e natildeo rotulados (c) modelo aprendido a partir dos dados rotulados (d) modelo aprendido a

partir dos dados rotulados e natildeo

rotulados

19

Meacutetodos Baseados em Grafos Aacuterea de pesquisa mais ativa em aprendizado semi-

supervisionado

Dados satildeo representados por noacutes de um grafo onde as arestas satildeo rotuladas com a distacircncia entre os pares de noacutes

Noacutes rotulados satildeo usados para propagar informaccedilatildeo de roacutetulo para os demais

Meacutetodos assumem suavidade de roacutetulos atraveacutes do grafo

20

Exemplo Alunos aprovados em vestibular

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 743 82 Aprovado

2 358 63 Reprovado

3 826 91 Aprovado

4 412 71 Reprovado

5 915 89

6 873 89

7 520 75

8 297 59

9 358 72

10 884 88

11 725 90

12 612 77

Cada aluno eacute um noacute do grafo

Vamos conectar cada noacute com seus 3 vizinhos mais proacuteximos usando a distacircncia euclidiana

11

10

12

87

9

54

6

2

1

3

21

Primeiro vamos normalizar os dados

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 743 82 Aprovado

2 358 63 Reprovado

3 826 91 Aprovado

4 412 71 Reprovado

5 915 89

6 873 89

7 520 75

8 297 59

9 358 72

10 884 88

11 725 90

12 612 77

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 050 029 Aprovado

2 -117 -143 Reprovado

3 086 110 Aprovado

4 -093 -071 Reprovado

5 125 092

6 107 092

7 -046 -035

8 -143 -179

9 -117 -062

10 112 083

11 043 101

12 -006 -017

Dados normalizados meacutedia 0 desvio padratildeo 1

22

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

119889(119894 119895) =2

119909119894 minus 1199091198952+ 119910119894 minus 119910119895

2

1 2 3 4 5 6 7 8 9 10 11 12

1 240 089 175 098 085 116 284 190 082 073 073

2 240 325 076 337 325 129 045 081 321 292 168

3 089 325 255 043 027 196 370 266 037 045 157

4 175 076 255 272 258 059 120 025 256 219 1025 098 337 043 272 018 213 382 287 016 083 171

6 085 325 027 258 018 199 369 271 010 065 157

7 116 129 196 059 213 199 174 075 197 162 044

8 284 045 370 120 382 369 174 121 366 336 213

9 190 081 266 025 287 271 075 121 270 228 119

10 082 321 037 256 016 010 197 366 270 071 154

11 073 292 045 219 083 065 162 336 228 071 127

12 073 168 157 102 171 157 044 213 119 154 127

5

3

7

12

Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em Redes

Descriccedilatildeo do Modelo

Resultados

24

Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em Redes Complexas

Aplicaccedilatildeo em Aprendizado Semi-Supervisionado

Competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas na rede combinado em um esquema uacutenico

Cooperaccedilatildeo Partiacuteculas da mesma classe caminham pela rede de maneira

cooperativa propagando seus roacutetulos

Objetivo Dominar a maior quantidade de noacutes possiacutevel

Competiccedilatildeo Partiacuteculas de classes diferentes competem entre si para

determinar as bordas das classes

Objetivo Evitar a invasatildeo de partiacuteculas de outros times

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming Particle competition and cooperation in networks for semi-supervised learning IEEE Transactions on Knowledge and Data Engineering v24 p1686 - 1698 2012 httpdxdoiorg101109TKDE2011119

25

Configuraccedilatildeo Inicial dos Noacutes

Transforma-se a base de dados em uma rede natildeo direcionada sem peso

Para cada item de dado eacute gerado um noacute na rede

As arestas podem ser geradas usando uma das duas formas

Cada noacute eacute conectado aos vizinhos cuja distacircncia eacute menor que um limiar 120590

Cada noacute eacute conectado aos seus 119948 vizinhos mais proacuteximos

4

26

Configuraccedilatildeo Inicial das Partiacuteculas

Uma partiacutecula eacute gerada para cada noacute rotulado na rede

Este noacute seraacute o noacute casa da partiacutecula correspondente

A posiccedilatildeo inicial de cada partiacutecula eacute ajustada para seu respectivo noacute casa

Partiacuteculas com o mesmo roacutetulo jogam para o mesmo time

4

27

Configuraccedilatildeo Inicial dos Noacutes Cada noacute tem um vetor de domiacutenio

Noacutes rotulados tem niacuteveis de domiacutenio configurados para seus respectivos times Ex [ 1 0 0 0 ] (4 classes noacute rotulado

como classe A)

Noacutes natildeo rotulados tecircm niacuteveis de domiacutenio configurados igualmente para cada time Ex [ 025 025 025 025 ] (4 classes noacute

natildeo rotulado)

002040608

1

002040608

1

119907119894120596ℓ = ൞

1 se 119909119894 eacute rotulado e 119910119894 = ℓ0 se 119909119894 eacute rotulado e 119910119894 ne ℓ

ൗ1 119888 se 119909119894 natildeo eacute rotulado28

Dinacircmica de Noacutes

Quando uma partiacutecula seleciona um vizinho para visitar ela Diminui o niacutevel de domiacutenio de

outros times nesse vizinho

Aumenta o niacutevel de domiacutenio de seu proacuteprio time nesse vizinho

Exceccedilatildeo Niacuteveis de domiacutenio de noacutes

rotulados satildeo fixos

0

05

1

0

05

1

119905

119905 + 1

119907119894120596ℓ 119905 + 1 =

max 0 119907119894120596ℓ 119905 minus

Δ119907120588119895120596 119905

119888 minus 1se 119909119894 natildeo eacute rotulado e ℓ ne 120588119895

119891

119907119894120596ℓ 119905 +

119902neℓ119907119894

120596119902 119905 minus 119907119894

120596119902 119905 + 1 se 119909119894 natildeo eacute rotulado e ℓ = 120588119895119891

119907119894120596ℓ 119905 se 119909119894 eacute rotulado29

Dinacircmica de Partiacuteculas Uma partiacutecula se torna

Forte quando ela visita um noacute dominado por seu time

Fraca quando ela visita um noacute dominado por outro time

0 05 1 0 05 1

01 01 02

06

0 05 1 0 05 1

01

04

0203

120588119895120596 119905 + 1 = 119907119894

120596ℓ 119905 + 1

30

Tabela de Distacircncia Manteacutem a partiacutecula informada da

distacircncia para seu noacute casa Evita que a partiacutecula perca toda sua

forccedila caminhando em territoacuterios inimigos

Manteacutem as partiacuteculas por perto para proteger sua proacutepria vizinhanccedila

Atualizada automaticamente com informaccedilatildeo local Natildeo requer nenhum caacutelculo a priori

4

24

0

1

1

2

33

4

120588119895119889119896 119905 + 1 = ቐ

120588119895119889119894 119905 + 1 se 120588119895

119889119894 119905 + 1 lt 120588119895119889119896 119905

120588119895119889119896 119905 caso contraacuterio31

Caminhada Aleatoacuterio-Gulosa Caminhada Aleatoacuteria

A partiacutecula escolhe aleatoriamente qualquer vizinhos para visitar sem preocupaccedilatildeo com o niacutevel de domiacutenio

Probabilidades iguais para todos os vizinhos

Caminhada Gulosa A partiacutecula prefere visitar noacutes

que ela jaacute domina e noacutes mais proacuteximos de seu noacute casa

Probabilidade de visitar cada vizinho dada pelo niacutevel de domiacutenio e distacircncia

As partiacuteculas precisam exibir ambos os movimentos para que haja um equiliacutebrio entre o comportamento exploratoacuterio e o defensivo

119901 119907119894|120588119895 =119882119902119894

σ120583=1119899 119882119902120583

119901 119907119894|120588119895 =119882119902119894119907119894

120596ℓ 1 + 120588119895119889119894

minus2

σ120583=1119899 119882119902120583 119907120583

120596ℓ 1 + 120588119895

119889120583minus2

CAMINHADA GULOSACAMINHADA ALEATOacuteRIA

Probabilidades no Movimento Guloso

Probabilidades no Movimento Aleatoacuterio

35

18

47

33

33

33

1199071

1199072

1199073

1199074

1199072

1199073

1199074

1199072

1199073

1199074

01 01 02

06

04

0203

01

08

0100

01

33

Choques Uma partiacutecula fica no noacute

visitado somente se o niacutevel de domiacutenio de seu time eacute maior que o dos outros

Caso contraacuterio um choque acontece e a partiacutecula eacute expulsa voltando ao noacute onde estava anteriormente ateacute a proacutexima iteraccedilatildeo

07

03

03

07

0604

0406

34

AlgoritmoConstruir a rede

Configurar os niacuteveis de domiacutenio

Configurar posiccedilatildeo inicial de partiacuteculas e seus correspondentes noacutes-casa

Configurar forccedila da partiacutecula e distacircncia

Repita

Para cada partiacutecula faccedila

Selecione movimento aleatoacuterio ou guloso

Selecione o noacute a ser visitado

Atualize os niacuteveis de domiacutenio do noacute visitado

Atualize a forccedila da partiacutecula

Atualize a tabela de distacircncias

Ateacute que o criteacuterio de parada ou um nuacutemero preacute-definido de passos seja atingido

Rotule cada noacute natildeo rotulado de acordo com o time de partiacuteculas que tiver o maior domiacutenio

35

1 2 3 4

5 6 7 8

9 10 11 12

Voltando ao nosso exemplo dos alunosNo final das iteraccedilotildees

36

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

5

3

7

12

Agora eacute soacute ldquopintarrdquo os noacutes com a classe das partiacuteculas que o dominaram

37

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092 Aprovado

6 873 89 107 092 Aprovado

7 520 75 -046 -035 Reprovado

8 297 59 -143 -179 Reprovado

9 358 72 -117 -062 Reprovado

10 884 88 112 083 Aprovado

11 725 90 043 101 Aprovado

12 612 77 -006 -017 Reprovado

1

11

10

6

8

9

4

2

5

3

7

12

E pronto Todos os dados natildeo rotulados tiveram seus roacutetulos estimados pelo classificador do modelo de partiacuteculas

38

Anaacutelise de complexidade do meacutetodo proposto em rede com meacutedia mistura (a) Nuacutemero de

iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 5119911119900119906119905 lt 119896 gt = 02

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Anaacutelise de complexidade do meacutetodo proposto em rede com

alta mistura (a) Nuacutemero de iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 10119911119900119906119905 lt 119896 gt = 04

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Tamanho da Base de Dados (n)

Tem

po

(se

gun

do

s)

Tempo de execuccedilatildeo de quatro meacutetodos baseados em grafos incluindo o meacutetodo de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas para classificar uma sequencia de bases de dados artificiais com 4 classes com distribuiccedilatildeo Gaussiana com tamanhos crescentes

41

Classificaccedilatildeo de base de dado artificial com 2000

amostras divididas igualmente em duas classes com forma de

banana

Desempenho de Classificaccedilatildeo

42

Classificaccedilatildeo de base de dado artificial com 1000

amostras divididas em duas classes Highleyman

Desempenho de Classificaccedilatildeo

43

Classificaccedilatildeo de base de dado artificial com 1200

amostras divididas emduas classes Lithuanian com 800 e 400 amostras

respectivamente

Desempenho de Classificaccedilatildeo

44

Classificaccedilatildeo de base de dado artificial com 1200

amostras igualmente divididas em trecircs classes

com distribuiccedilatildeo Gaussiana

Desempenho de Classificaccedilatildeo

45

Benchmark - Erros de teste () com 100 pontos de dados rotulados46

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 100 pontos de dados rotulados

Benchmark - Erros de teste () com 10 pontos de dados rotulados48

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 10 pontos de dados rotulados

Erros de classificaccedilatildeo () e tempos de execuccedilatildeo (segundos) de quatro meacutetodos baseados em grafos aplicados em bases de dados grandes

Erros de Classificaccedilatildeo e Tempos de Execuccedilatildeo em Grandes Bases de Dados

50

Extensotildees do Modelo de Partiacuteculas

Detecccedilatildeo de Comunidades SobrepostasAprendizado Semi-Supervisionado com Dados ImperfeitosClassificaccedilatildeo Semi-Supervisionada de Fluxos de DadosAprendizado Ativo e Semi-SupervisionadoSegmentaccedilatildeo de Imagens

51

Extensotildees do Modelo de Partiacuteculas

52

O modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas jaacute foi estendido para realizar diversos tipos de tarefas de aprendizado de maacutequina

Detecccedilatildeo de Comunidades Sobrepostas

Aprendizado Semi-Supervisionado com Dados Imperfeitos

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados

Aprendizado Ativo e Semi-Supervisionado

Segmentaccedilatildeo de Imagens

Detecccedilatildeo de Comunidades Sobrepostas

Breve Fabricio ZHAO Liang Fuzzy community structure detection by particle competition and cooperation Soft Computing (Berlin Print) v 17 p 659-673 2013httpdxdoiorg101007s00500-012-0924-3

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming ParticleCompetition and Cooperation for Uncovering Network Overlap Community Structure In The 8th InternationalSymposium on Neural Networks (ISNN 2011) 2011 Guilin China Lecture Notes in Computer Science Berlin Heidelberg Springer-Verlag 2011 v6677 p426 ndash 433httpdxdoiorg101007978-3-642-21111-9_48

53

Detecccedilatildeo de Comunidades Sobrepostas

Em problemas de classificaccedilatildeo nem sempre os elementos pertencem a um uacutenico grupo

Haacute casos em que elementos pertencem a muacuteltiplas comunidades

Exemplo Redes Sociais

Muacuteltiplos Grupos famiacutelia colegas de trabalho colegas de escola

A maioria dos meacutetodos natildeo consegue detectar tal estrutura de sobreposiccedilatildeo

54Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Esta extensatildeo oferece saiacutedas contiacutenuas atraveacutes de um niacutevel de dominacircncia acumulado

Quantifica a dominacircncia de cada time de partiacuteculas sobre os noacutes ao longo de toda a execuccedilatildeo do algoritmo O niacutevel de dominacircncia acumulado inicia em zero para todas as

classes e eacute aumentado somente quando o movimento aleatoacuterio eacute selecionado na classe correspondente agrave partiacutecula

Nunca diminui

119907119894120582ℓ 119905 + 1 = 119907119894

120582ℓ 119905 + 120588119895120596 119905

55

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 15: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Onde abrir pizzarias

Exemplo adaptado dehttpswwwyoutubecomwatchv=IpGxLWOIZy4

15

Onde abrir pizzarias

16

Onde abrir pizzarias

17

Aprendizado Semi-Supervisionado Algoritmos fazem uso tanto de dados rotulados

quanto de dados natildeo rotulados para o treinamento

Normalmente poucos dados rotulados e bastante dados natildeo rotulados

Objetivo fornecer roacutetulos para os dados natildeo rotulados

Em muitos casos o uso de alguns dados rotulados em meio aos dados natildeo rotulados melhora consideravelmente a precisatildeo do aprendizado

bullZhu X Semi-Supervised Learning Literature Survey Technical Report 1530 Computer Sciences University of Wisconsin-Madison 2005bullChapelle O Schoumllkopf B amp Zien A Eds Semi-Supervised Learning Adaptive Computation and Machine Learning Cambridge MA The MIT Press 2006bullAbney S Semisupervised Learning for Computational Linguistics CRC Press 200818

X Zhu ldquoSemi-supervised learning literature surveyrdquo Computer Sciences University of Wisconsin-Madison Tech Rep 1530 2005

Um problema de classificaccedilatildeo binaacuterio em

aprendizado semi-supervisionado

Se assumirmos que cada classe tem

distribuiccedilatildeo Gaussiana podemos usar os dados

natildeo rotulados para ajudar a estimar os

paracircmetros (a) dados rotulados (b) dados

rotulados e natildeo rotulados (c) modelo aprendido a partir dos dados rotulados (d) modelo aprendido a

partir dos dados rotulados e natildeo

rotulados

19

Meacutetodos Baseados em Grafos Aacuterea de pesquisa mais ativa em aprendizado semi-

supervisionado

Dados satildeo representados por noacutes de um grafo onde as arestas satildeo rotuladas com a distacircncia entre os pares de noacutes

Noacutes rotulados satildeo usados para propagar informaccedilatildeo de roacutetulo para os demais

Meacutetodos assumem suavidade de roacutetulos atraveacutes do grafo

20

Exemplo Alunos aprovados em vestibular

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 743 82 Aprovado

2 358 63 Reprovado

3 826 91 Aprovado

4 412 71 Reprovado

5 915 89

6 873 89

7 520 75

8 297 59

9 358 72

10 884 88

11 725 90

12 612 77

Cada aluno eacute um noacute do grafo

Vamos conectar cada noacute com seus 3 vizinhos mais proacuteximos usando a distacircncia euclidiana

11

10

12

87

9

54

6

2

1

3

21

Primeiro vamos normalizar os dados

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 743 82 Aprovado

2 358 63 Reprovado

3 826 91 Aprovado

4 412 71 Reprovado

5 915 89

6 873 89

7 520 75

8 297 59

9 358 72

10 884 88

11 725 90

12 612 77

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 050 029 Aprovado

2 -117 -143 Reprovado

3 086 110 Aprovado

4 -093 -071 Reprovado

5 125 092

6 107 092

7 -046 -035

8 -143 -179

9 -117 -062

10 112 083

11 043 101

12 -006 -017

Dados normalizados meacutedia 0 desvio padratildeo 1

22

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

119889(119894 119895) =2

119909119894 minus 1199091198952+ 119910119894 minus 119910119895

2

1 2 3 4 5 6 7 8 9 10 11 12

1 240 089 175 098 085 116 284 190 082 073 073

2 240 325 076 337 325 129 045 081 321 292 168

3 089 325 255 043 027 196 370 266 037 045 157

4 175 076 255 272 258 059 120 025 256 219 1025 098 337 043 272 018 213 382 287 016 083 171

6 085 325 027 258 018 199 369 271 010 065 157

7 116 129 196 059 213 199 174 075 197 162 044

8 284 045 370 120 382 369 174 121 366 336 213

9 190 081 266 025 287 271 075 121 270 228 119

10 082 321 037 256 016 010 197 366 270 071 154

11 073 292 045 219 083 065 162 336 228 071 127

12 073 168 157 102 171 157 044 213 119 154 127

5

3

7

12

Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em Redes

Descriccedilatildeo do Modelo

Resultados

24

Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em Redes Complexas

Aplicaccedilatildeo em Aprendizado Semi-Supervisionado

Competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas na rede combinado em um esquema uacutenico

Cooperaccedilatildeo Partiacuteculas da mesma classe caminham pela rede de maneira

cooperativa propagando seus roacutetulos

Objetivo Dominar a maior quantidade de noacutes possiacutevel

Competiccedilatildeo Partiacuteculas de classes diferentes competem entre si para

determinar as bordas das classes

Objetivo Evitar a invasatildeo de partiacuteculas de outros times

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming Particle competition and cooperation in networks for semi-supervised learning IEEE Transactions on Knowledge and Data Engineering v24 p1686 - 1698 2012 httpdxdoiorg101109TKDE2011119

25

Configuraccedilatildeo Inicial dos Noacutes

Transforma-se a base de dados em uma rede natildeo direcionada sem peso

Para cada item de dado eacute gerado um noacute na rede

As arestas podem ser geradas usando uma das duas formas

Cada noacute eacute conectado aos vizinhos cuja distacircncia eacute menor que um limiar 120590

Cada noacute eacute conectado aos seus 119948 vizinhos mais proacuteximos

4

26

Configuraccedilatildeo Inicial das Partiacuteculas

Uma partiacutecula eacute gerada para cada noacute rotulado na rede

Este noacute seraacute o noacute casa da partiacutecula correspondente

A posiccedilatildeo inicial de cada partiacutecula eacute ajustada para seu respectivo noacute casa

Partiacuteculas com o mesmo roacutetulo jogam para o mesmo time

4

27

Configuraccedilatildeo Inicial dos Noacutes Cada noacute tem um vetor de domiacutenio

Noacutes rotulados tem niacuteveis de domiacutenio configurados para seus respectivos times Ex [ 1 0 0 0 ] (4 classes noacute rotulado

como classe A)

Noacutes natildeo rotulados tecircm niacuteveis de domiacutenio configurados igualmente para cada time Ex [ 025 025 025 025 ] (4 classes noacute

natildeo rotulado)

002040608

1

002040608

1

119907119894120596ℓ = ൞

1 se 119909119894 eacute rotulado e 119910119894 = ℓ0 se 119909119894 eacute rotulado e 119910119894 ne ℓ

ൗ1 119888 se 119909119894 natildeo eacute rotulado28

Dinacircmica de Noacutes

Quando uma partiacutecula seleciona um vizinho para visitar ela Diminui o niacutevel de domiacutenio de

outros times nesse vizinho

Aumenta o niacutevel de domiacutenio de seu proacuteprio time nesse vizinho

Exceccedilatildeo Niacuteveis de domiacutenio de noacutes

rotulados satildeo fixos

0

05

1

0

05

1

119905

119905 + 1

119907119894120596ℓ 119905 + 1 =

max 0 119907119894120596ℓ 119905 minus

Δ119907120588119895120596 119905

119888 minus 1se 119909119894 natildeo eacute rotulado e ℓ ne 120588119895

119891

119907119894120596ℓ 119905 +

119902neℓ119907119894

120596119902 119905 minus 119907119894

120596119902 119905 + 1 se 119909119894 natildeo eacute rotulado e ℓ = 120588119895119891

119907119894120596ℓ 119905 se 119909119894 eacute rotulado29

Dinacircmica de Partiacuteculas Uma partiacutecula se torna

Forte quando ela visita um noacute dominado por seu time

Fraca quando ela visita um noacute dominado por outro time

0 05 1 0 05 1

01 01 02

06

0 05 1 0 05 1

01

04

0203

120588119895120596 119905 + 1 = 119907119894

120596ℓ 119905 + 1

30

Tabela de Distacircncia Manteacutem a partiacutecula informada da

distacircncia para seu noacute casa Evita que a partiacutecula perca toda sua

forccedila caminhando em territoacuterios inimigos

Manteacutem as partiacuteculas por perto para proteger sua proacutepria vizinhanccedila

Atualizada automaticamente com informaccedilatildeo local Natildeo requer nenhum caacutelculo a priori

4

24

0

1

1

2

33

4

120588119895119889119896 119905 + 1 = ቐ

120588119895119889119894 119905 + 1 se 120588119895

119889119894 119905 + 1 lt 120588119895119889119896 119905

120588119895119889119896 119905 caso contraacuterio31

Caminhada Aleatoacuterio-Gulosa Caminhada Aleatoacuteria

A partiacutecula escolhe aleatoriamente qualquer vizinhos para visitar sem preocupaccedilatildeo com o niacutevel de domiacutenio

Probabilidades iguais para todos os vizinhos

Caminhada Gulosa A partiacutecula prefere visitar noacutes

que ela jaacute domina e noacutes mais proacuteximos de seu noacute casa

Probabilidade de visitar cada vizinho dada pelo niacutevel de domiacutenio e distacircncia

As partiacuteculas precisam exibir ambos os movimentos para que haja um equiliacutebrio entre o comportamento exploratoacuterio e o defensivo

119901 119907119894|120588119895 =119882119902119894

σ120583=1119899 119882119902120583

119901 119907119894|120588119895 =119882119902119894119907119894

120596ℓ 1 + 120588119895119889119894

minus2

σ120583=1119899 119882119902120583 119907120583

120596ℓ 1 + 120588119895

119889120583minus2

CAMINHADA GULOSACAMINHADA ALEATOacuteRIA

Probabilidades no Movimento Guloso

Probabilidades no Movimento Aleatoacuterio

35

18

47

33

33

33

1199071

1199072

1199073

1199074

1199072

1199073

1199074

1199072

1199073

1199074

01 01 02

06

04

0203

01

08

0100

01

33

Choques Uma partiacutecula fica no noacute

visitado somente se o niacutevel de domiacutenio de seu time eacute maior que o dos outros

Caso contraacuterio um choque acontece e a partiacutecula eacute expulsa voltando ao noacute onde estava anteriormente ateacute a proacutexima iteraccedilatildeo

07

03

03

07

0604

0406

34

AlgoritmoConstruir a rede

Configurar os niacuteveis de domiacutenio

Configurar posiccedilatildeo inicial de partiacuteculas e seus correspondentes noacutes-casa

Configurar forccedila da partiacutecula e distacircncia

Repita

Para cada partiacutecula faccedila

Selecione movimento aleatoacuterio ou guloso

Selecione o noacute a ser visitado

Atualize os niacuteveis de domiacutenio do noacute visitado

Atualize a forccedila da partiacutecula

Atualize a tabela de distacircncias

Ateacute que o criteacuterio de parada ou um nuacutemero preacute-definido de passos seja atingido

Rotule cada noacute natildeo rotulado de acordo com o time de partiacuteculas que tiver o maior domiacutenio

35

1 2 3 4

5 6 7 8

9 10 11 12

Voltando ao nosso exemplo dos alunosNo final das iteraccedilotildees

36

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

5

3

7

12

Agora eacute soacute ldquopintarrdquo os noacutes com a classe das partiacuteculas que o dominaram

37

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092 Aprovado

6 873 89 107 092 Aprovado

7 520 75 -046 -035 Reprovado

8 297 59 -143 -179 Reprovado

9 358 72 -117 -062 Reprovado

10 884 88 112 083 Aprovado

11 725 90 043 101 Aprovado

12 612 77 -006 -017 Reprovado

1

11

10

6

8

9

4

2

5

3

7

12

E pronto Todos os dados natildeo rotulados tiveram seus roacutetulos estimados pelo classificador do modelo de partiacuteculas

38

Anaacutelise de complexidade do meacutetodo proposto em rede com meacutedia mistura (a) Nuacutemero de

iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 5119911119900119906119905 lt 119896 gt = 02

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Anaacutelise de complexidade do meacutetodo proposto em rede com

alta mistura (a) Nuacutemero de iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 10119911119900119906119905 lt 119896 gt = 04

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Tamanho da Base de Dados (n)

Tem

po

(se

gun

do

s)

Tempo de execuccedilatildeo de quatro meacutetodos baseados em grafos incluindo o meacutetodo de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas para classificar uma sequencia de bases de dados artificiais com 4 classes com distribuiccedilatildeo Gaussiana com tamanhos crescentes

41

Classificaccedilatildeo de base de dado artificial com 2000

amostras divididas igualmente em duas classes com forma de

banana

Desempenho de Classificaccedilatildeo

42

Classificaccedilatildeo de base de dado artificial com 1000

amostras divididas em duas classes Highleyman

Desempenho de Classificaccedilatildeo

43

Classificaccedilatildeo de base de dado artificial com 1200

amostras divididas emduas classes Lithuanian com 800 e 400 amostras

respectivamente

Desempenho de Classificaccedilatildeo

44

Classificaccedilatildeo de base de dado artificial com 1200

amostras igualmente divididas em trecircs classes

com distribuiccedilatildeo Gaussiana

Desempenho de Classificaccedilatildeo

45

Benchmark - Erros de teste () com 100 pontos de dados rotulados46

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 100 pontos de dados rotulados

Benchmark - Erros de teste () com 10 pontos de dados rotulados48

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 10 pontos de dados rotulados

Erros de classificaccedilatildeo () e tempos de execuccedilatildeo (segundos) de quatro meacutetodos baseados em grafos aplicados em bases de dados grandes

Erros de Classificaccedilatildeo e Tempos de Execuccedilatildeo em Grandes Bases de Dados

50

Extensotildees do Modelo de Partiacuteculas

Detecccedilatildeo de Comunidades SobrepostasAprendizado Semi-Supervisionado com Dados ImperfeitosClassificaccedilatildeo Semi-Supervisionada de Fluxos de DadosAprendizado Ativo e Semi-SupervisionadoSegmentaccedilatildeo de Imagens

51

Extensotildees do Modelo de Partiacuteculas

52

O modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas jaacute foi estendido para realizar diversos tipos de tarefas de aprendizado de maacutequina

Detecccedilatildeo de Comunidades Sobrepostas

Aprendizado Semi-Supervisionado com Dados Imperfeitos

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados

Aprendizado Ativo e Semi-Supervisionado

Segmentaccedilatildeo de Imagens

Detecccedilatildeo de Comunidades Sobrepostas

Breve Fabricio ZHAO Liang Fuzzy community structure detection by particle competition and cooperation Soft Computing (Berlin Print) v 17 p 659-673 2013httpdxdoiorg101007s00500-012-0924-3

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming ParticleCompetition and Cooperation for Uncovering Network Overlap Community Structure In The 8th InternationalSymposium on Neural Networks (ISNN 2011) 2011 Guilin China Lecture Notes in Computer Science Berlin Heidelberg Springer-Verlag 2011 v6677 p426 ndash 433httpdxdoiorg101007978-3-642-21111-9_48

53

Detecccedilatildeo de Comunidades Sobrepostas

Em problemas de classificaccedilatildeo nem sempre os elementos pertencem a um uacutenico grupo

Haacute casos em que elementos pertencem a muacuteltiplas comunidades

Exemplo Redes Sociais

Muacuteltiplos Grupos famiacutelia colegas de trabalho colegas de escola

A maioria dos meacutetodos natildeo consegue detectar tal estrutura de sobreposiccedilatildeo

54Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Esta extensatildeo oferece saiacutedas contiacutenuas atraveacutes de um niacutevel de dominacircncia acumulado

Quantifica a dominacircncia de cada time de partiacuteculas sobre os noacutes ao longo de toda a execuccedilatildeo do algoritmo O niacutevel de dominacircncia acumulado inicia em zero para todas as

classes e eacute aumentado somente quando o movimento aleatoacuterio eacute selecionado na classe correspondente agrave partiacutecula

Nunca diminui

119907119894120582ℓ 119905 + 1 = 119907119894

120582ℓ 119905 + 120588119895120596 119905

55

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 16: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Onde abrir pizzarias

16

Onde abrir pizzarias

17

Aprendizado Semi-Supervisionado Algoritmos fazem uso tanto de dados rotulados

quanto de dados natildeo rotulados para o treinamento

Normalmente poucos dados rotulados e bastante dados natildeo rotulados

Objetivo fornecer roacutetulos para os dados natildeo rotulados

Em muitos casos o uso de alguns dados rotulados em meio aos dados natildeo rotulados melhora consideravelmente a precisatildeo do aprendizado

bullZhu X Semi-Supervised Learning Literature Survey Technical Report 1530 Computer Sciences University of Wisconsin-Madison 2005bullChapelle O Schoumllkopf B amp Zien A Eds Semi-Supervised Learning Adaptive Computation and Machine Learning Cambridge MA The MIT Press 2006bullAbney S Semisupervised Learning for Computational Linguistics CRC Press 200818

X Zhu ldquoSemi-supervised learning literature surveyrdquo Computer Sciences University of Wisconsin-Madison Tech Rep 1530 2005

Um problema de classificaccedilatildeo binaacuterio em

aprendizado semi-supervisionado

Se assumirmos que cada classe tem

distribuiccedilatildeo Gaussiana podemos usar os dados

natildeo rotulados para ajudar a estimar os

paracircmetros (a) dados rotulados (b) dados

rotulados e natildeo rotulados (c) modelo aprendido a partir dos dados rotulados (d) modelo aprendido a

partir dos dados rotulados e natildeo

rotulados

19

Meacutetodos Baseados em Grafos Aacuterea de pesquisa mais ativa em aprendizado semi-

supervisionado

Dados satildeo representados por noacutes de um grafo onde as arestas satildeo rotuladas com a distacircncia entre os pares de noacutes

Noacutes rotulados satildeo usados para propagar informaccedilatildeo de roacutetulo para os demais

Meacutetodos assumem suavidade de roacutetulos atraveacutes do grafo

20

Exemplo Alunos aprovados em vestibular

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 743 82 Aprovado

2 358 63 Reprovado

3 826 91 Aprovado

4 412 71 Reprovado

5 915 89

6 873 89

7 520 75

8 297 59

9 358 72

10 884 88

11 725 90

12 612 77

Cada aluno eacute um noacute do grafo

Vamos conectar cada noacute com seus 3 vizinhos mais proacuteximos usando a distacircncia euclidiana

11

10

12

87

9

54

6

2

1

3

21

Primeiro vamos normalizar os dados

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 743 82 Aprovado

2 358 63 Reprovado

3 826 91 Aprovado

4 412 71 Reprovado

5 915 89

6 873 89

7 520 75

8 297 59

9 358 72

10 884 88

11 725 90

12 612 77

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 050 029 Aprovado

2 -117 -143 Reprovado

3 086 110 Aprovado

4 -093 -071 Reprovado

5 125 092

6 107 092

7 -046 -035

8 -143 -179

9 -117 -062

10 112 083

11 043 101

12 -006 -017

Dados normalizados meacutedia 0 desvio padratildeo 1

22

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

119889(119894 119895) =2

119909119894 minus 1199091198952+ 119910119894 minus 119910119895

2

1 2 3 4 5 6 7 8 9 10 11 12

1 240 089 175 098 085 116 284 190 082 073 073

2 240 325 076 337 325 129 045 081 321 292 168

3 089 325 255 043 027 196 370 266 037 045 157

4 175 076 255 272 258 059 120 025 256 219 1025 098 337 043 272 018 213 382 287 016 083 171

6 085 325 027 258 018 199 369 271 010 065 157

7 116 129 196 059 213 199 174 075 197 162 044

8 284 045 370 120 382 369 174 121 366 336 213

9 190 081 266 025 287 271 075 121 270 228 119

10 082 321 037 256 016 010 197 366 270 071 154

11 073 292 045 219 083 065 162 336 228 071 127

12 073 168 157 102 171 157 044 213 119 154 127

5

3

7

12

Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em Redes

Descriccedilatildeo do Modelo

Resultados

24

Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em Redes Complexas

Aplicaccedilatildeo em Aprendizado Semi-Supervisionado

Competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas na rede combinado em um esquema uacutenico

Cooperaccedilatildeo Partiacuteculas da mesma classe caminham pela rede de maneira

cooperativa propagando seus roacutetulos

Objetivo Dominar a maior quantidade de noacutes possiacutevel

Competiccedilatildeo Partiacuteculas de classes diferentes competem entre si para

determinar as bordas das classes

Objetivo Evitar a invasatildeo de partiacuteculas de outros times

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming Particle competition and cooperation in networks for semi-supervised learning IEEE Transactions on Knowledge and Data Engineering v24 p1686 - 1698 2012 httpdxdoiorg101109TKDE2011119

25

Configuraccedilatildeo Inicial dos Noacutes

Transforma-se a base de dados em uma rede natildeo direcionada sem peso

Para cada item de dado eacute gerado um noacute na rede

As arestas podem ser geradas usando uma das duas formas

Cada noacute eacute conectado aos vizinhos cuja distacircncia eacute menor que um limiar 120590

Cada noacute eacute conectado aos seus 119948 vizinhos mais proacuteximos

4

26

Configuraccedilatildeo Inicial das Partiacuteculas

Uma partiacutecula eacute gerada para cada noacute rotulado na rede

Este noacute seraacute o noacute casa da partiacutecula correspondente

A posiccedilatildeo inicial de cada partiacutecula eacute ajustada para seu respectivo noacute casa

Partiacuteculas com o mesmo roacutetulo jogam para o mesmo time

4

27

Configuraccedilatildeo Inicial dos Noacutes Cada noacute tem um vetor de domiacutenio

Noacutes rotulados tem niacuteveis de domiacutenio configurados para seus respectivos times Ex [ 1 0 0 0 ] (4 classes noacute rotulado

como classe A)

Noacutes natildeo rotulados tecircm niacuteveis de domiacutenio configurados igualmente para cada time Ex [ 025 025 025 025 ] (4 classes noacute

natildeo rotulado)

002040608

1

002040608

1

119907119894120596ℓ = ൞

1 se 119909119894 eacute rotulado e 119910119894 = ℓ0 se 119909119894 eacute rotulado e 119910119894 ne ℓ

ൗ1 119888 se 119909119894 natildeo eacute rotulado28

Dinacircmica de Noacutes

Quando uma partiacutecula seleciona um vizinho para visitar ela Diminui o niacutevel de domiacutenio de

outros times nesse vizinho

Aumenta o niacutevel de domiacutenio de seu proacuteprio time nesse vizinho

Exceccedilatildeo Niacuteveis de domiacutenio de noacutes

rotulados satildeo fixos

0

05

1

0

05

1

119905

119905 + 1

119907119894120596ℓ 119905 + 1 =

max 0 119907119894120596ℓ 119905 minus

Δ119907120588119895120596 119905

119888 minus 1se 119909119894 natildeo eacute rotulado e ℓ ne 120588119895

119891

119907119894120596ℓ 119905 +

119902neℓ119907119894

120596119902 119905 minus 119907119894

120596119902 119905 + 1 se 119909119894 natildeo eacute rotulado e ℓ = 120588119895119891

119907119894120596ℓ 119905 se 119909119894 eacute rotulado29

Dinacircmica de Partiacuteculas Uma partiacutecula se torna

Forte quando ela visita um noacute dominado por seu time

Fraca quando ela visita um noacute dominado por outro time

0 05 1 0 05 1

01 01 02

06

0 05 1 0 05 1

01

04

0203

120588119895120596 119905 + 1 = 119907119894

120596ℓ 119905 + 1

30

Tabela de Distacircncia Manteacutem a partiacutecula informada da

distacircncia para seu noacute casa Evita que a partiacutecula perca toda sua

forccedila caminhando em territoacuterios inimigos

Manteacutem as partiacuteculas por perto para proteger sua proacutepria vizinhanccedila

Atualizada automaticamente com informaccedilatildeo local Natildeo requer nenhum caacutelculo a priori

4

24

0

1

1

2

33

4

120588119895119889119896 119905 + 1 = ቐ

120588119895119889119894 119905 + 1 se 120588119895

119889119894 119905 + 1 lt 120588119895119889119896 119905

120588119895119889119896 119905 caso contraacuterio31

Caminhada Aleatoacuterio-Gulosa Caminhada Aleatoacuteria

A partiacutecula escolhe aleatoriamente qualquer vizinhos para visitar sem preocupaccedilatildeo com o niacutevel de domiacutenio

Probabilidades iguais para todos os vizinhos

Caminhada Gulosa A partiacutecula prefere visitar noacutes

que ela jaacute domina e noacutes mais proacuteximos de seu noacute casa

Probabilidade de visitar cada vizinho dada pelo niacutevel de domiacutenio e distacircncia

As partiacuteculas precisam exibir ambos os movimentos para que haja um equiliacutebrio entre o comportamento exploratoacuterio e o defensivo

119901 119907119894|120588119895 =119882119902119894

σ120583=1119899 119882119902120583

119901 119907119894|120588119895 =119882119902119894119907119894

120596ℓ 1 + 120588119895119889119894

minus2

σ120583=1119899 119882119902120583 119907120583

120596ℓ 1 + 120588119895

119889120583minus2

CAMINHADA GULOSACAMINHADA ALEATOacuteRIA

Probabilidades no Movimento Guloso

Probabilidades no Movimento Aleatoacuterio

35

18

47

33

33

33

1199071

1199072

1199073

1199074

1199072

1199073

1199074

1199072

1199073

1199074

01 01 02

06

04

0203

01

08

0100

01

33

Choques Uma partiacutecula fica no noacute

visitado somente se o niacutevel de domiacutenio de seu time eacute maior que o dos outros

Caso contraacuterio um choque acontece e a partiacutecula eacute expulsa voltando ao noacute onde estava anteriormente ateacute a proacutexima iteraccedilatildeo

07

03

03

07

0604

0406

34

AlgoritmoConstruir a rede

Configurar os niacuteveis de domiacutenio

Configurar posiccedilatildeo inicial de partiacuteculas e seus correspondentes noacutes-casa

Configurar forccedila da partiacutecula e distacircncia

Repita

Para cada partiacutecula faccedila

Selecione movimento aleatoacuterio ou guloso

Selecione o noacute a ser visitado

Atualize os niacuteveis de domiacutenio do noacute visitado

Atualize a forccedila da partiacutecula

Atualize a tabela de distacircncias

Ateacute que o criteacuterio de parada ou um nuacutemero preacute-definido de passos seja atingido

Rotule cada noacute natildeo rotulado de acordo com o time de partiacuteculas que tiver o maior domiacutenio

35

1 2 3 4

5 6 7 8

9 10 11 12

Voltando ao nosso exemplo dos alunosNo final das iteraccedilotildees

36

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

5

3

7

12

Agora eacute soacute ldquopintarrdquo os noacutes com a classe das partiacuteculas que o dominaram

37

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092 Aprovado

6 873 89 107 092 Aprovado

7 520 75 -046 -035 Reprovado

8 297 59 -143 -179 Reprovado

9 358 72 -117 -062 Reprovado

10 884 88 112 083 Aprovado

11 725 90 043 101 Aprovado

12 612 77 -006 -017 Reprovado

1

11

10

6

8

9

4

2

5

3

7

12

E pronto Todos os dados natildeo rotulados tiveram seus roacutetulos estimados pelo classificador do modelo de partiacuteculas

38

Anaacutelise de complexidade do meacutetodo proposto em rede com meacutedia mistura (a) Nuacutemero de

iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 5119911119900119906119905 lt 119896 gt = 02

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Anaacutelise de complexidade do meacutetodo proposto em rede com

alta mistura (a) Nuacutemero de iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 10119911119900119906119905 lt 119896 gt = 04

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Tamanho da Base de Dados (n)

Tem

po

(se

gun

do

s)

Tempo de execuccedilatildeo de quatro meacutetodos baseados em grafos incluindo o meacutetodo de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas para classificar uma sequencia de bases de dados artificiais com 4 classes com distribuiccedilatildeo Gaussiana com tamanhos crescentes

41

Classificaccedilatildeo de base de dado artificial com 2000

amostras divididas igualmente em duas classes com forma de

banana

Desempenho de Classificaccedilatildeo

42

Classificaccedilatildeo de base de dado artificial com 1000

amostras divididas em duas classes Highleyman

Desempenho de Classificaccedilatildeo

43

Classificaccedilatildeo de base de dado artificial com 1200

amostras divididas emduas classes Lithuanian com 800 e 400 amostras

respectivamente

Desempenho de Classificaccedilatildeo

44

Classificaccedilatildeo de base de dado artificial com 1200

amostras igualmente divididas em trecircs classes

com distribuiccedilatildeo Gaussiana

Desempenho de Classificaccedilatildeo

45

Benchmark - Erros de teste () com 100 pontos de dados rotulados46

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 100 pontos de dados rotulados

Benchmark - Erros de teste () com 10 pontos de dados rotulados48

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 10 pontos de dados rotulados

Erros de classificaccedilatildeo () e tempos de execuccedilatildeo (segundos) de quatro meacutetodos baseados em grafos aplicados em bases de dados grandes

Erros de Classificaccedilatildeo e Tempos de Execuccedilatildeo em Grandes Bases de Dados

50

Extensotildees do Modelo de Partiacuteculas

Detecccedilatildeo de Comunidades SobrepostasAprendizado Semi-Supervisionado com Dados ImperfeitosClassificaccedilatildeo Semi-Supervisionada de Fluxos de DadosAprendizado Ativo e Semi-SupervisionadoSegmentaccedilatildeo de Imagens

51

Extensotildees do Modelo de Partiacuteculas

52

O modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas jaacute foi estendido para realizar diversos tipos de tarefas de aprendizado de maacutequina

Detecccedilatildeo de Comunidades Sobrepostas

Aprendizado Semi-Supervisionado com Dados Imperfeitos

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados

Aprendizado Ativo e Semi-Supervisionado

Segmentaccedilatildeo de Imagens

Detecccedilatildeo de Comunidades Sobrepostas

Breve Fabricio ZHAO Liang Fuzzy community structure detection by particle competition and cooperation Soft Computing (Berlin Print) v 17 p 659-673 2013httpdxdoiorg101007s00500-012-0924-3

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming ParticleCompetition and Cooperation for Uncovering Network Overlap Community Structure In The 8th InternationalSymposium on Neural Networks (ISNN 2011) 2011 Guilin China Lecture Notes in Computer Science Berlin Heidelberg Springer-Verlag 2011 v6677 p426 ndash 433httpdxdoiorg101007978-3-642-21111-9_48

53

Detecccedilatildeo de Comunidades Sobrepostas

Em problemas de classificaccedilatildeo nem sempre os elementos pertencem a um uacutenico grupo

Haacute casos em que elementos pertencem a muacuteltiplas comunidades

Exemplo Redes Sociais

Muacuteltiplos Grupos famiacutelia colegas de trabalho colegas de escola

A maioria dos meacutetodos natildeo consegue detectar tal estrutura de sobreposiccedilatildeo

54Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Esta extensatildeo oferece saiacutedas contiacutenuas atraveacutes de um niacutevel de dominacircncia acumulado

Quantifica a dominacircncia de cada time de partiacuteculas sobre os noacutes ao longo de toda a execuccedilatildeo do algoritmo O niacutevel de dominacircncia acumulado inicia em zero para todas as

classes e eacute aumentado somente quando o movimento aleatoacuterio eacute selecionado na classe correspondente agrave partiacutecula

Nunca diminui

119907119894120582ℓ 119905 + 1 = 119907119894

120582ℓ 119905 + 120588119895120596 119905

55

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 17: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Onde abrir pizzarias

17

Aprendizado Semi-Supervisionado Algoritmos fazem uso tanto de dados rotulados

quanto de dados natildeo rotulados para o treinamento

Normalmente poucos dados rotulados e bastante dados natildeo rotulados

Objetivo fornecer roacutetulos para os dados natildeo rotulados

Em muitos casos o uso de alguns dados rotulados em meio aos dados natildeo rotulados melhora consideravelmente a precisatildeo do aprendizado

bullZhu X Semi-Supervised Learning Literature Survey Technical Report 1530 Computer Sciences University of Wisconsin-Madison 2005bullChapelle O Schoumllkopf B amp Zien A Eds Semi-Supervised Learning Adaptive Computation and Machine Learning Cambridge MA The MIT Press 2006bullAbney S Semisupervised Learning for Computational Linguistics CRC Press 200818

X Zhu ldquoSemi-supervised learning literature surveyrdquo Computer Sciences University of Wisconsin-Madison Tech Rep 1530 2005

Um problema de classificaccedilatildeo binaacuterio em

aprendizado semi-supervisionado

Se assumirmos que cada classe tem

distribuiccedilatildeo Gaussiana podemos usar os dados

natildeo rotulados para ajudar a estimar os

paracircmetros (a) dados rotulados (b) dados

rotulados e natildeo rotulados (c) modelo aprendido a partir dos dados rotulados (d) modelo aprendido a

partir dos dados rotulados e natildeo

rotulados

19

Meacutetodos Baseados em Grafos Aacuterea de pesquisa mais ativa em aprendizado semi-

supervisionado

Dados satildeo representados por noacutes de um grafo onde as arestas satildeo rotuladas com a distacircncia entre os pares de noacutes

Noacutes rotulados satildeo usados para propagar informaccedilatildeo de roacutetulo para os demais

Meacutetodos assumem suavidade de roacutetulos atraveacutes do grafo

20

Exemplo Alunos aprovados em vestibular

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 743 82 Aprovado

2 358 63 Reprovado

3 826 91 Aprovado

4 412 71 Reprovado

5 915 89

6 873 89

7 520 75

8 297 59

9 358 72

10 884 88

11 725 90

12 612 77

Cada aluno eacute um noacute do grafo

Vamos conectar cada noacute com seus 3 vizinhos mais proacuteximos usando a distacircncia euclidiana

11

10

12

87

9

54

6

2

1

3

21

Primeiro vamos normalizar os dados

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 743 82 Aprovado

2 358 63 Reprovado

3 826 91 Aprovado

4 412 71 Reprovado

5 915 89

6 873 89

7 520 75

8 297 59

9 358 72

10 884 88

11 725 90

12 612 77

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 050 029 Aprovado

2 -117 -143 Reprovado

3 086 110 Aprovado

4 -093 -071 Reprovado

5 125 092

6 107 092

7 -046 -035

8 -143 -179

9 -117 -062

10 112 083

11 043 101

12 -006 -017

Dados normalizados meacutedia 0 desvio padratildeo 1

22

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

119889(119894 119895) =2

119909119894 minus 1199091198952+ 119910119894 minus 119910119895

2

1 2 3 4 5 6 7 8 9 10 11 12

1 240 089 175 098 085 116 284 190 082 073 073

2 240 325 076 337 325 129 045 081 321 292 168

3 089 325 255 043 027 196 370 266 037 045 157

4 175 076 255 272 258 059 120 025 256 219 1025 098 337 043 272 018 213 382 287 016 083 171

6 085 325 027 258 018 199 369 271 010 065 157

7 116 129 196 059 213 199 174 075 197 162 044

8 284 045 370 120 382 369 174 121 366 336 213

9 190 081 266 025 287 271 075 121 270 228 119

10 082 321 037 256 016 010 197 366 270 071 154

11 073 292 045 219 083 065 162 336 228 071 127

12 073 168 157 102 171 157 044 213 119 154 127

5

3

7

12

Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em Redes

Descriccedilatildeo do Modelo

Resultados

24

Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em Redes Complexas

Aplicaccedilatildeo em Aprendizado Semi-Supervisionado

Competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas na rede combinado em um esquema uacutenico

Cooperaccedilatildeo Partiacuteculas da mesma classe caminham pela rede de maneira

cooperativa propagando seus roacutetulos

Objetivo Dominar a maior quantidade de noacutes possiacutevel

Competiccedilatildeo Partiacuteculas de classes diferentes competem entre si para

determinar as bordas das classes

Objetivo Evitar a invasatildeo de partiacuteculas de outros times

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming Particle competition and cooperation in networks for semi-supervised learning IEEE Transactions on Knowledge and Data Engineering v24 p1686 - 1698 2012 httpdxdoiorg101109TKDE2011119

25

Configuraccedilatildeo Inicial dos Noacutes

Transforma-se a base de dados em uma rede natildeo direcionada sem peso

Para cada item de dado eacute gerado um noacute na rede

As arestas podem ser geradas usando uma das duas formas

Cada noacute eacute conectado aos vizinhos cuja distacircncia eacute menor que um limiar 120590

Cada noacute eacute conectado aos seus 119948 vizinhos mais proacuteximos

4

26

Configuraccedilatildeo Inicial das Partiacuteculas

Uma partiacutecula eacute gerada para cada noacute rotulado na rede

Este noacute seraacute o noacute casa da partiacutecula correspondente

A posiccedilatildeo inicial de cada partiacutecula eacute ajustada para seu respectivo noacute casa

Partiacuteculas com o mesmo roacutetulo jogam para o mesmo time

4

27

Configuraccedilatildeo Inicial dos Noacutes Cada noacute tem um vetor de domiacutenio

Noacutes rotulados tem niacuteveis de domiacutenio configurados para seus respectivos times Ex [ 1 0 0 0 ] (4 classes noacute rotulado

como classe A)

Noacutes natildeo rotulados tecircm niacuteveis de domiacutenio configurados igualmente para cada time Ex [ 025 025 025 025 ] (4 classes noacute

natildeo rotulado)

002040608

1

002040608

1

119907119894120596ℓ = ൞

1 se 119909119894 eacute rotulado e 119910119894 = ℓ0 se 119909119894 eacute rotulado e 119910119894 ne ℓ

ൗ1 119888 se 119909119894 natildeo eacute rotulado28

Dinacircmica de Noacutes

Quando uma partiacutecula seleciona um vizinho para visitar ela Diminui o niacutevel de domiacutenio de

outros times nesse vizinho

Aumenta o niacutevel de domiacutenio de seu proacuteprio time nesse vizinho

Exceccedilatildeo Niacuteveis de domiacutenio de noacutes

rotulados satildeo fixos

0

05

1

0

05

1

119905

119905 + 1

119907119894120596ℓ 119905 + 1 =

max 0 119907119894120596ℓ 119905 minus

Δ119907120588119895120596 119905

119888 minus 1se 119909119894 natildeo eacute rotulado e ℓ ne 120588119895

119891

119907119894120596ℓ 119905 +

119902neℓ119907119894

120596119902 119905 minus 119907119894

120596119902 119905 + 1 se 119909119894 natildeo eacute rotulado e ℓ = 120588119895119891

119907119894120596ℓ 119905 se 119909119894 eacute rotulado29

Dinacircmica de Partiacuteculas Uma partiacutecula se torna

Forte quando ela visita um noacute dominado por seu time

Fraca quando ela visita um noacute dominado por outro time

0 05 1 0 05 1

01 01 02

06

0 05 1 0 05 1

01

04

0203

120588119895120596 119905 + 1 = 119907119894

120596ℓ 119905 + 1

30

Tabela de Distacircncia Manteacutem a partiacutecula informada da

distacircncia para seu noacute casa Evita que a partiacutecula perca toda sua

forccedila caminhando em territoacuterios inimigos

Manteacutem as partiacuteculas por perto para proteger sua proacutepria vizinhanccedila

Atualizada automaticamente com informaccedilatildeo local Natildeo requer nenhum caacutelculo a priori

4

24

0

1

1

2

33

4

120588119895119889119896 119905 + 1 = ቐ

120588119895119889119894 119905 + 1 se 120588119895

119889119894 119905 + 1 lt 120588119895119889119896 119905

120588119895119889119896 119905 caso contraacuterio31

Caminhada Aleatoacuterio-Gulosa Caminhada Aleatoacuteria

A partiacutecula escolhe aleatoriamente qualquer vizinhos para visitar sem preocupaccedilatildeo com o niacutevel de domiacutenio

Probabilidades iguais para todos os vizinhos

Caminhada Gulosa A partiacutecula prefere visitar noacutes

que ela jaacute domina e noacutes mais proacuteximos de seu noacute casa

Probabilidade de visitar cada vizinho dada pelo niacutevel de domiacutenio e distacircncia

As partiacuteculas precisam exibir ambos os movimentos para que haja um equiliacutebrio entre o comportamento exploratoacuterio e o defensivo

119901 119907119894|120588119895 =119882119902119894

σ120583=1119899 119882119902120583

119901 119907119894|120588119895 =119882119902119894119907119894

120596ℓ 1 + 120588119895119889119894

minus2

σ120583=1119899 119882119902120583 119907120583

120596ℓ 1 + 120588119895

119889120583minus2

CAMINHADA GULOSACAMINHADA ALEATOacuteRIA

Probabilidades no Movimento Guloso

Probabilidades no Movimento Aleatoacuterio

35

18

47

33

33

33

1199071

1199072

1199073

1199074

1199072

1199073

1199074

1199072

1199073

1199074

01 01 02

06

04

0203

01

08

0100

01

33

Choques Uma partiacutecula fica no noacute

visitado somente se o niacutevel de domiacutenio de seu time eacute maior que o dos outros

Caso contraacuterio um choque acontece e a partiacutecula eacute expulsa voltando ao noacute onde estava anteriormente ateacute a proacutexima iteraccedilatildeo

07

03

03

07

0604

0406

34

AlgoritmoConstruir a rede

Configurar os niacuteveis de domiacutenio

Configurar posiccedilatildeo inicial de partiacuteculas e seus correspondentes noacutes-casa

Configurar forccedila da partiacutecula e distacircncia

Repita

Para cada partiacutecula faccedila

Selecione movimento aleatoacuterio ou guloso

Selecione o noacute a ser visitado

Atualize os niacuteveis de domiacutenio do noacute visitado

Atualize a forccedila da partiacutecula

Atualize a tabela de distacircncias

Ateacute que o criteacuterio de parada ou um nuacutemero preacute-definido de passos seja atingido

Rotule cada noacute natildeo rotulado de acordo com o time de partiacuteculas que tiver o maior domiacutenio

35

1 2 3 4

5 6 7 8

9 10 11 12

Voltando ao nosso exemplo dos alunosNo final das iteraccedilotildees

36

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

5

3

7

12

Agora eacute soacute ldquopintarrdquo os noacutes com a classe das partiacuteculas que o dominaram

37

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092 Aprovado

6 873 89 107 092 Aprovado

7 520 75 -046 -035 Reprovado

8 297 59 -143 -179 Reprovado

9 358 72 -117 -062 Reprovado

10 884 88 112 083 Aprovado

11 725 90 043 101 Aprovado

12 612 77 -006 -017 Reprovado

1

11

10

6

8

9

4

2

5

3

7

12

E pronto Todos os dados natildeo rotulados tiveram seus roacutetulos estimados pelo classificador do modelo de partiacuteculas

38

Anaacutelise de complexidade do meacutetodo proposto em rede com meacutedia mistura (a) Nuacutemero de

iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 5119911119900119906119905 lt 119896 gt = 02

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Anaacutelise de complexidade do meacutetodo proposto em rede com

alta mistura (a) Nuacutemero de iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 10119911119900119906119905 lt 119896 gt = 04

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Tamanho da Base de Dados (n)

Tem

po

(se

gun

do

s)

Tempo de execuccedilatildeo de quatro meacutetodos baseados em grafos incluindo o meacutetodo de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas para classificar uma sequencia de bases de dados artificiais com 4 classes com distribuiccedilatildeo Gaussiana com tamanhos crescentes

41

Classificaccedilatildeo de base de dado artificial com 2000

amostras divididas igualmente em duas classes com forma de

banana

Desempenho de Classificaccedilatildeo

42

Classificaccedilatildeo de base de dado artificial com 1000

amostras divididas em duas classes Highleyman

Desempenho de Classificaccedilatildeo

43

Classificaccedilatildeo de base de dado artificial com 1200

amostras divididas emduas classes Lithuanian com 800 e 400 amostras

respectivamente

Desempenho de Classificaccedilatildeo

44

Classificaccedilatildeo de base de dado artificial com 1200

amostras igualmente divididas em trecircs classes

com distribuiccedilatildeo Gaussiana

Desempenho de Classificaccedilatildeo

45

Benchmark - Erros de teste () com 100 pontos de dados rotulados46

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 100 pontos de dados rotulados

Benchmark - Erros de teste () com 10 pontos de dados rotulados48

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 10 pontos de dados rotulados

Erros de classificaccedilatildeo () e tempos de execuccedilatildeo (segundos) de quatro meacutetodos baseados em grafos aplicados em bases de dados grandes

Erros de Classificaccedilatildeo e Tempos de Execuccedilatildeo em Grandes Bases de Dados

50

Extensotildees do Modelo de Partiacuteculas

Detecccedilatildeo de Comunidades SobrepostasAprendizado Semi-Supervisionado com Dados ImperfeitosClassificaccedilatildeo Semi-Supervisionada de Fluxos de DadosAprendizado Ativo e Semi-SupervisionadoSegmentaccedilatildeo de Imagens

51

Extensotildees do Modelo de Partiacuteculas

52

O modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas jaacute foi estendido para realizar diversos tipos de tarefas de aprendizado de maacutequina

Detecccedilatildeo de Comunidades Sobrepostas

Aprendizado Semi-Supervisionado com Dados Imperfeitos

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados

Aprendizado Ativo e Semi-Supervisionado

Segmentaccedilatildeo de Imagens

Detecccedilatildeo de Comunidades Sobrepostas

Breve Fabricio ZHAO Liang Fuzzy community structure detection by particle competition and cooperation Soft Computing (Berlin Print) v 17 p 659-673 2013httpdxdoiorg101007s00500-012-0924-3

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming ParticleCompetition and Cooperation for Uncovering Network Overlap Community Structure In The 8th InternationalSymposium on Neural Networks (ISNN 2011) 2011 Guilin China Lecture Notes in Computer Science Berlin Heidelberg Springer-Verlag 2011 v6677 p426 ndash 433httpdxdoiorg101007978-3-642-21111-9_48

53

Detecccedilatildeo de Comunidades Sobrepostas

Em problemas de classificaccedilatildeo nem sempre os elementos pertencem a um uacutenico grupo

Haacute casos em que elementos pertencem a muacuteltiplas comunidades

Exemplo Redes Sociais

Muacuteltiplos Grupos famiacutelia colegas de trabalho colegas de escola

A maioria dos meacutetodos natildeo consegue detectar tal estrutura de sobreposiccedilatildeo

54Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Esta extensatildeo oferece saiacutedas contiacutenuas atraveacutes de um niacutevel de dominacircncia acumulado

Quantifica a dominacircncia de cada time de partiacuteculas sobre os noacutes ao longo de toda a execuccedilatildeo do algoritmo O niacutevel de dominacircncia acumulado inicia em zero para todas as

classes e eacute aumentado somente quando o movimento aleatoacuterio eacute selecionado na classe correspondente agrave partiacutecula

Nunca diminui

119907119894120582ℓ 119905 + 1 = 119907119894

120582ℓ 119905 + 120588119895120596 119905

55

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 18: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Aprendizado Semi-Supervisionado Algoritmos fazem uso tanto de dados rotulados

quanto de dados natildeo rotulados para o treinamento

Normalmente poucos dados rotulados e bastante dados natildeo rotulados

Objetivo fornecer roacutetulos para os dados natildeo rotulados

Em muitos casos o uso de alguns dados rotulados em meio aos dados natildeo rotulados melhora consideravelmente a precisatildeo do aprendizado

bullZhu X Semi-Supervised Learning Literature Survey Technical Report 1530 Computer Sciences University of Wisconsin-Madison 2005bullChapelle O Schoumllkopf B amp Zien A Eds Semi-Supervised Learning Adaptive Computation and Machine Learning Cambridge MA The MIT Press 2006bullAbney S Semisupervised Learning for Computational Linguistics CRC Press 200818

X Zhu ldquoSemi-supervised learning literature surveyrdquo Computer Sciences University of Wisconsin-Madison Tech Rep 1530 2005

Um problema de classificaccedilatildeo binaacuterio em

aprendizado semi-supervisionado

Se assumirmos que cada classe tem

distribuiccedilatildeo Gaussiana podemos usar os dados

natildeo rotulados para ajudar a estimar os

paracircmetros (a) dados rotulados (b) dados

rotulados e natildeo rotulados (c) modelo aprendido a partir dos dados rotulados (d) modelo aprendido a

partir dos dados rotulados e natildeo

rotulados

19

Meacutetodos Baseados em Grafos Aacuterea de pesquisa mais ativa em aprendizado semi-

supervisionado

Dados satildeo representados por noacutes de um grafo onde as arestas satildeo rotuladas com a distacircncia entre os pares de noacutes

Noacutes rotulados satildeo usados para propagar informaccedilatildeo de roacutetulo para os demais

Meacutetodos assumem suavidade de roacutetulos atraveacutes do grafo

20

Exemplo Alunos aprovados em vestibular

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 743 82 Aprovado

2 358 63 Reprovado

3 826 91 Aprovado

4 412 71 Reprovado

5 915 89

6 873 89

7 520 75

8 297 59

9 358 72

10 884 88

11 725 90

12 612 77

Cada aluno eacute um noacute do grafo

Vamos conectar cada noacute com seus 3 vizinhos mais proacuteximos usando a distacircncia euclidiana

11

10

12

87

9

54

6

2

1

3

21

Primeiro vamos normalizar os dados

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 743 82 Aprovado

2 358 63 Reprovado

3 826 91 Aprovado

4 412 71 Reprovado

5 915 89

6 873 89

7 520 75

8 297 59

9 358 72

10 884 88

11 725 90

12 612 77

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 050 029 Aprovado

2 -117 -143 Reprovado

3 086 110 Aprovado

4 -093 -071 Reprovado

5 125 092

6 107 092

7 -046 -035

8 -143 -179

9 -117 -062

10 112 083

11 043 101

12 -006 -017

Dados normalizados meacutedia 0 desvio padratildeo 1

22

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

119889(119894 119895) =2

119909119894 minus 1199091198952+ 119910119894 minus 119910119895

2

1 2 3 4 5 6 7 8 9 10 11 12

1 240 089 175 098 085 116 284 190 082 073 073

2 240 325 076 337 325 129 045 081 321 292 168

3 089 325 255 043 027 196 370 266 037 045 157

4 175 076 255 272 258 059 120 025 256 219 1025 098 337 043 272 018 213 382 287 016 083 171

6 085 325 027 258 018 199 369 271 010 065 157

7 116 129 196 059 213 199 174 075 197 162 044

8 284 045 370 120 382 369 174 121 366 336 213

9 190 081 266 025 287 271 075 121 270 228 119

10 082 321 037 256 016 010 197 366 270 071 154

11 073 292 045 219 083 065 162 336 228 071 127

12 073 168 157 102 171 157 044 213 119 154 127

5

3

7

12

Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em Redes

Descriccedilatildeo do Modelo

Resultados

24

Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em Redes Complexas

Aplicaccedilatildeo em Aprendizado Semi-Supervisionado

Competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas na rede combinado em um esquema uacutenico

Cooperaccedilatildeo Partiacuteculas da mesma classe caminham pela rede de maneira

cooperativa propagando seus roacutetulos

Objetivo Dominar a maior quantidade de noacutes possiacutevel

Competiccedilatildeo Partiacuteculas de classes diferentes competem entre si para

determinar as bordas das classes

Objetivo Evitar a invasatildeo de partiacuteculas de outros times

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming Particle competition and cooperation in networks for semi-supervised learning IEEE Transactions on Knowledge and Data Engineering v24 p1686 - 1698 2012 httpdxdoiorg101109TKDE2011119

25

Configuraccedilatildeo Inicial dos Noacutes

Transforma-se a base de dados em uma rede natildeo direcionada sem peso

Para cada item de dado eacute gerado um noacute na rede

As arestas podem ser geradas usando uma das duas formas

Cada noacute eacute conectado aos vizinhos cuja distacircncia eacute menor que um limiar 120590

Cada noacute eacute conectado aos seus 119948 vizinhos mais proacuteximos

4

26

Configuraccedilatildeo Inicial das Partiacuteculas

Uma partiacutecula eacute gerada para cada noacute rotulado na rede

Este noacute seraacute o noacute casa da partiacutecula correspondente

A posiccedilatildeo inicial de cada partiacutecula eacute ajustada para seu respectivo noacute casa

Partiacuteculas com o mesmo roacutetulo jogam para o mesmo time

4

27

Configuraccedilatildeo Inicial dos Noacutes Cada noacute tem um vetor de domiacutenio

Noacutes rotulados tem niacuteveis de domiacutenio configurados para seus respectivos times Ex [ 1 0 0 0 ] (4 classes noacute rotulado

como classe A)

Noacutes natildeo rotulados tecircm niacuteveis de domiacutenio configurados igualmente para cada time Ex [ 025 025 025 025 ] (4 classes noacute

natildeo rotulado)

002040608

1

002040608

1

119907119894120596ℓ = ൞

1 se 119909119894 eacute rotulado e 119910119894 = ℓ0 se 119909119894 eacute rotulado e 119910119894 ne ℓ

ൗ1 119888 se 119909119894 natildeo eacute rotulado28

Dinacircmica de Noacutes

Quando uma partiacutecula seleciona um vizinho para visitar ela Diminui o niacutevel de domiacutenio de

outros times nesse vizinho

Aumenta o niacutevel de domiacutenio de seu proacuteprio time nesse vizinho

Exceccedilatildeo Niacuteveis de domiacutenio de noacutes

rotulados satildeo fixos

0

05

1

0

05

1

119905

119905 + 1

119907119894120596ℓ 119905 + 1 =

max 0 119907119894120596ℓ 119905 minus

Δ119907120588119895120596 119905

119888 minus 1se 119909119894 natildeo eacute rotulado e ℓ ne 120588119895

119891

119907119894120596ℓ 119905 +

119902neℓ119907119894

120596119902 119905 minus 119907119894

120596119902 119905 + 1 se 119909119894 natildeo eacute rotulado e ℓ = 120588119895119891

119907119894120596ℓ 119905 se 119909119894 eacute rotulado29

Dinacircmica de Partiacuteculas Uma partiacutecula se torna

Forte quando ela visita um noacute dominado por seu time

Fraca quando ela visita um noacute dominado por outro time

0 05 1 0 05 1

01 01 02

06

0 05 1 0 05 1

01

04

0203

120588119895120596 119905 + 1 = 119907119894

120596ℓ 119905 + 1

30

Tabela de Distacircncia Manteacutem a partiacutecula informada da

distacircncia para seu noacute casa Evita que a partiacutecula perca toda sua

forccedila caminhando em territoacuterios inimigos

Manteacutem as partiacuteculas por perto para proteger sua proacutepria vizinhanccedila

Atualizada automaticamente com informaccedilatildeo local Natildeo requer nenhum caacutelculo a priori

4

24

0

1

1

2

33

4

120588119895119889119896 119905 + 1 = ቐ

120588119895119889119894 119905 + 1 se 120588119895

119889119894 119905 + 1 lt 120588119895119889119896 119905

120588119895119889119896 119905 caso contraacuterio31

Caminhada Aleatoacuterio-Gulosa Caminhada Aleatoacuteria

A partiacutecula escolhe aleatoriamente qualquer vizinhos para visitar sem preocupaccedilatildeo com o niacutevel de domiacutenio

Probabilidades iguais para todos os vizinhos

Caminhada Gulosa A partiacutecula prefere visitar noacutes

que ela jaacute domina e noacutes mais proacuteximos de seu noacute casa

Probabilidade de visitar cada vizinho dada pelo niacutevel de domiacutenio e distacircncia

As partiacuteculas precisam exibir ambos os movimentos para que haja um equiliacutebrio entre o comportamento exploratoacuterio e o defensivo

119901 119907119894|120588119895 =119882119902119894

σ120583=1119899 119882119902120583

119901 119907119894|120588119895 =119882119902119894119907119894

120596ℓ 1 + 120588119895119889119894

minus2

σ120583=1119899 119882119902120583 119907120583

120596ℓ 1 + 120588119895

119889120583minus2

CAMINHADA GULOSACAMINHADA ALEATOacuteRIA

Probabilidades no Movimento Guloso

Probabilidades no Movimento Aleatoacuterio

35

18

47

33

33

33

1199071

1199072

1199073

1199074

1199072

1199073

1199074

1199072

1199073

1199074

01 01 02

06

04

0203

01

08

0100

01

33

Choques Uma partiacutecula fica no noacute

visitado somente se o niacutevel de domiacutenio de seu time eacute maior que o dos outros

Caso contraacuterio um choque acontece e a partiacutecula eacute expulsa voltando ao noacute onde estava anteriormente ateacute a proacutexima iteraccedilatildeo

07

03

03

07

0604

0406

34

AlgoritmoConstruir a rede

Configurar os niacuteveis de domiacutenio

Configurar posiccedilatildeo inicial de partiacuteculas e seus correspondentes noacutes-casa

Configurar forccedila da partiacutecula e distacircncia

Repita

Para cada partiacutecula faccedila

Selecione movimento aleatoacuterio ou guloso

Selecione o noacute a ser visitado

Atualize os niacuteveis de domiacutenio do noacute visitado

Atualize a forccedila da partiacutecula

Atualize a tabela de distacircncias

Ateacute que o criteacuterio de parada ou um nuacutemero preacute-definido de passos seja atingido

Rotule cada noacute natildeo rotulado de acordo com o time de partiacuteculas que tiver o maior domiacutenio

35

1 2 3 4

5 6 7 8

9 10 11 12

Voltando ao nosso exemplo dos alunosNo final das iteraccedilotildees

36

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

5

3

7

12

Agora eacute soacute ldquopintarrdquo os noacutes com a classe das partiacuteculas que o dominaram

37

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092 Aprovado

6 873 89 107 092 Aprovado

7 520 75 -046 -035 Reprovado

8 297 59 -143 -179 Reprovado

9 358 72 -117 -062 Reprovado

10 884 88 112 083 Aprovado

11 725 90 043 101 Aprovado

12 612 77 -006 -017 Reprovado

1

11

10

6

8

9

4

2

5

3

7

12

E pronto Todos os dados natildeo rotulados tiveram seus roacutetulos estimados pelo classificador do modelo de partiacuteculas

38

Anaacutelise de complexidade do meacutetodo proposto em rede com meacutedia mistura (a) Nuacutemero de

iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 5119911119900119906119905 lt 119896 gt = 02

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Anaacutelise de complexidade do meacutetodo proposto em rede com

alta mistura (a) Nuacutemero de iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 10119911119900119906119905 lt 119896 gt = 04

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Tamanho da Base de Dados (n)

Tem

po

(se

gun

do

s)

Tempo de execuccedilatildeo de quatro meacutetodos baseados em grafos incluindo o meacutetodo de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas para classificar uma sequencia de bases de dados artificiais com 4 classes com distribuiccedilatildeo Gaussiana com tamanhos crescentes

41

Classificaccedilatildeo de base de dado artificial com 2000

amostras divididas igualmente em duas classes com forma de

banana

Desempenho de Classificaccedilatildeo

42

Classificaccedilatildeo de base de dado artificial com 1000

amostras divididas em duas classes Highleyman

Desempenho de Classificaccedilatildeo

43

Classificaccedilatildeo de base de dado artificial com 1200

amostras divididas emduas classes Lithuanian com 800 e 400 amostras

respectivamente

Desempenho de Classificaccedilatildeo

44

Classificaccedilatildeo de base de dado artificial com 1200

amostras igualmente divididas em trecircs classes

com distribuiccedilatildeo Gaussiana

Desempenho de Classificaccedilatildeo

45

Benchmark - Erros de teste () com 100 pontos de dados rotulados46

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 100 pontos de dados rotulados

Benchmark - Erros de teste () com 10 pontos de dados rotulados48

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 10 pontos de dados rotulados

Erros de classificaccedilatildeo () e tempos de execuccedilatildeo (segundos) de quatro meacutetodos baseados em grafos aplicados em bases de dados grandes

Erros de Classificaccedilatildeo e Tempos de Execuccedilatildeo em Grandes Bases de Dados

50

Extensotildees do Modelo de Partiacuteculas

Detecccedilatildeo de Comunidades SobrepostasAprendizado Semi-Supervisionado com Dados ImperfeitosClassificaccedilatildeo Semi-Supervisionada de Fluxos de DadosAprendizado Ativo e Semi-SupervisionadoSegmentaccedilatildeo de Imagens

51

Extensotildees do Modelo de Partiacuteculas

52

O modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas jaacute foi estendido para realizar diversos tipos de tarefas de aprendizado de maacutequina

Detecccedilatildeo de Comunidades Sobrepostas

Aprendizado Semi-Supervisionado com Dados Imperfeitos

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados

Aprendizado Ativo e Semi-Supervisionado

Segmentaccedilatildeo de Imagens

Detecccedilatildeo de Comunidades Sobrepostas

Breve Fabricio ZHAO Liang Fuzzy community structure detection by particle competition and cooperation Soft Computing (Berlin Print) v 17 p 659-673 2013httpdxdoiorg101007s00500-012-0924-3

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming ParticleCompetition and Cooperation for Uncovering Network Overlap Community Structure In The 8th InternationalSymposium on Neural Networks (ISNN 2011) 2011 Guilin China Lecture Notes in Computer Science Berlin Heidelberg Springer-Verlag 2011 v6677 p426 ndash 433httpdxdoiorg101007978-3-642-21111-9_48

53

Detecccedilatildeo de Comunidades Sobrepostas

Em problemas de classificaccedilatildeo nem sempre os elementos pertencem a um uacutenico grupo

Haacute casos em que elementos pertencem a muacuteltiplas comunidades

Exemplo Redes Sociais

Muacuteltiplos Grupos famiacutelia colegas de trabalho colegas de escola

A maioria dos meacutetodos natildeo consegue detectar tal estrutura de sobreposiccedilatildeo

54Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Esta extensatildeo oferece saiacutedas contiacutenuas atraveacutes de um niacutevel de dominacircncia acumulado

Quantifica a dominacircncia de cada time de partiacuteculas sobre os noacutes ao longo de toda a execuccedilatildeo do algoritmo O niacutevel de dominacircncia acumulado inicia em zero para todas as

classes e eacute aumentado somente quando o movimento aleatoacuterio eacute selecionado na classe correspondente agrave partiacutecula

Nunca diminui

119907119894120582ℓ 119905 + 1 = 119907119894

120582ℓ 119905 + 120588119895120596 119905

55

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 19: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

X Zhu ldquoSemi-supervised learning literature surveyrdquo Computer Sciences University of Wisconsin-Madison Tech Rep 1530 2005

Um problema de classificaccedilatildeo binaacuterio em

aprendizado semi-supervisionado

Se assumirmos que cada classe tem

distribuiccedilatildeo Gaussiana podemos usar os dados

natildeo rotulados para ajudar a estimar os

paracircmetros (a) dados rotulados (b) dados

rotulados e natildeo rotulados (c) modelo aprendido a partir dos dados rotulados (d) modelo aprendido a

partir dos dados rotulados e natildeo

rotulados

19

Meacutetodos Baseados em Grafos Aacuterea de pesquisa mais ativa em aprendizado semi-

supervisionado

Dados satildeo representados por noacutes de um grafo onde as arestas satildeo rotuladas com a distacircncia entre os pares de noacutes

Noacutes rotulados satildeo usados para propagar informaccedilatildeo de roacutetulo para os demais

Meacutetodos assumem suavidade de roacutetulos atraveacutes do grafo

20

Exemplo Alunos aprovados em vestibular

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 743 82 Aprovado

2 358 63 Reprovado

3 826 91 Aprovado

4 412 71 Reprovado

5 915 89

6 873 89

7 520 75

8 297 59

9 358 72

10 884 88

11 725 90

12 612 77

Cada aluno eacute um noacute do grafo

Vamos conectar cada noacute com seus 3 vizinhos mais proacuteximos usando a distacircncia euclidiana

11

10

12

87

9

54

6

2

1

3

21

Primeiro vamos normalizar os dados

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 743 82 Aprovado

2 358 63 Reprovado

3 826 91 Aprovado

4 412 71 Reprovado

5 915 89

6 873 89

7 520 75

8 297 59

9 358 72

10 884 88

11 725 90

12 612 77

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 050 029 Aprovado

2 -117 -143 Reprovado

3 086 110 Aprovado

4 -093 -071 Reprovado

5 125 092

6 107 092

7 -046 -035

8 -143 -179

9 -117 -062

10 112 083

11 043 101

12 -006 -017

Dados normalizados meacutedia 0 desvio padratildeo 1

22

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

119889(119894 119895) =2

119909119894 minus 1199091198952+ 119910119894 minus 119910119895

2

1 2 3 4 5 6 7 8 9 10 11 12

1 240 089 175 098 085 116 284 190 082 073 073

2 240 325 076 337 325 129 045 081 321 292 168

3 089 325 255 043 027 196 370 266 037 045 157

4 175 076 255 272 258 059 120 025 256 219 1025 098 337 043 272 018 213 382 287 016 083 171

6 085 325 027 258 018 199 369 271 010 065 157

7 116 129 196 059 213 199 174 075 197 162 044

8 284 045 370 120 382 369 174 121 366 336 213

9 190 081 266 025 287 271 075 121 270 228 119

10 082 321 037 256 016 010 197 366 270 071 154

11 073 292 045 219 083 065 162 336 228 071 127

12 073 168 157 102 171 157 044 213 119 154 127

5

3

7

12

Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em Redes

Descriccedilatildeo do Modelo

Resultados

24

Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em Redes Complexas

Aplicaccedilatildeo em Aprendizado Semi-Supervisionado

Competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas na rede combinado em um esquema uacutenico

Cooperaccedilatildeo Partiacuteculas da mesma classe caminham pela rede de maneira

cooperativa propagando seus roacutetulos

Objetivo Dominar a maior quantidade de noacutes possiacutevel

Competiccedilatildeo Partiacuteculas de classes diferentes competem entre si para

determinar as bordas das classes

Objetivo Evitar a invasatildeo de partiacuteculas de outros times

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming Particle competition and cooperation in networks for semi-supervised learning IEEE Transactions on Knowledge and Data Engineering v24 p1686 - 1698 2012 httpdxdoiorg101109TKDE2011119

25

Configuraccedilatildeo Inicial dos Noacutes

Transforma-se a base de dados em uma rede natildeo direcionada sem peso

Para cada item de dado eacute gerado um noacute na rede

As arestas podem ser geradas usando uma das duas formas

Cada noacute eacute conectado aos vizinhos cuja distacircncia eacute menor que um limiar 120590

Cada noacute eacute conectado aos seus 119948 vizinhos mais proacuteximos

4

26

Configuraccedilatildeo Inicial das Partiacuteculas

Uma partiacutecula eacute gerada para cada noacute rotulado na rede

Este noacute seraacute o noacute casa da partiacutecula correspondente

A posiccedilatildeo inicial de cada partiacutecula eacute ajustada para seu respectivo noacute casa

Partiacuteculas com o mesmo roacutetulo jogam para o mesmo time

4

27

Configuraccedilatildeo Inicial dos Noacutes Cada noacute tem um vetor de domiacutenio

Noacutes rotulados tem niacuteveis de domiacutenio configurados para seus respectivos times Ex [ 1 0 0 0 ] (4 classes noacute rotulado

como classe A)

Noacutes natildeo rotulados tecircm niacuteveis de domiacutenio configurados igualmente para cada time Ex [ 025 025 025 025 ] (4 classes noacute

natildeo rotulado)

002040608

1

002040608

1

119907119894120596ℓ = ൞

1 se 119909119894 eacute rotulado e 119910119894 = ℓ0 se 119909119894 eacute rotulado e 119910119894 ne ℓ

ൗ1 119888 se 119909119894 natildeo eacute rotulado28

Dinacircmica de Noacutes

Quando uma partiacutecula seleciona um vizinho para visitar ela Diminui o niacutevel de domiacutenio de

outros times nesse vizinho

Aumenta o niacutevel de domiacutenio de seu proacuteprio time nesse vizinho

Exceccedilatildeo Niacuteveis de domiacutenio de noacutes

rotulados satildeo fixos

0

05

1

0

05

1

119905

119905 + 1

119907119894120596ℓ 119905 + 1 =

max 0 119907119894120596ℓ 119905 minus

Δ119907120588119895120596 119905

119888 minus 1se 119909119894 natildeo eacute rotulado e ℓ ne 120588119895

119891

119907119894120596ℓ 119905 +

119902neℓ119907119894

120596119902 119905 minus 119907119894

120596119902 119905 + 1 se 119909119894 natildeo eacute rotulado e ℓ = 120588119895119891

119907119894120596ℓ 119905 se 119909119894 eacute rotulado29

Dinacircmica de Partiacuteculas Uma partiacutecula se torna

Forte quando ela visita um noacute dominado por seu time

Fraca quando ela visita um noacute dominado por outro time

0 05 1 0 05 1

01 01 02

06

0 05 1 0 05 1

01

04

0203

120588119895120596 119905 + 1 = 119907119894

120596ℓ 119905 + 1

30

Tabela de Distacircncia Manteacutem a partiacutecula informada da

distacircncia para seu noacute casa Evita que a partiacutecula perca toda sua

forccedila caminhando em territoacuterios inimigos

Manteacutem as partiacuteculas por perto para proteger sua proacutepria vizinhanccedila

Atualizada automaticamente com informaccedilatildeo local Natildeo requer nenhum caacutelculo a priori

4

24

0

1

1

2

33

4

120588119895119889119896 119905 + 1 = ቐ

120588119895119889119894 119905 + 1 se 120588119895

119889119894 119905 + 1 lt 120588119895119889119896 119905

120588119895119889119896 119905 caso contraacuterio31

Caminhada Aleatoacuterio-Gulosa Caminhada Aleatoacuteria

A partiacutecula escolhe aleatoriamente qualquer vizinhos para visitar sem preocupaccedilatildeo com o niacutevel de domiacutenio

Probabilidades iguais para todos os vizinhos

Caminhada Gulosa A partiacutecula prefere visitar noacutes

que ela jaacute domina e noacutes mais proacuteximos de seu noacute casa

Probabilidade de visitar cada vizinho dada pelo niacutevel de domiacutenio e distacircncia

As partiacuteculas precisam exibir ambos os movimentos para que haja um equiliacutebrio entre o comportamento exploratoacuterio e o defensivo

119901 119907119894|120588119895 =119882119902119894

σ120583=1119899 119882119902120583

119901 119907119894|120588119895 =119882119902119894119907119894

120596ℓ 1 + 120588119895119889119894

minus2

σ120583=1119899 119882119902120583 119907120583

120596ℓ 1 + 120588119895

119889120583minus2

CAMINHADA GULOSACAMINHADA ALEATOacuteRIA

Probabilidades no Movimento Guloso

Probabilidades no Movimento Aleatoacuterio

35

18

47

33

33

33

1199071

1199072

1199073

1199074

1199072

1199073

1199074

1199072

1199073

1199074

01 01 02

06

04

0203

01

08

0100

01

33

Choques Uma partiacutecula fica no noacute

visitado somente se o niacutevel de domiacutenio de seu time eacute maior que o dos outros

Caso contraacuterio um choque acontece e a partiacutecula eacute expulsa voltando ao noacute onde estava anteriormente ateacute a proacutexima iteraccedilatildeo

07

03

03

07

0604

0406

34

AlgoritmoConstruir a rede

Configurar os niacuteveis de domiacutenio

Configurar posiccedilatildeo inicial de partiacuteculas e seus correspondentes noacutes-casa

Configurar forccedila da partiacutecula e distacircncia

Repita

Para cada partiacutecula faccedila

Selecione movimento aleatoacuterio ou guloso

Selecione o noacute a ser visitado

Atualize os niacuteveis de domiacutenio do noacute visitado

Atualize a forccedila da partiacutecula

Atualize a tabela de distacircncias

Ateacute que o criteacuterio de parada ou um nuacutemero preacute-definido de passos seja atingido

Rotule cada noacute natildeo rotulado de acordo com o time de partiacuteculas que tiver o maior domiacutenio

35

1 2 3 4

5 6 7 8

9 10 11 12

Voltando ao nosso exemplo dos alunosNo final das iteraccedilotildees

36

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

5

3

7

12

Agora eacute soacute ldquopintarrdquo os noacutes com a classe das partiacuteculas que o dominaram

37

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092 Aprovado

6 873 89 107 092 Aprovado

7 520 75 -046 -035 Reprovado

8 297 59 -143 -179 Reprovado

9 358 72 -117 -062 Reprovado

10 884 88 112 083 Aprovado

11 725 90 043 101 Aprovado

12 612 77 -006 -017 Reprovado

1

11

10

6

8

9

4

2

5

3

7

12

E pronto Todos os dados natildeo rotulados tiveram seus roacutetulos estimados pelo classificador do modelo de partiacuteculas

38

Anaacutelise de complexidade do meacutetodo proposto em rede com meacutedia mistura (a) Nuacutemero de

iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 5119911119900119906119905 lt 119896 gt = 02

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Anaacutelise de complexidade do meacutetodo proposto em rede com

alta mistura (a) Nuacutemero de iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 10119911119900119906119905 lt 119896 gt = 04

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Tamanho da Base de Dados (n)

Tem

po

(se

gun

do

s)

Tempo de execuccedilatildeo de quatro meacutetodos baseados em grafos incluindo o meacutetodo de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas para classificar uma sequencia de bases de dados artificiais com 4 classes com distribuiccedilatildeo Gaussiana com tamanhos crescentes

41

Classificaccedilatildeo de base de dado artificial com 2000

amostras divididas igualmente em duas classes com forma de

banana

Desempenho de Classificaccedilatildeo

42

Classificaccedilatildeo de base de dado artificial com 1000

amostras divididas em duas classes Highleyman

Desempenho de Classificaccedilatildeo

43

Classificaccedilatildeo de base de dado artificial com 1200

amostras divididas emduas classes Lithuanian com 800 e 400 amostras

respectivamente

Desempenho de Classificaccedilatildeo

44

Classificaccedilatildeo de base de dado artificial com 1200

amostras igualmente divididas em trecircs classes

com distribuiccedilatildeo Gaussiana

Desempenho de Classificaccedilatildeo

45

Benchmark - Erros de teste () com 100 pontos de dados rotulados46

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 100 pontos de dados rotulados

Benchmark - Erros de teste () com 10 pontos de dados rotulados48

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 10 pontos de dados rotulados

Erros de classificaccedilatildeo () e tempos de execuccedilatildeo (segundos) de quatro meacutetodos baseados em grafos aplicados em bases de dados grandes

Erros de Classificaccedilatildeo e Tempos de Execuccedilatildeo em Grandes Bases de Dados

50

Extensotildees do Modelo de Partiacuteculas

Detecccedilatildeo de Comunidades SobrepostasAprendizado Semi-Supervisionado com Dados ImperfeitosClassificaccedilatildeo Semi-Supervisionada de Fluxos de DadosAprendizado Ativo e Semi-SupervisionadoSegmentaccedilatildeo de Imagens

51

Extensotildees do Modelo de Partiacuteculas

52

O modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas jaacute foi estendido para realizar diversos tipos de tarefas de aprendizado de maacutequina

Detecccedilatildeo de Comunidades Sobrepostas

Aprendizado Semi-Supervisionado com Dados Imperfeitos

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados

Aprendizado Ativo e Semi-Supervisionado

Segmentaccedilatildeo de Imagens

Detecccedilatildeo de Comunidades Sobrepostas

Breve Fabricio ZHAO Liang Fuzzy community structure detection by particle competition and cooperation Soft Computing (Berlin Print) v 17 p 659-673 2013httpdxdoiorg101007s00500-012-0924-3

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming ParticleCompetition and Cooperation for Uncovering Network Overlap Community Structure In The 8th InternationalSymposium on Neural Networks (ISNN 2011) 2011 Guilin China Lecture Notes in Computer Science Berlin Heidelberg Springer-Verlag 2011 v6677 p426 ndash 433httpdxdoiorg101007978-3-642-21111-9_48

53

Detecccedilatildeo de Comunidades Sobrepostas

Em problemas de classificaccedilatildeo nem sempre os elementos pertencem a um uacutenico grupo

Haacute casos em que elementos pertencem a muacuteltiplas comunidades

Exemplo Redes Sociais

Muacuteltiplos Grupos famiacutelia colegas de trabalho colegas de escola

A maioria dos meacutetodos natildeo consegue detectar tal estrutura de sobreposiccedilatildeo

54Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Esta extensatildeo oferece saiacutedas contiacutenuas atraveacutes de um niacutevel de dominacircncia acumulado

Quantifica a dominacircncia de cada time de partiacuteculas sobre os noacutes ao longo de toda a execuccedilatildeo do algoritmo O niacutevel de dominacircncia acumulado inicia em zero para todas as

classes e eacute aumentado somente quando o movimento aleatoacuterio eacute selecionado na classe correspondente agrave partiacutecula

Nunca diminui

119907119894120582ℓ 119905 + 1 = 119907119894

120582ℓ 119905 + 120588119895120596 119905

55

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 20: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Meacutetodos Baseados em Grafos Aacuterea de pesquisa mais ativa em aprendizado semi-

supervisionado

Dados satildeo representados por noacutes de um grafo onde as arestas satildeo rotuladas com a distacircncia entre os pares de noacutes

Noacutes rotulados satildeo usados para propagar informaccedilatildeo de roacutetulo para os demais

Meacutetodos assumem suavidade de roacutetulos atraveacutes do grafo

20

Exemplo Alunos aprovados em vestibular

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 743 82 Aprovado

2 358 63 Reprovado

3 826 91 Aprovado

4 412 71 Reprovado

5 915 89

6 873 89

7 520 75

8 297 59

9 358 72

10 884 88

11 725 90

12 612 77

Cada aluno eacute um noacute do grafo

Vamos conectar cada noacute com seus 3 vizinhos mais proacuteximos usando a distacircncia euclidiana

11

10

12

87

9

54

6

2

1

3

21

Primeiro vamos normalizar os dados

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 743 82 Aprovado

2 358 63 Reprovado

3 826 91 Aprovado

4 412 71 Reprovado

5 915 89

6 873 89

7 520 75

8 297 59

9 358 72

10 884 88

11 725 90

12 612 77

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 050 029 Aprovado

2 -117 -143 Reprovado

3 086 110 Aprovado

4 -093 -071 Reprovado

5 125 092

6 107 092

7 -046 -035

8 -143 -179

9 -117 -062

10 112 083

11 043 101

12 -006 -017

Dados normalizados meacutedia 0 desvio padratildeo 1

22

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

119889(119894 119895) =2

119909119894 minus 1199091198952+ 119910119894 minus 119910119895

2

1 2 3 4 5 6 7 8 9 10 11 12

1 240 089 175 098 085 116 284 190 082 073 073

2 240 325 076 337 325 129 045 081 321 292 168

3 089 325 255 043 027 196 370 266 037 045 157

4 175 076 255 272 258 059 120 025 256 219 1025 098 337 043 272 018 213 382 287 016 083 171

6 085 325 027 258 018 199 369 271 010 065 157

7 116 129 196 059 213 199 174 075 197 162 044

8 284 045 370 120 382 369 174 121 366 336 213

9 190 081 266 025 287 271 075 121 270 228 119

10 082 321 037 256 016 010 197 366 270 071 154

11 073 292 045 219 083 065 162 336 228 071 127

12 073 168 157 102 171 157 044 213 119 154 127

5

3

7

12

Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em Redes

Descriccedilatildeo do Modelo

Resultados

24

Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em Redes Complexas

Aplicaccedilatildeo em Aprendizado Semi-Supervisionado

Competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas na rede combinado em um esquema uacutenico

Cooperaccedilatildeo Partiacuteculas da mesma classe caminham pela rede de maneira

cooperativa propagando seus roacutetulos

Objetivo Dominar a maior quantidade de noacutes possiacutevel

Competiccedilatildeo Partiacuteculas de classes diferentes competem entre si para

determinar as bordas das classes

Objetivo Evitar a invasatildeo de partiacuteculas de outros times

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming Particle competition and cooperation in networks for semi-supervised learning IEEE Transactions on Knowledge and Data Engineering v24 p1686 - 1698 2012 httpdxdoiorg101109TKDE2011119

25

Configuraccedilatildeo Inicial dos Noacutes

Transforma-se a base de dados em uma rede natildeo direcionada sem peso

Para cada item de dado eacute gerado um noacute na rede

As arestas podem ser geradas usando uma das duas formas

Cada noacute eacute conectado aos vizinhos cuja distacircncia eacute menor que um limiar 120590

Cada noacute eacute conectado aos seus 119948 vizinhos mais proacuteximos

4

26

Configuraccedilatildeo Inicial das Partiacuteculas

Uma partiacutecula eacute gerada para cada noacute rotulado na rede

Este noacute seraacute o noacute casa da partiacutecula correspondente

A posiccedilatildeo inicial de cada partiacutecula eacute ajustada para seu respectivo noacute casa

Partiacuteculas com o mesmo roacutetulo jogam para o mesmo time

4

27

Configuraccedilatildeo Inicial dos Noacutes Cada noacute tem um vetor de domiacutenio

Noacutes rotulados tem niacuteveis de domiacutenio configurados para seus respectivos times Ex [ 1 0 0 0 ] (4 classes noacute rotulado

como classe A)

Noacutes natildeo rotulados tecircm niacuteveis de domiacutenio configurados igualmente para cada time Ex [ 025 025 025 025 ] (4 classes noacute

natildeo rotulado)

002040608

1

002040608

1

119907119894120596ℓ = ൞

1 se 119909119894 eacute rotulado e 119910119894 = ℓ0 se 119909119894 eacute rotulado e 119910119894 ne ℓ

ൗ1 119888 se 119909119894 natildeo eacute rotulado28

Dinacircmica de Noacutes

Quando uma partiacutecula seleciona um vizinho para visitar ela Diminui o niacutevel de domiacutenio de

outros times nesse vizinho

Aumenta o niacutevel de domiacutenio de seu proacuteprio time nesse vizinho

Exceccedilatildeo Niacuteveis de domiacutenio de noacutes

rotulados satildeo fixos

0

05

1

0

05

1

119905

119905 + 1

119907119894120596ℓ 119905 + 1 =

max 0 119907119894120596ℓ 119905 minus

Δ119907120588119895120596 119905

119888 minus 1se 119909119894 natildeo eacute rotulado e ℓ ne 120588119895

119891

119907119894120596ℓ 119905 +

119902neℓ119907119894

120596119902 119905 minus 119907119894

120596119902 119905 + 1 se 119909119894 natildeo eacute rotulado e ℓ = 120588119895119891

119907119894120596ℓ 119905 se 119909119894 eacute rotulado29

Dinacircmica de Partiacuteculas Uma partiacutecula se torna

Forte quando ela visita um noacute dominado por seu time

Fraca quando ela visita um noacute dominado por outro time

0 05 1 0 05 1

01 01 02

06

0 05 1 0 05 1

01

04

0203

120588119895120596 119905 + 1 = 119907119894

120596ℓ 119905 + 1

30

Tabela de Distacircncia Manteacutem a partiacutecula informada da

distacircncia para seu noacute casa Evita que a partiacutecula perca toda sua

forccedila caminhando em territoacuterios inimigos

Manteacutem as partiacuteculas por perto para proteger sua proacutepria vizinhanccedila

Atualizada automaticamente com informaccedilatildeo local Natildeo requer nenhum caacutelculo a priori

4

24

0

1

1

2

33

4

120588119895119889119896 119905 + 1 = ቐ

120588119895119889119894 119905 + 1 se 120588119895

119889119894 119905 + 1 lt 120588119895119889119896 119905

120588119895119889119896 119905 caso contraacuterio31

Caminhada Aleatoacuterio-Gulosa Caminhada Aleatoacuteria

A partiacutecula escolhe aleatoriamente qualquer vizinhos para visitar sem preocupaccedilatildeo com o niacutevel de domiacutenio

Probabilidades iguais para todos os vizinhos

Caminhada Gulosa A partiacutecula prefere visitar noacutes

que ela jaacute domina e noacutes mais proacuteximos de seu noacute casa

Probabilidade de visitar cada vizinho dada pelo niacutevel de domiacutenio e distacircncia

As partiacuteculas precisam exibir ambos os movimentos para que haja um equiliacutebrio entre o comportamento exploratoacuterio e o defensivo

119901 119907119894|120588119895 =119882119902119894

σ120583=1119899 119882119902120583

119901 119907119894|120588119895 =119882119902119894119907119894

120596ℓ 1 + 120588119895119889119894

minus2

σ120583=1119899 119882119902120583 119907120583

120596ℓ 1 + 120588119895

119889120583minus2

CAMINHADA GULOSACAMINHADA ALEATOacuteRIA

Probabilidades no Movimento Guloso

Probabilidades no Movimento Aleatoacuterio

35

18

47

33

33

33

1199071

1199072

1199073

1199074

1199072

1199073

1199074

1199072

1199073

1199074

01 01 02

06

04

0203

01

08

0100

01

33

Choques Uma partiacutecula fica no noacute

visitado somente se o niacutevel de domiacutenio de seu time eacute maior que o dos outros

Caso contraacuterio um choque acontece e a partiacutecula eacute expulsa voltando ao noacute onde estava anteriormente ateacute a proacutexima iteraccedilatildeo

07

03

03

07

0604

0406

34

AlgoritmoConstruir a rede

Configurar os niacuteveis de domiacutenio

Configurar posiccedilatildeo inicial de partiacuteculas e seus correspondentes noacutes-casa

Configurar forccedila da partiacutecula e distacircncia

Repita

Para cada partiacutecula faccedila

Selecione movimento aleatoacuterio ou guloso

Selecione o noacute a ser visitado

Atualize os niacuteveis de domiacutenio do noacute visitado

Atualize a forccedila da partiacutecula

Atualize a tabela de distacircncias

Ateacute que o criteacuterio de parada ou um nuacutemero preacute-definido de passos seja atingido

Rotule cada noacute natildeo rotulado de acordo com o time de partiacuteculas que tiver o maior domiacutenio

35

1 2 3 4

5 6 7 8

9 10 11 12

Voltando ao nosso exemplo dos alunosNo final das iteraccedilotildees

36

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

5

3

7

12

Agora eacute soacute ldquopintarrdquo os noacutes com a classe das partiacuteculas que o dominaram

37

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092 Aprovado

6 873 89 107 092 Aprovado

7 520 75 -046 -035 Reprovado

8 297 59 -143 -179 Reprovado

9 358 72 -117 -062 Reprovado

10 884 88 112 083 Aprovado

11 725 90 043 101 Aprovado

12 612 77 -006 -017 Reprovado

1

11

10

6

8

9

4

2

5

3

7

12

E pronto Todos os dados natildeo rotulados tiveram seus roacutetulos estimados pelo classificador do modelo de partiacuteculas

38

Anaacutelise de complexidade do meacutetodo proposto em rede com meacutedia mistura (a) Nuacutemero de

iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 5119911119900119906119905 lt 119896 gt = 02

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Anaacutelise de complexidade do meacutetodo proposto em rede com

alta mistura (a) Nuacutemero de iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 10119911119900119906119905 lt 119896 gt = 04

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Tamanho da Base de Dados (n)

Tem

po

(se

gun

do

s)

Tempo de execuccedilatildeo de quatro meacutetodos baseados em grafos incluindo o meacutetodo de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas para classificar uma sequencia de bases de dados artificiais com 4 classes com distribuiccedilatildeo Gaussiana com tamanhos crescentes

41

Classificaccedilatildeo de base de dado artificial com 2000

amostras divididas igualmente em duas classes com forma de

banana

Desempenho de Classificaccedilatildeo

42

Classificaccedilatildeo de base de dado artificial com 1000

amostras divididas em duas classes Highleyman

Desempenho de Classificaccedilatildeo

43

Classificaccedilatildeo de base de dado artificial com 1200

amostras divididas emduas classes Lithuanian com 800 e 400 amostras

respectivamente

Desempenho de Classificaccedilatildeo

44

Classificaccedilatildeo de base de dado artificial com 1200

amostras igualmente divididas em trecircs classes

com distribuiccedilatildeo Gaussiana

Desempenho de Classificaccedilatildeo

45

Benchmark - Erros de teste () com 100 pontos de dados rotulados46

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 100 pontos de dados rotulados

Benchmark - Erros de teste () com 10 pontos de dados rotulados48

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 10 pontos de dados rotulados

Erros de classificaccedilatildeo () e tempos de execuccedilatildeo (segundos) de quatro meacutetodos baseados em grafos aplicados em bases de dados grandes

Erros de Classificaccedilatildeo e Tempos de Execuccedilatildeo em Grandes Bases de Dados

50

Extensotildees do Modelo de Partiacuteculas

Detecccedilatildeo de Comunidades SobrepostasAprendizado Semi-Supervisionado com Dados ImperfeitosClassificaccedilatildeo Semi-Supervisionada de Fluxos de DadosAprendizado Ativo e Semi-SupervisionadoSegmentaccedilatildeo de Imagens

51

Extensotildees do Modelo de Partiacuteculas

52

O modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas jaacute foi estendido para realizar diversos tipos de tarefas de aprendizado de maacutequina

Detecccedilatildeo de Comunidades Sobrepostas

Aprendizado Semi-Supervisionado com Dados Imperfeitos

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados

Aprendizado Ativo e Semi-Supervisionado

Segmentaccedilatildeo de Imagens

Detecccedilatildeo de Comunidades Sobrepostas

Breve Fabricio ZHAO Liang Fuzzy community structure detection by particle competition and cooperation Soft Computing (Berlin Print) v 17 p 659-673 2013httpdxdoiorg101007s00500-012-0924-3

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming ParticleCompetition and Cooperation for Uncovering Network Overlap Community Structure In The 8th InternationalSymposium on Neural Networks (ISNN 2011) 2011 Guilin China Lecture Notes in Computer Science Berlin Heidelberg Springer-Verlag 2011 v6677 p426 ndash 433httpdxdoiorg101007978-3-642-21111-9_48

53

Detecccedilatildeo de Comunidades Sobrepostas

Em problemas de classificaccedilatildeo nem sempre os elementos pertencem a um uacutenico grupo

Haacute casos em que elementos pertencem a muacuteltiplas comunidades

Exemplo Redes Sociais

Muacuteltiplos Grupos famiacutelia colegas de trabalho colegas de escola

A maioria dos meacutetodos natildeo consegue detectar tal estrutura de sobreposiccedilatildeo

54Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Esta extensatildeo oferece saiacutedas contiacutenuas atraveacutes de um niacutevel de dominacircncia acumulado

Quantifica a dominacircncia de cada time de partiacuteculas sobre os noacutes ao longo de toda a execuccedilatildeo do algoritmo O niacutevel de dominacircncia acumulado inicia em zero para todas as

classes e eacute aumentado somente quando o movimento aleatoacuterio eacute selecionado na classe correspondente agrave partiacutecula

Nunca diminui

119907119894120582ℓ 119905 + 1 = 119907119894

120582ℓ 119905 + 120588119895120596 119905

55

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 21: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Exemplo Alunos aprovados em vestibular

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 743 82 Aprovado

2 358 63 Reprovado

3 826 91 Aprovado

4 412 71 Reprovado

5 915 89

6 873 89

7 520 75

8 297 59

9 358 72

10 884 88

11 725 90

12 612 77

Cada aluno eacute um noacute do grafo

Vamos conectar cada noacute com seus 3 vizinhos mais proacuteximos usando a distacircncia euclidiana

11

10

12

87

9

54

6

2

1

3

21

Primeiro vamos normalizar os dados

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 743 82 Aprovado

2 358 63 Reprovado

3 826 91 Aprovado

4 412 71 Reprovado

5 915 89

6 873 89

7 520 75

8 297 59

9 358 72

10 884 88

11 725 90

12 612 77

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 050 029 Aprovado

2 -117 -143 Reprovado

3 086 110 Aprovado

4 -093 -071 Reprovado

5 125 092

6 107 092

7 -046 -035

8 -143 -179

9 -117 -062

10 112 083

11 043 101

12 -006 -017

Dados normalizados meacutedia 0 desvio padratildeo 1

22

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

119889(119894 119895) =2

119909119894 minus 1199091198952+ 119910119894 minus 119910119895

2

1 2 3 4 5 6 7 8 9 10 11 12

1 240 089 175 098 085 116 284 190 082 073 073

2 240 325 076 337 325 129 045 081 321 292 168

3 089 325 255 043 027 196 370 266 037 045 157

4 175 076 255 272 258 059 120 025 256 219 1025 098 337 043 272 018 213 382 287 016 083 171

6 085 325 027 258 018 199 369 271 010 065 157

7 116 129 196 059 213 199 174 075 197 162 044

8 284 045 370 120 382 369 174 121 366 336 213

9 190 081 266 025 287 271 075 121 270 228 119

10 082 321 037 256 016 010 197 366 270 071 154

11 073 292 045 219 083 065 162 336 228 071 127

12 073 168 157 102 171 157 044 213 119 154 127

5

3

7

12

Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em Redes

Descriccedilatildeo do Modelo

Resultados

24

Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em Redes Complexas

Aplicaccedilatildeo em Aprendizado Semi-Supervisionado

Competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas na rede combinado em um esquema uacutenico

Cooperaccedilatildeo Partiacuteculas da mesma classe caminham pela rede de maneira

cooperativa propagando seus roacutetulos

Objetivo Dominar a maior quantidade de noacutes possiacutevel

Competiccedilatildeo Partiacuteculas de classes diferentes competem entre si para

determinar as bordas das classes

Objetivo Evitar a invasatildeo de partiacuteculas de outros times

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming Particle competition and cooperation in networks for semi-supervised learning IEEE Transactions on Knowledge and Data Engineering v24 p1686 - 1698 2012 httpdxdoiorg101109TKDE2011119

25

Configuraccedilatildeo Inicial dos Noacutes

Transforma-se a base de dados em uma rede natildeo direcionada sem peso

Para cada item de dado eacute gerado um noacute na rede

As arestas podem ser geradas usando uma das duas formas

Cada noacute eacute conectado aos vizinhos cuja distacircncia eacute menor que um limiar 120590

Cada noacute eacute conectado aos seus 119948 vizinhos mais proacuteximos

4

26

Configuraccedilatildeo Inicial das Partiacuteculas

Uma partiacutecula eacute gerada para cada noacute rotulado na rede

Este noacute seraacute o noacute casa da partiacutecula correspondente

A posiccedilatildeo inicial de cada partiacutecula eacute ajustada para seu respectivo noacute casa

Partiacuteculas com o mesmo roacutetulo jogam para o mesmo time

4

27

Configuraccedilatildeo Inicial dos Noacutes Cada noacute tem um vetor de domiacutenio

Noacutes rotulados tem niacuteveis de domiacutenio configurados para seus respectivos times Ex [ 1 0 0 0 ] (4 classes noacute rotulado

como classe A)

Noacutes natildeo rotulados tecircm niacuteveis de domiacutenio configurados igualmente para cada time Ex [ 025 025 025 025 ] (4 classes noacute

natildeo rotulado)

002040608

1

002040608

1

119907119894120596ℓ = ൞

1 se 119909119894 eacute rotulado e 119910119894 = ℓ0 se 119909119894 eacute rotulado e 119910119894 ne ℓ

ൗ1 119888 se 119909119894 natildeo eacute rotulado28

Dinacircmica de Noacutes

Quando uma partiacutecula seleciona um vizinho para visitar ela Diminui o niacutevel de domiacutenio de

outros times nesse vizinho

Aumenta o niacutevel de domiacutenio de seu proacuteprio time nesse vizinho

Exceccedilatildeo Niacuteveis de domiacutenio de noacutes

rotulados satildeo fixos

0

05

1

0

05

1

119905

119905 + 1

119907119894120596ℓ 119905 + 1 =

max 0 119907119894120596ℓ 119905 minus

Δ119907120588119895120596 119905

119888 minus 1se 119909119894 natildeo eacute rotulado e ℓ ne 120588119895

119891

119907119894120596ℓ 119905 +

119902neℓ119907119894

120596119902 119905 minus 119907119894

120596119902 119905 + 1 se 119909119894 natildeo eacute rotulado e ℓ = 120588119895119891

119907119894120596ℓ 119905 se 119909119894 eacute rotulado29

Dinacircmica de Partiacuteculas Uma partiacutecula se torna

Forte quando ela visita um noacute dominado por seu time

Fraca quando ela visita um noacute dominado por outro time

0 05 1 0 05 1

01 01 02

06

0 05 1 0 05 1

01

04

0203

120588119895120596 119905 + 1 = 119907119894

120596ℓ 119905 + 1

30

Tabela de Distacircncia Manteacutem a partiacutecula informada da

distacircncia para seu noacute casa Evita que a partiacutecula perca toda sua

forccedila caminhando em territoacuterios inimigos

Manteacutem as partiacuteculas por perto para proteger sua proacutepria vizinhanccedila

Atualizada automaticamente com informaccedilatildeo local Natildeo requer nenhum caacutelculo a priori

4

24

0

1

1

2

33

4

120588119895119889119896 119905 + 1 = ቐ

120588119895119889119894 119905 + 1 se 120588119895

119889119894 119905 + 1 lt 120588119895119889119896 119905

120588119895119889119896 119905 caso contraacuterio31

Caminhada Aleatoacuterio-Gulosa Caminhada Aleatoacuteria

A partiacutecula escolhe aleatoriamente qualquer vizinhos para visitar sem preocupaccedilatildeo com o niacutevel de domiacutenio

Probabilidades iguais para todos os vizinhos

Caminhada Gulosa A partiacutecula prefere visitar noacutes

que ela jaacute domina e noacutes mais proacuteximos de seu noacute casa

Probabilidade de visitar cada vizinho dada pelo niacutevel de domiacutenio e distacircncia

As partiacuteculas precisam exibir ambos os movimentos para que haja um equiliacutebrio entre o comportamento exploratoacuterio e o defensivo

119901 119907119894|120588119895 =119882119902119894

σ120583=1119899 119882119902120583

119901 119907119894|120588119895 =119882119902119894119907119894

120596ℓ 1 + 120588119895119889119894

minus2

σ120583=1119899 119882119902120583 119907120583

120596ℓ 1 + 120588119895

119889120583minus2

CAMINHADA GULOSACAMINHADA ALEATOacuteRIA

Probabilidades no Movimento Guloso

Probabilidades no Movimento Aleatoacuterio

35

18

47

33

33

33

1199071

1199072

1199073

1199074

1199072

1199073

1199074

1199072

1199073

1199074

01 01 02

06

04

0203

01

08

0100

01

33

Choques Uma partiacutecula fica no noacute

visitado somente se o niacutevel de domiacutenio de seu time eacute maior que o dos outros

Caso contraacuterio um choque acontece e a partiacutecula eacute expulsa voltando ao noacute onde estava anteriormente ateacute a proacutexima iteraccedilatildeo

07

03

03

07

0604

0406

34

AlgoritmoConstruir a rede

Configurar os niacuteveis de domiacutenio

Configurar posiccedilatildeo inicial de partiacuteculas e seus correspondentes noacutes-casa

Configurar forccedila da partiacutecula e distacircncia

Repita

Para cada partiacutecula faccedila

Selecione movimento aleatoacuterio ou guloso

Selecione o noacute a ser visitado

Atualize os niacuteveis de domiacutenio do noacute visitado

Atualize a forccedila da partiacutecula

Atualize a tabela de distacircncias

Ateacute que o criteacuterio de parada ou um nuacutemero preacute-definido de passos seja atingido

Rotule cada noacute natildeo rotulado de acordo com o time de partiacuteculas que tiver o maior domiacutenio

35

1 2 3 4

5 6 7 8

9 10 11 12

Voltando ao nosso exemplo dos alunosNo final das iteraccedilotildees

36

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

5

3

7

12

Agora eacute soacute ldquopintarrdquo os noacutes com a classe das partiacuteculas que o dominaram

37

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092 Aprovado

6 873 89 107 092 Aprovado

7 520 75 -046 -035 Reprovado

8 297 59 -143 -179 Reprovado

9 358 72 -117 -062 Reprovado

10 884 88 112 083 Aprovado

11 725 90 043 101 Aprovado

12 612 77 -006 -017 Reprovado

1

11

10

6

8

9

4

2

5

3

7

12

E pronto Todos os dados natildeo rotulados tiveram seus roacutetulos estimados pelo classificador do modelo de partiacuteculas

38

Anaacutelise de complexidade do meacutetodo proposto em rede com meacutedia mistura (a) Nuacutemero de

iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 5119911119900119906119905 lt 119896 gt = 02

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Anaacutelise de complexidade do meacutetodo proposto em rede com

alta mistura (a) Nuacutemero de iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 10119911119900119906119905 lt 119896 gt = 04

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Tamanho da Base de Dados (n)

Tem

po

(se

gun

do

s)

Tempo de execuccedilatildeo de quatro meacutetodos baseados em grafos incluindo o meacutetodo de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas para classificar uma sequencia de bases de dados artificiais com 4 classes com distribuiccedilatildeo Gaussiana com tamanhos crescentes

41

Classificaccedilatildeo de base de dado artificial com 2000

amostras divididas igualmente em duas classes com forma de

banana

Desempenho de Classificaccedilatildeo

42

Classificaccedilatildeo de base de dado artificial com 1000

amostras divididas em duas classes Highleyman

Desempenho de Classificaccedilatildeo

43

Classificaccedilatildeo de base de dado artificial com 1200

amostras divididas emduas classes Lithuanian com 800 e 400 amostras

respectivamente

Desempenho de Classificaccedilatildeo

44

Classificaccedilatildeo de base de dado artificial com 1200

amostras igualmente divididas em trecircs classes

com distribuiccedilatildeo Gaussiana

Desempenho de Classificaccedilatildeo

45

Benchmark - Erros de teste () com 100 pontos de dados rotulados46

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 100 pontos de dados rotulados

Benchmark - Erros de teste () com 10 pontos de dados rotulados48

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 10 pontos de dados rotulados

Erros de classificaccedilatildeo () e tempos de execuccedilatildeo (segundos) de quatro meacutetodos baseados em grafos aplicados em bases de dados grandes

Erros de Classificaccedilatildeo e Tempos de Execuccedilatildeo em Grandes Bases de Dados

50

Extensotildees do Modelo de Partiacuteculas

Detecccedilatildeo de Comunidades SobrepostasAprendizado Semi-Supervisionado com Dados ImperfeitosClassificaccedilatildeo Semi-Supervisionada de Fluxos de DadosAprendizado Ativo e Semi-SupervisionadoSegmentaccedilatildeo de Imagens

51

Extensotildees do Modelo de Partiacuteculas

52

O modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas jaacute foi estendido para realizar diversos tipos de tarefas de aprendizado de maacutequina

Detecccedilatildeo de Comunidades Sobrepostas

Aprendizado Semi-Supervisionado com Dados Imperfeitos

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados

Aprendizado Ativo e Semi-Supervisionado

Segmentaccedilatildeo de Imagens

Detecccedilatildeo de Comunidades Sobrepostas

Breve Fabricio ZHAO Liang Fuzzy community structure detection by particle competition and cooperation Soft Computing (Berlin Print) v 17 p 659-673 2013httpdxdoiorg101007s00500-012-0924-3

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming ParticleCompetition and Cooperation for Uncovering Network Overlap Community Structure In The 8th InternationalSymposium on Neural Networks (ISNN 2011) 2011 Guilin China Lecture Notes in Computer Science Berlin Heidelberg Springer-Verlag 2011 v6677 p426 ndash 433httpdxdoiorg101007978-3-642-21111-9_48

53

Detecccedilatildeo de Comunidades Sobrepostas

Em problemas de classificaccedilatildeo nem sempre os elementos pertencem a um uacutenico grupo

Haacute casos em que elementos pertencem a muacuteltiplas comunidades

Exemplo Redes Sociais

Muacuteltiplos Grupos famiacutelia colegas de trabalho colegas de escola

A maioria dos meacutetodos natildeo consegue detectar tal estrutura de sobreposiccedilatildeo

54Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Esta extensatildeo oferece saiacutedas contiacutenuas atraveacutes de um niacutevel de dominacircncia acumulado

Quantifica a dominacircncia de cada time de partiacuteculas sobre os noacutes ao longo de toda a execuccedilatildeo do algoritmo O niacutevel de dominacircncia acumulado inicia em zero para todas as

classes e eacute aumentado somente quando o movimento aleatoacuterio eacute selecionado na classe correspondente agrave partiacutecula

Nunca diminui

119907119894120582ℓ 119905 + 1 = 119907119894

120582ℓ 119905 + 120588119895120596 119905

55

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 22: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Primeiro vamos normalizar os dados

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 743 82 Aprovado

2 358 63 Reprovado

3 826 91 Aprovado

4 412 71 Reprovado

5 915 89

6 873 89

7 520 75

8 297 59

9 358 72

10 884 88

11 725 90

12 612 77

ID Nota ENEM

Meacutedia doHistoacuterico

Situaccedilatildeo

1 050 029 Aprovado

2 -117 -143 Reprovado

3 086 110 Aprovado

4 -093 -071 Reprovado

5 125 092

6 107 092

7 -046 -035

8 -143 -179

9 -117 -062

10 112 083

11 043 101

12 -006 -017

Dados normalizados meacutedia 0 desvio padratildeo 1

22

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

119889(119894 119895) =2

119909119894 minus 1199091198952+ 119910119894 minus 119910119895

2

1 2 3 4 5 6 7 8 9 10 11 12

1 240 089 175 098 085 116 284 190 082 073 073

2 240 325 076 337 325 129 045 081 321 292 168

3 089 325 255 043 027 196 370 266 037 045 157

4 175 076 255 272 258 059 120 025 256 219 1025 098 337 043 272 018 213 382 287 016 083 171

6 085 325 027 258 018 199 369 271 010 065 157

7 116 129 196 059 213 199 174 075 197 162 044

8 284 045 370 120 382 369 174 121 366 336 213

9 190 081 266 025 287 271 075 121 270 228 119

10 082 321 037 256 016 010 197 366 270 071 154

11 073 292 045 219 083 065 162 336 228 071 127

12 073 168 157 102 171 157 044 213 119 154 127

5

3

7

12

Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em Redes

Descriccedilatildeo do Modelo

Resultados

24

Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em Redes Complexas

Aplicaccedilatildeo em Aprendizado Semi-Supervisionado

Competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas na rede combinado em um esquema uacutenico

Cooperaccedilatildeo Partiacuteculas da mesma classe caminham pela rede de maneira

cooperativa propagando seus roacutetulos

Objetivo Dominar a maior quantidade de noacutes possiacutevel

Competiccedilatildeo Partiacuteculas de classes diferentes competem entre si para

determinar as bordas das classes

Objetivo Evitar a invasatildeo de partiacuteculas de outros times

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming Particle competition and cooperation in networks for semi-supervised learning IEEE Transactions on Knowledge and Data Engineering v24 p1686 - 1698 2012 httpdxdoiorg101109TKDE2011119

25

Configuraccedilatildeo Inicial dos Noacutes

Transforma-se a base de dados em uma rede natildeo direcionada sem peso

Para cada item de dado eacute gerado um noacute na rede

As arestas podem ser geradas usando uma das duas formas

Cada noacute eacute conectado aos vizinhos cuja distacircncia eacute menor que um limiar 120590

Cada noacute eacute conectado aos seus 119948 vizinhos mais proacuteximos

4

26

Configuraccedilatildeo Inicial das Partiacuteculas

Uma partiacutecula eacute gerada para cada noacute rotulado na rede

Este noacute seraacute o noacute casa da partiacutecula correspondente

A posiccedilatildeo inicial de cada partiacutecula eacute ajustada para seu respectivo noacute casa

Partiacuteculas com o mesmo roacutetulo jogam para o mesmo time

4

27

Configuraccedilatildeo Inicial dos Noacutes Cada noacute tem um vetor de domiacutenio

Noacutes rotulados tem niacuteveis de domiacutenio configurados para seus respectivos times Ex [ 1 0 0 0 ] (4 classes noacute rotulado

como classe A)

Noacutes natildeo rotulados tecircm niacuteveis de domiacutenio configurados igualmente para cada time Ex [ 025 025 025 025 ] (4 classes noacute

natildeo rotulado)

002040608

1

002040608

1

119907119894120596ℓ = ൞

1 se 119909119894 eacute rotulado e 119910119894 = ℓ0 se 119909119894 eacute rotulado e 119910119894 ne ℓ

ൗ1 119888 se 119909119894 natildeo eacute rotulado28

Dinacircmica de Noacutes

Quando uma partiacutecula seleciona um vizinho para visitar ela Diminui o niacutevel de domiacutenio de

outros times nesse vizinho

Aumenta o niacutevel de domiacutenio de seu proacuteprio time nesse vizinho

Exceccedilatildeo Niacuteveis de domiacutenio de noacutes

rotulados satildeo fixos

0

05

1

0

05

1

119905

119905 + 1

119907119894120596ℓ 119905 + 1 =

max 0 119907119894120596ℓ 119905 minus

Δ119907120588119895120596 119905

119888 minus 1se 119909119894 natildeo eacute rotulado e ℓ ne 120588119895

119891

119907119894120596ℓ 119905 +

119902neℓ119907119894

120596119902 119905 minus 119907119894

120596119902 119905 + 1 se 119909119894 natildeo eacute rotulado e ℓ = 120588119895119891

119907119894120596ℓ 119905 se 119909119894 eacute rotulado29

Dinacircmica de Partiacuteculas Uma partiacutecula se torna

Forte quando ela visita um noacute dominado por seu time

Fraca quando ela visita um noacute dominado por outro time

0 05 1 0 05 1

01 01 02

06

0 05 1 0 05 1

01

04

0203

120588119895120596 119905 + 1 = 119907119894

120596ℓ 119905 + 1

30

Tabela de Distacircncia Manteacutem a partiacutecula informada da

distacircncia para seu noacute casa Evita que a partiacutecula perca toda sua

forccedila caminhando em territoacuterios inimigos

Manteacutem as partiacuteculas por perto para proteger sua proacutepria vizinhanccedila

Atualizada automaticamente com informaccedilatildeo local Natildeo requer nenhum caacutelculo a priori

4

24

0

1

1

2

33

4

120588119895119889119896 119905 + 1 = ቐ

120588119895119889119894 119905 + 1 se 120588119895

119889119894 119905 + 1 lt 120588119895119889119896 119905

120588119895119889119896 119905 caso contraacuterio31

Caminhada Aleatoacuterio-Gulosa Caminhada Aleatoacuteria

A partiacutecula escolhe aleatoriamente qualquer vizinhos para visitar sem preocupaccedilatildeo com o niacutevel de domiacutenio

Probabilidades iguais para todos os vizinhos

Caminhada Gulosa A partiacutecula prefere visitar noacutes

que ela jaacute domina e noacutes mais proacuteximos de seu noacute casa

Probabilidade de visitar cada vizinho dada pelo niacutevel de domiacutenio e distacircncia

As partiacuteculas precisam exibir ambos os movimentos para que haja um equiliacutebrio entre o comportamento exploratoacuterio e o defensivo

119901 119907119894|120588119895 =119882119902119894

σ120583=1119899 119882119902120583

119901 119907119894|120588119895 =119882119902119894119907119894

120596ℓ 1 + 120588119895119889119894

minus2

σ120583=1119899 119882119902120583 119907120583

120596ℓ 1 + 120588119895

119889120583minus2

CAMINHADA GULOSACAMINHADA ALEATOacuteRIA

Probabilidades no Movimento Guloso

Probabilidades no Movimento Aleatoacuterio

35

18

47

33

33

33

1199071

1199072

1199073

1199074

1199072

1199073

1199074

1199072

1199073

1199074

01 01 02

06

04

0203

01

08

0100

01

33

Choques Uma partiacutecula fica no noacute

visitado somente se o niacutevel de domiacutenio de seu time eacute maior que o dos outros

Caso contraacuterio um choque acontece e a partiacutecula eacute expulsa voltando ao noacute onde estava anteriormente ateacute a proacutexima iteraccedilatildeo

07

03

03

07

0604

0406

34

AlgoritmoConstruir a rede

Configurar os niacuteveis de domiacutenio

Configurar posiccedilatildeo inicial de partiacuteculas e seus correspondentes noacutes-casa

Configurar forccedila da partiacutecula e distacircncia

Repita

Para cada partiacutecula faccedila

Selecione movimento aleatoacuterio ou guloso

Selecione o noacute a ser visitado

Atualize os niacuteveis de domiacutenio do noacute visitado

Atualize a forccedila da partiacutecula

Atualize a tabela de distacircncias

Ateacute que o criteacuterio de parada ou um nuacutemero preacute-definido de passos seja atingido

Rotule cada noacute natildeo rotulado de acordo com o time de partiacuteculas que tiver o maior domiacutenio

35

1 2 3 4

5 6 7 8

9 10 11 12

Voltando ao nosso exemplo dos alunosNo final das iteraccedilotildees

36

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

5

3

7

12

Agora eacute soacute ldquopintarrdquo os noacutes com a classe das partiacuteculas que o dominaram

37

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092 Aprovado

6 873 89 107 092 Aprovado

7 520 75 -046 -035 Reprovado

8 297 59 -143 -179 Reprovado

9 358 72 -117 -062 Reprovado

10 884 88 112 083 Aprovado

11 725 90 043 101 Aprovado

12 612 77 -006 -017 Reprovado

1

11

10

6

8

9

4

2

5

3

7

12

E pronto Todos os dados natildeo rotulados tiveram seus roacutetulos estimados pelo classificador do modelo de partiacuteculas

38

Anaacutelise de complexidade do meacutetodo proposto em rede com meacutedia mistura (a) Nuacutemero de

iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 5119911119900119906119905 lt 119896 gt = 02

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Anaacutelise de complexidade do meacutetodo proposto em rede com

alta mistura (a) Nuacutemero de iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 10119911119900119906119905 lt 119896 gt = 04

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Tamanho da Base de Dados (n)

Tem

po

(se

gun

do

s)

Tempo de execuccedilatildeo de quatro meacutetodos baseados em grafos incluindo o meacutetodo de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas para classificar uma sequencia de bases de dados artificiais com 4 classes com distribuiccedilatildeo Gaussiana com tamanhos crescentes

41

Classificaccedilatildeo de base de dado artificial com 2000

amostras divididas igualmente em duas classes com forma de

banana

Desempenho de Classificaccedilatildeo

42

Classificaccedilatildeo de base de dado artificial com 1000

amostras divididas em duas classes Highleyman

Desempenho de Classificaccedilatildeo

43

Classificaccedilatildeo de base de dado artificial com 1200

amostras divididas emduas classes Lithuanian com 800 e 400 amostras

respectivamente

Desempenho de Classificaccedilatildeo

44

Classificaccedilatildeo de base de dado artificial com 1200

amostras igualmente divididas em trecircs classes

com distribuiccedilatildeo Gaussiana

Desempenho de Classificaccedilatildeo

45

Benchmark - Erros de teste () com 100 pontos de dados rotulados46

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 100 pontos de dados rotulados

Benchmark - Erros de teste () com 10 pontos de dados rotulados48

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 10 pontos de dados rotulados

Erros de classificaccedilatildeo () e tempos de execuccedilatildeo (segundos) de quatro meacutetodos baseados em grafos aplicados em bases de dados grandes

Erros de Classificaccedilatildeo e Tempos de Execuccedilatildeo em Grandes Bases de Dados

50

Extensotildees do Modelo de Partiacuteculas

Detecccedilatildeo de Comunidades SobrepostasAprendizado Semi-Supervisionado com Dados ImperfeitosClassificaccedilatildeo Semi-Supervisionada de Fluxos de DadosAprendizado Ativo e Semi-SupervisionadoSegmentaccedilatildeo de Imagens

51

Extensotildees do Modelo de Partiacuteculas

52

O modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas jaacute foi estendido para realizar diversos tipos de tarefas de aprendizado de maacutequina

Detecccedilatildeo de Comunidades Sobrepostas

Aprendizado Semi-Supervisionado com Dados Imperfeitos

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados

Aprendizado Ativo e Semi-Supervisionado

Segmentaccedilatildeo de Imagens

Detecccedilatildeo de Comunidades Sobrepostas

Breve Fabricio ZHAO Liang Fuzzy community structure detection by particle competition and cooperation Soft Computing (Berlin Print) v 17 p 659-673 2013httpdxdoiorg101007s00500-012-0924-3

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming ParticleCompetition and Cooperation for Uncovering Network Overlap Community Structure In The 8th InternationalSymposium on Neural Networks (ISNN 2011) 2011 Guilin China Lecture Notes in Computer Science Berlin Heidelberg Springer-Verlag 2011 v6677 p426 ndash 433httpdxdoiorg101007978-3-642-21111-9_48

53

Detecccedilatildeo de Comunidades Sobrepostas

Em problemas de classificaccedilatildeo nem sempre os elementos pertencem a um uacutenico grupo

Haacute casos em que elementos pertencem a muacuteltiplas comunidades

Exemplo Redes Sociais

Muacuteltiplos Grupos famiacutelia colegas de trabalho colegas de escola

A maioria dos meacutetodos natildeo consegue detectar tal estrutura de sobreposiccedilatildeo

54Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Esta extensatildeo oferece saiacutedas contiacutenuas atraveacutes de um niacutevel de dominacircncia acumulado

Quantifica a dominacircncia de cada time de partiacuteculas sobre os noacutes ao longo de toda a execuccedilatildeo do algoritmo O niacutevel de dominacircncia acumulado inicia em zero para todas as

classes e eacute aumentado somente quando o movimento aleatoacuterio eacute selecionado na classe correspondente agrave partiacutecula

Nunca diminui

119907119894120582ℓ 119905 + 1 = 119907119894

120582ℓ 119905 + 120588119895120596 119905

55

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 23: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

119889(119894 119895) =2

119909119894 minus 1199091198952+ 119910119894 minus 119910119895

2

1 2 3 4 5 6 7 8 9 10 11 12

1 240 089 175 098 085 116 284 190 082 073 073

2 240 325 076 337 325 129 045 081 321 292 168

3 089 325 255 043 027 196 370 266 037 045 157

4 175 076 255 272 258 059 120 025 256 219 1025 098 337 043 272 018 213 382 287 016 083 171

6 085 325 027 258 018 199 369 271 010 065 157

7 116 129 196 059 213 199 174 075 197 162 044

8 284 045 370 120 382 369 174 121 366 336 213

9 190 081 266 025 287 271 075 121 270 228 119

10 082 321 037 256 016 010 197 366 270 071 154

11 073 292 045 219 083 065 162 336 228 071 127

12 073 168 157 102 171 157 044 213 119 154 127

5

3

7

12

Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em Redes

Descriccedilatildeo do Modelo

Resultados

24

Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em Redes Complexas

Aplicaccedilatildeo em Aprendizado Semi-Supervisionado

Competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas na rede combinado em um esquema uacutenico

Cooperaccedilatildeo Partiacuteculas da mesma classe caminham pela rede de maneira

cooperativa propagando seus roacutetulos

Objetivo Dominar a maior quantidade de noacutes possiacutevel

Competiccedilatildeo Partiacuteculas de classes diferentes competem entre si para

determinar as bordas das classes

Objetivo Evitar a invasatildeo de partiacuteculas de outros times

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming Particle competition and cooperation in networks for semi-supervised learning IEEE Transactions on Knowledge and Data Engineering v24 p1686 - 1698 2012 httpdxdoiorg101109TKDE2011119

25

Configuraccedilatildeo Inicial dos Noacutes

Transforma-se a base de dados em uma rede natildeo direcionada sem peso

Para cada item de dado eacute gerado um noacute na rede

As arestas podem ser geradas usando uma das duas formas

Cada noacute eacute conectado aos vizinhos cuja distacircncia eacute menor que um limiar 120590

Cada noacute eacute conectado aos seus 119948 vizinhos mais proacuteximos

4

26

Configuraccedilatildeo Inicial das Partiacuteculas

Uma partiacutecula eacute gerada para cada noacute rotulado na rede

Este noacute seraacute o noacute casa da partiacutecula correspondente

A posiccedilatildeo inicial de cada partiacutecula eacute ajustada para seu respectivo noacute casa

Partiacuteculas com o mesmo roacutetulo jogam para o mesmo time

4

27

Configuraccedilatildeo Inicial dos Noacutes Cada noacute tem um vetor de domiacutenio

Noacutes rotulados tem niacuteveis de domiacutenio configurados para seus respectivos times Ex [ 1 0 0 0 ] (4 classes noacute rotulado

como classe A)

Noacutes natildeo rotulados tecircm niacuteveis de domiacutenio configurados igualmente para cada time Ex [ 025 025 025 025 ] (4 classes noacute

natildeo rotulado)

002040608

1

002040608

1

119907119894120596ℓ = ൞

1 se 119909119894 eacute rotulado e 119910119894 = ℓ0 se 119909119894 eacute rotulado e 119910119894 ne ℓ

ൗ1 119888 se 119909119894 natildeo eacute rotulado28

Dinacircmica de Noacutes

Quando uma partiacutecula seleciona um vizinho para visitar ela Diminui o niacutevel de domiacutenio de

outros times nesse vizinho

Aumenta o niacutevel de domiacutenio de seu proacuteprio time nesse vizinho

Exceccedilatildeo Niacuteveis de domiacutenio de noacutes

rotulados satildeo fixos

0

05

1

0

05

1

119905

119905 + 1

119907119894120596ℓ 119905 + 1 =

max 0 119907119894120596ℓ 119905 minus

Δ119907120588119895120596 119905

119888 minus 1se 119909119894 natildeo eacute rotulado e ℓ ne 120588119895

119891

119907119894120596ℓ 119905 +

119902neℓ119907119894

120596119902 119905 minus 119907119894

120596119902 119905 + 1 se 119909119894 natildeo eacute rotulado e ℓ = 120588119895119891

119907119894120596ℓ 119905 se 119909119894 eacute rotulado29

Dinacircmica de Partiacuteculas Uma partiacutecula se torna

Forte quando ela visita um noacute dominado por seu time

Fraca quando ela visita um noacute dominado por outro time

0 05 1 0 05 1

01 01 02

06

0 05 1 0 05 1

01

04

0203

120588119895120596 119905 + 1 = 119907119894

120596ℓ 119905 + 1

30

Tabela de Distacircncia Manteacutem a partiacutecula informada da

distacircncia para seu noacute casa Evita que a partiacutecula perca toda sua

forccedila caminhando em territoacuterios inimigos

Manteacutem as partiacuteculas por perto para proteger sua proacutepria vizinhanccedila

Atualizada automaticamente com informaccedilatildeo local Natildeo requer nenhum caacutelculo a priori

4

24

0

1

1

2

33

4

120588119895119889119896 119905 + 1 = ቐ

120588119895119889119894 119905 + 1 se 120588119895

119889119894 119905 + 1 lt 120588119895119889119896 119905

120588119895119889119896 119905 caso contraacuterio31

Caminhada Aleatoacuterio-Gulosa Caminhada Aleatoacuteria

A partiacutecula escolhe aleatoriamente qualquer vizinhos para visitar sem preocupaccedilatildeo com o niacutevel de domiacutenio

Probabilidades iguais para todos os vizinhos

Caminhada Gulosa A partiacutecula prefere visitar noacutes

que ela jaacute domina e noacutes mais proacuteximos de seu noacute casa

Probabilidade de visitar cada vizinho dada pelo niacutevel de domiacutenio e distacircncia

As partiacuteculas precisam exibir ambos os movimentos para que haja um equiliacutebrio entre o comportamento exploratoacuterio e o defensivo

119901 119907119894|120588119895 =119882119902119894

σ120583=1119899 119882119902120583

119901 119907119894|120588119895 =119882119902119894119907119894

120596ℓ 1 + 120588119895119889119894

minus2

σ120583=1119899 119882119902120583 119907120583

120596ℓ 1 + 120588119895

119889120583minus2

CAMINHADA GULOSACAMINHADA ALEATOacuteRIA

Probabilidades no Movimento Guloso

Probabilidades no Movimento Aleatoacuterio

35

18

47

33

33

33

1199071

1199072

1199073

1199074

1199072

1199073

1199074

1199072

1199073

1199074

01 01 02

06

04

0203

01

08

0100

01

33

Choques Uma partiacutecula fica no noacute

visitado somente se o niacutevel de domiacutenio de seu time eacute maior que o dos outros

Caso contraacuterio um choque acontece e a partiacutecula eacute expulsa voltando ao noacute onde estava anteriormente ateacute a proacutexima iteraccedilatildeo

07

03

03

07

0604

0406

34

AlgoritmoConstruir a rede

Configurar os niacuteveis de domiacutenio

Configurar posiccedilatildeo inicial de partiacuteculas e seus correspondentes noacutes-casa

Configurar forccedila da partiacutecula e distacircncia

Repita

Para cada partiacutecula faccedila

Selecione movimento aleatoacuterio ou guloso

Selecione o noacute a ser visitado

Atualize os niacuteveis de domiacutenio do noacute visitado

Atualize a forccedila da partiacutecula

Atualize a tabela de distacircncias

Ateacute que o criteacuterio de parada ou um nuacutemero preacute-definido de passos seja atingido

Rotule cada noacute natildeo rotulado de acordo com o time de partiacuteculas que tiver o maior domiacutenio

35

1 2 3 4

5 6 7 8

9 10 11 12

Voltando ao nosso exemplo dos alunosNo final das iteraccedilotildees

36

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

5

3

7

12

Agora eacute soacute ldquopintarrdquo os noacutes com a classe das partiacuteculas que o dominaram

37

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092 Aprovado

6 873 89 107 092 Aprovado

7 520 75 -046 -035 Reprovado

8 297 59 -143 -179 Reprovado

9 358 72 -117 -062 Reprovado

10 884 88 112 083 Aprovado

11 725 90 043 101 Aprovado

12 612 77 -006 -017 Reprovado

1

11

10

6

8

9

4

2

5

3

7

12

E pronto Todos os dados natildeo rotulados tiveram seus roacutetulos estimados pelo classificador do modelo de partiacuteculas

38

Anaacutelise de complexidade do meacutetodo proposto em rede com meacutedia mistura (a) Nuacutemero de

iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 5119911119900119906119905 lt 119896 gt = 02

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Anaacutelise de complexidade do meacutetodo proposto em rede com

alta mistura (a) Nuacutemero de iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 10119911119900119906119905 lt 119896 gt = 04

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Tamanho da Base de Dados (n)

Tem

po

(se

gun

do

s)

Tempo de execuccedilatildeo de quatro meacutetodos baseados em grafos incluindo o meacutetodo de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas para classificar uma sequencia de bases de dados artificiais com 4 classes com distribuiccedilatildeo Gaussiana com tamanhos crescentes

41

Classificaccedilatildeo de base de dado artificial com 2000

amostras divididas igualmente em duas classes com forma de

banana

Desempenho de Classificaccedilatildeo

42

Classificaccedilatildeo de base de dado artificial com 1000

amostras divididas em duas classes Highleyman

Desempenho de Classificaccedilatildeo

43

Classificaccedilatildeo de base de dado artificial com 1200

amostras divididas emduas classes Lithuanian com 800 e 400 amostras

respectivamente

Desempenho de Classificaccedilatildeo

44

Classificaccedilatildeo de base de dado artificial com 1200

amostras igualmente divididas em trecircs classes

com distribuiccedilatildeo Gaussiana

Desempenho de Classificaccedilatildeo

45

Benchmark - Erros de teste () com 100 pontos de dados rotulados46

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 100 pontos de dados rotulados

Benchmark - Erros de teste () com 10 pontos de dados rotulados48

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 10 pontos de dados rotulados

Erros de classificaccedilatildeo () e tempos de execuccedilatildeo (segundos) de quatro meacutetodos baseados em grafos aplicados em bases de dados grandes

Erros de Classificaccedilatildeo e Tempos de Execuccedilatildeo em Grandes Bases de Dados

50

Extensotildees do Modelo de Partiacuteculas

Detecccedilatildeo de Comunidades SobrepostasAprendizado Semi-Supervisionado com Dados ImperfeitosClassificaccedilatildeo Semi-Supervisionada de Fluxos de DadosAprendizado Ativo e Semi-SupervisionadoSegmentaccedilatildeo de Imagens

51

Extensotildees do Modelo de Partiacuteculas

52

O modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas jaacute foi estendido para realizar diversos tipos de tarefas de aprendizado de maacutequina

Detecccedilatildeo de Comunidades Sobrepostas

Aprendizado Semi-Supervisionado com Dados Imperfeitos

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados

Aprendizado Ativo e Semi-Supervisionado

Segmentaccedilatildeo de Imagens

Detecccedilatildeo de Comunidades Sobrepostas

Breve Fabricio ZHAO Liang Fuzzy community structure detection by particle competition and cooperation Soft Computing (Berlin Print) v 17 p 659-673 2013httpdxdoiorg101007s00500-012-0924-3

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming ParticleCompetition and Cooperation for Uncovering Network Overlap Community Structure In The 8th InternationalSymposium on Neural Networks (ISNN 2011) 2011 Guilin China Lecture Notes in Computer Science Berlin Heidelberg Springer-Verlag 2011 v6677 p426 ndash 433httpdxdoiorg101007978-3-642-21111-9_48

53

Detecccedilatildeo de Comunidades Sobrepostas

Em problemas de classificaccedilatildeo nem sempre os elementos pertencem a um uacutenico grupo

Haacute casos em que elementos pertencem a muacuteltiplas comunidades

Exemplo Redes Sociais

Muacuteltiplos Grupos famiacutelia colegas de trabalho colegas de escola

A maioria dos meacutetodos natildeo consegue detectar tal estrutura de sobreposiccedilatildeo

54Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Esta extensatildeo oferece saiacutedas contiacutenuas atraveacutes de um niacutevel de dominacircncia acumulado

Quantifica a dominacircncia de cada time de partiacuteculas sobre os noacutes ao longo de toda a execuccedilatildeo do algoritmo O niacutevel de dominacircncia acumulado inicia em zero para todas as

classes e eacute aumentado somente quando o movimento aleatoacuterio eacute selecionado na classe correspondente agrave partiacutecula

Nunca diminui

119907119894120582ℓ 119905 + 1 = 119907119894

120582ℓ 119905 + 120588119895120596 119905

55

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 24: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em Redes

Descriccedilatildeo do Modelo

Resultados

24

Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em Redes Complexas

Aplicaccedilatildeo em Aprendizado Semi-Supervisionado

Competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas na rede combinado em um esquema uacutenico

Cooperaccedilatildeo Partiacuteculas da mesma classe caminham pela rede de maneira

cooperativa propagando seus roacutetulos

Objetivo Dominar a maior quantidade de noacutes possiacutevel

Competiccedilatildeo Partiacuteculas de classes diferentes competem entre si para

determinar as bordas das classes

Objetivo Evitar a invasatildeo de partiacuteculas de outros times

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming Particle competition and cooperation in networks for semi-supervised learning IEEE Transactions on Knowledge and Data Engineering v24 p1686 - 1698 2012 httpdxdoiorg101109TKDE2011119

25

Configuraccedilatildeo Inicial dos Noacutes

Transforma-se a base de dados em uma rede natildeo direcionada sem peso

Para cada item de dado eacute gerado um noacute na rede

As arestas podem ser geradas usando uma das duas formas

Cada noacute eacute conectado aos vizinhos cuja distacircncia eacute menor que um limiar 120590

Cada noacute eacute conectado aos seus 119948 vizinhos mais proacuteximos

4

26

Configuraccedilatildeo Inicial das Partiacuteculas

Uma partiacutecula eacute gerada para cada noacute rotulado na rede

Este noacute seraacute o noacute casa da partiacutecula correspondente

A posiccedilatildeo inicial de cada partiacutecula eacute ajustada para seu respectivo noacute casa

Partiacuteculas com o mesmo roacutetulo jogam para o mesmo time

4

27

Configuraccedilatildeo Inicial dos Noacutes Cada noacute tem um vetor de domiacutenio

Noacutes rotulados tem niacuteveis de domiacutenio configurados para seus respectivos times Ex [ 1 0 0 0 ] (4 classes noacute rotulado

como classe A)

Noacutes natildeo rotulados tecircm niacuteveis de domiacutenio configurados igualmente para cada time Ex [ 025 025 025 025 ] (4 classes noacute

natildeo rotulado)

002040608

1

002040608

1

119907119894120596ℓ = ൞

1 se 119909119894 eacute rotulado e 119910119894 = ℓ0 se 119909119894 eacute rotulado e 119910119894 ne ℓ

ൗ1 119888 se 119909119894 natildeo eacute rotulado28

Dinacircmica de Noacutes

Quando uma partiacutecula seleciona um vizinho para visitar ela Diminui o niacutevel de domiacutenio de

outros times nesse vizinho

Aumenta o niacutevel de domiacutenio de seu proacuteprio time nesse vizinho

Exceccedilatildeo Niacuteveis de domiacutenio de noacutes

rotulados satildeo fixos

0

05

1

0

05

1

119905

119905 + 1

119907119894120596ℓ 119905 + 1 =

max 0 119907119894120596ℓ 119905 minus

Δ119907120588119895120596 119905

119888 minus 1se 119909119894 natildeo eacute rotulado e ℓ ne 120588119895

119891

119907119894120596ℓ 119905 +

119902neℓ119907119894

120596119902 119905 minus 119907119894

120596119902 119905 + 1 se 119909119894 natildeo eacute rotulado e ℓ = 120588119895119891

119907119894120596ℓ 119905 se 119909119894 eacute rotulado29

Dinacircmica de Partiacuteculas Uma partiacutecula se torna

Forte quando ela visita um noacute dominado por seu time

Fraca quando ela visita um noacute dominado por outro time

0 05 1 0 05 1

01 01 02

06

0 05 1 0 05 1

01

04

0203

120588119895120596 119905 + 1 = 119907119894

120596ℓ 119905 + 1

30

Tabela de Distacircncia Manteacutem a partiacutecula informada da

distacircncia para seu noacute casa Evita que a partiacutecula perca toda sua

forccedila caminhando em territoacuterios inimigos

Manteacutem as partiacuteculas por perto para proteger sua proacutepria vizinhanccedila

Atualizada automaticamente com informaccedilatildeo local Natildeo requer nenhum caacutelculo a priori

4

24

0

1

1

2

33

4

120588119895119889119896 119905 + 1 = ቐ

120588119895119889119894 119905 + 1 se 120588119895

119889119894 119905 + 1 lt 120588119895119889119896 119905

120588119895119889119896 119905 caso contraacuterio31

Caminhada Aleatoacuterio-Gulosa Caminhada Aleatoacuteria

A partiacutecula escolhe aleatoriamente qualquer vizinhos para visitar sem preocupaccedilatildeo com o niacutevel de domiacutenio

Probabilidades iguais para todos os vizinhos

Caminhada Gulosa A partiacutecula prefere visitar noacutes

que ela jaacute domina e noacutes mais proacuteximos de seu noacute casa

Probabilidade de visitar cada vizinho dada pelo niacutevel de domiacutenio e distacircncia

As partiacuteculas precisam exibir ambos os movimentos para que haja um equiliacutebrio entre o comportamento exploratoacuterio e o defensivo

119901 119907119894|120588119895 =119882119902119894

σ120583=1119899 119882119902120583

119901 119907119894|120588119895 =119882119902119894119907119894

120596ℓ 1 + 120588119895119889119894

minus2

σ120583=1119899 119882119902120583 119907120583

120596ℓ 1 + 120588119895

119889120583minus2

CAMINHADA GULOSACAMINHADA ALEATOacuteRIA

Probabilidades no Movimento Guloso

Probabilidades no Movimento Aleatoacuterio

35

18

47

33

33

33

1199071

1199072

1199073

1199074

1199072

1199073

1199074

1199072

1199073

1199074

01 01 02

06

04

0203

01

08

0100

01

33

Choques Uma partiacutecula fica no noacute

visitado somente se o niacutevel de domiacutenio de seu time eacute maior que o dos outros

Caso contraacuterio um choque acontece e a partiacutecula eacute expulsa voltando ao noacute onde estava anteriormente ateacute a proacutexima iteraccedilatildeo

07

03

03

07

0604

0406

34

AlgoritmoConstruir a rede

Configurar os niacuteveis de domiacutenio

Configurar posiccedilatildeo inicial de partiacuteculas e seus correspondentes noacutes-casa

Configurar forccedila da partiacutecula e distacircncia

Repita

Para cada partiacutecula faccedila

Selecione movimento aleatoacuterio ou guloso

Selecione o noacute a ser visitado

Atualize os niacuteveis de domiacutenio do noacute visitado

Atualize a forccedila da partiacutecula

Atualize a tabela de distacircncias

Ateacute que o criteacuterio de parada ou um nuacutemero preacute-definido de passos seja atingido

Rotule cada noacute natildeo rotulado de acordo com o time de partiacuteculas que tiver o maior domiacutenio

35

1 2 3 4

5 6 7 8

9 10 11 12

Voltando ao nosso exemplo dos alunosNo final das iteraccedilotildees

36

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

5

3

7

12

Agora eacute soacute ldquopintarrdquo os noacutes com a classe das partiacuteculas que o dominaram

37

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092 Aprovado

6 873 89 107 092 Aprovado

7 520 75 -046 -035 Reprovado

8 297 59 -143 -179 Reprovado

9 358 72 -117 -062 Reprovado

10 884 88 112 083 Aprovado

11 725 90 043 101 Aprovado

12 612 77 -006 -017 Reprovado

1

11

10

6

8

9

4

2

5

3

7

12

E pronto Todos os dados natildeo rotulados tiveram seus roacutetulos estimados pelo classificador do modelo de partiacuteculas

38

Anaacutelise de complexidade do meacutetodo proposto em rede com meacutedia mistura (a) Nuacutemero de

iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 5119911119900119906119905 lt 119896 gt = 02

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Anaacutelise de complexidade do meacutetodo proposto em rede com

alta mistura (a) Nuacutemero de iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 10119911119900119906119905 lt 119896 gt = 04

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Tamanho da Base de Dados (n)

Tem

po

(se

gun

do

s)

Tempo de execuccedilatildeo de quatro meacutetodos baseados em grafos incluindo o meacutetodo de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas para classificar uma sequencia de bases de dados artificiais com 4 classes com distribuiccedilatildeo Gaussiana com tamanhos crescentes

41

Classificaccedilatildeo de base de dado artificial com 2000

amostras divididas igualmente em duas classes com forma de

banana

Desempenho de Classificaccedilatildeo

42

Classificaccedilatildeo de base de dado artificial com 1000

amostras divididas em duas classes Highleyman

Desempenho de Classificaccedilatildeo

43

Classificaccedilatildeo de base de dado artificial com 1200

amostras divididas emduas classes Lithuanian com 800 e 400 amostras

respectivamente

Desempenho de Classificaccedilatildeo

44

Classificaccedilatildeo de base de dado artificial com 1200

amostras igualmente divididas em trecircs classes

com distribuiccedilatildeo Gaussiana

Desempenho de Classificaccedilatildeo

45

Benchmark - Erros de teste () com 100 pontos de dados rotulados46

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 100 pontos de dados rotulados

Benchmark - Erros de teste () com 10 pontos de dados rotulados48

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 10 pontos de dados rotulados

Erros de classificaccedilatildeo () e tempos de execuccedilatildeo (segundos) de quatro meacutetodos baseados em grafos aplicados em bases de dados grandes

Erros de Classificaccedilatildeo e Tempos de Execuccedilatildeo em Grandes Bases de Dados

50

Extensotildees do Modelo de Partiacuteculas

Detecccedilatildeo de Comunidades SobrepostasAprendizado Semi-Supervisionado com Dados ImperfeitosClassificaccedilatildeo Semi-Supervisionada de Fluxos de DadosAprendizado Ativo e Semi-SupervisionadoSegmentaccedilatildeo de Imagens

51

Extensotildees do Modelo de Partiacuteculas

52

O modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas jaacute foi estendido para realizar diversos tipos de tarefas de aprendizado de maacutequina

Detecccedilatildeo de Comunidades Sobrepostas

Aprendizado Semi-Supervisionado com Dados Imperfeitos

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados

Aprendizado Ativo e Semi-Supervisionado

Segmentaccedilatildeo de Imagens

Detecccedilatildeo de Comunidades Sobrepostas

Breve Fabricio ZHAO Liang Fuzzy community structure detection by particle competition and cooperation Soft Computing (Berlin Print) v 17 p 659-673 2013httpdxdoiorg101007s00500-012-0924-3

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming ParticleCompetition and Cooperation for Uncovering Network Overlap Community Structure In The 8th InternationalSymposium on Neural Networks (ISNN 2011) 2011 Guilin China Lecture Notes in Computer Science Berlin Heidelberg Springer-Verlag 2011 v6677 p426 ndash 433httpdxdoiorg101007978-3-642-21111-9_48

53

Detecccedilatildeo de Comunidades Sobrepostas

Em problemas de classificaccedilatildeo nem sempre os elementos pertencem a um uacutenico grupo

Haacute casos em que elementos pertencem a muacuteltiplas comunidades

Exemplo Redes Sociais

Muacuteltiplos Grupos famiacutelia colegas de trabalho colegas de escola

A maioria dos meacutetodos natildeo consegue detectar tal estrutura de sobreposiccedilatildeo

54Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Esta extensatildeo oferece saiacutedas contiacutenuas atraveacutes de um niacutevel de dominacircncia acumulado

Quantifica a dominacircncia de cada time de partiacuteculas sobre os noacutes ao longo de toda a execuccedilatildeo do algoritmo O niacutevel de dominacircncia acumulado inicia em zero para todas as

classes e eacute aumentado somente quando o movimento aleatoacuterio eacute selecionado na classe correspondente agrave partiacutecula

Nunca diminui

119907119894120582ℓ 119905 + 1 = 119907119894

120582ℓ 119905 + 120588119895120596 119905

55

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 25: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em Redes Complexas

Aplicaccedilatildeo em Aprendizado Semi-Supervisionado

Competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas na rede combinado em um esquema uacutenico

Cooperaccedilatildeo Partiacuteculas da mesma classe caminham pela rede de maneira

cooperativa propagando seus roacutetulos

Objetivo Dominar a maior quantidade de noacutes possiacutevel

Competiccedilatildeo Partiacuteculas de classes diferentes competem entre si para

determinar as bordas das classes

Objetivo Evitar a invasatildeo de partiacuteculas de outros times

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming Particle competition and cooperation in networks for semi-supervised learning IEEE Transactions on Knowledge and Data Engineering v24 p1686 - 1698 2012 httpdxdoiorg101109TKDE2011119

25

Configuraccedilatildeo Inicial dos Noacutes

Transforma-se a base de dados em uma rede natildeo direcionada sem peso

Para cada item de dado eacute gerado um noacute na rede

As arestas podem ser geradas usando uma das duas formas

Cada noacute eacute conectado aos vizinhos cuja distacircncia eacute menor que um limiar 120590

Cada noacute eacute conectado aos seus 119948 vizinhos mais proacuteximos

4

26

Configuraccedilatildeo Inicial das Partiacuteculas

Uma partiacutecula eacute gerada para cada noacute rotulado na rede

Este noacute seraacute o noacute casa da partiacutecula correspondente

A posiccedilatildeo inicial de cada partiacutecula eacute ajustada para seu respectivo noacute casa

Partiacuteculas com o mesmo roacutetulo jogam para o mesmo time

4

27

Configuraccedilatildeo Inicial dos Noacutes Cada noacute tem um vetor de domiacutenio

Noacutes rotulados tem niacuteveis de domiacutenio configurados para seus respectivos times Ex [ 1 0 0 0 ] (4 classes noacute rotulado

como classe A)

Noacutes natildeo rotulados tecircm niacuteveis de domiacutenio configurados igualmente para cada time Ex [ 025 025 025 025 ] (4 classes noacute

natildeo rotulado)

002040608

1

002040608

1

119907119894120596ℓ = ൞

1 se 119909119894 eacute rotulado e 119910119894 = ℓ0 se 119909119894 eacute rotulado e 119910119894 ne ℓ

ൗ1 119888 se 119909119894 natildeo eacute rotulado28

Dinacircmica de Noacutes

Quando uma partiacutecula seleciona um vizinho para visitar ela Diminui o niacutevel de domiacutenio de

outros times nesse vizinho

Aumenta o niacutevel de domiacutenio de seu proacuteprio time nesse vizinho

Exceccedilatildeo Niacuteveis de domiacutenio de noacutes

rotulados satildeo fixos

0

05

1

0

05

1

119905

119905 + 1

119907119894120596ℓ 119905 + 1 =

max 0 119907119894120596ℓ 119905 minus

Δ119907120588119895120596 119905

119888 minus 1se 119909119894 natildeo eacute rotulado e ℓ ne 120588119895

119891

119907119894120596ℓ 119905 +

119902neℓ119907119894

120596119902 119905 minus 119907119894

120596119902 119905 + 1 se 119909119894 natildeo eacute rotulado e ℓ = 120588119895119891

119907119894120596ℓ 119905 se 119909119894 eacute rotulado29

Dinacircmica de Partiacuteculas Uma partiacutecula se torna

Forte quando ela visita um noacute dominado por seu time

Fraca quando ela visita um noacute dominado por outro time

0 05 1 0 05 1

01 01 02

06

0 05 1 0 05 1

01

04

0203

120588119895120596 119905 + 1 = 119907119894

120596ℓ 119905 + 1

30

Tabela de Distacircncia Manteacutem a partiacutecula informada da

distacircncia para seu noacute casa Evita que a partiacutecula perca toda sua

forccedila caminhando em territoacuterios inimigos

Manteacutem as partiacuteculas por perto para proteger sua proacutepria vizinhanccedila

Atualizada automaticamente com informaccedilatildeo local Natildeo requer nenhum caacutelculo a priori

4

24

0

1

1

2

33

4

120588119895119889119896 119905 + 1 = ቐ

120588119895119889119894 119905 + 1 se 120588119895

119889119894 119905 + 1 lt 120588119895119889119896 119905

120588119895119889119896 119905 caso contraacuterio31

Caminhada Aleatoacuterio-Gulosa Caminhada Aleatoacuteria

A partiacutecula escolhe aleatoriamente qualquer vizinhos para visitar sem preocupaccedilatildeo com o niacutevel de domiacutenio

Probabilidades iguais para todos os vizinhos

Caminhada Gulosa A partiacutecula prefere visitar noacutes

que ela jaacute domina e noacutes mais proacuteximos de seu noacute casa

Probabilidade de visitar cada vizinho dada pelo niacutevel de domiacutenio e distacircncia

As partiacuteculas precisam exibir ambos os movimentos para que haja um equiliacutebrio entre o comportamento exploratoacuterio e o defensivo

119901 119907119894|120588119895 =119882119902119894

σ120583=1119899 119882119902120583

119901 119907119894|120588119895 =119882119902119894119907119894

120596ℓ 1 + 120588119895119889119894

minus2

σ120583=1119899 119882119902120583 119907120583

120596ℓ 1 + 120588119895

119889120583minus2

CAMINHADA GULOSACAMINHADA ALEATOacuteRIA

Probabilidades no Movimento Guloso

Probabilidades no Movimento Aleatoacuterio

35

18

47

33

33

33

1199071

1199072

1199073

1199074

1199072

1199073

1199074

1199072

1199073

1199074

01 01 02

06

04

0203

01

08

0100

01

33

Choques Uma partiacutecula fica no noacute

visitado somente se o niacutevel de domiacutenio de seu time eacute maior que o dos outros

Caso contraacuterio um choque acontece e a partiacutecula eacute expulsa voltando ao noacute onde estava anteriormente ateacute a proacutexima iteraccedilatildeo

07

03

03

07

0604

0406

34

AlgoritmoConstruir a rede

Configurar os niacuteveis de domiacutenio

Configurar posiccedilatildeo inicial de partiacuteculas e seus correspondentes noacutes-casa

Configurar forccedila da partiacutecula e distacircncia

Repita

Para cada partiacutecula faccedila

Selecione movimento aleatoacuterio ou guloso

Selecione o noacute a ser visitado

Atualize os niacuteveis de domiacutenio do noacute visitado

Atualize a forccedila da partiacutecula

Atualize a tabela de distacircncias

Ateacute que o criteacuterio de parada ou um nuacutemero preacute-definido de passos seja atingido

Rotule cada noacute natildeo rotulado de acordo com o time de partiacuteculas que tiver o maior domiacutenio

35

1 2 3 4

5 6 7 8

9 10 11 12

Voltando ao nosso exemplo dos alunosNo final das iteraccedilotildees

36

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

5

3

7

12

Agora eacute soacute ldquopintarrdquo os noacutes com a classe das partiacuteculas que o dominaram

37

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092 Aprovado

6 873 89 107 092 Aprovado

7 520 75 -046 -035 Reprovado

8 297 59 -143 -179 Reprovado

9 358 72 -117 -062 Reprovado

10 884 88 112 083 Aprovado

11 725 90 043 101 Aprovado

12 612 77 -006 -017 Reprovado

1

11

10

6

8

9

4

2

5

3

7

12

E pronto Todos os dados natildeo rotulados tiveram seus roacutetulos estimados pelo classificador do modelo de partiacuteculas

38

Anaacutelise de complexidade do meacutetodo proposto em rede com meacutedia mistura (a) Nuacutemero de

iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 5119911119900119906119905 lt 119896 gt = 02

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Anaacutelise de complexidade do meacutetodo proposto em rede com

alta mistura (a) Nuacutemero de iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 10119911119900119906119905 lt 119896 gt = 04

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Tamanho da Base de Dados (n)

Tem

po

(se

gun

do

s)

Tempo de execuccedilatildeo de quatro meacutetodos baseados em grafos incluindo o meacutetodo de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas para classificar uma sequencia de bases de dados artificiais com 4 classes com distribuiccedilatildeo Gaussiana com tamanhos crescentes

41

Classificaccedilatildeo de base de dado artificial com 2000

amostras divididas igualmente em duas classes com forma de

banana

Desempenho de Classificaccedilatildeo

42

Classificaccedilatildeo de base de dado artificial com 1000

amostras divididas em duas classes Highleyman

Desempenho de Classificaccedilatildeo

43

Classificaccedilatildeo de base de dado artificial com 1200

amostras divididas emduas classes Lithuanian com 800 e 400 amostras

respectivamente

Desempenho de Classificaccedilatildeo

44

Classificaccedilatildeo de base de dado artificial com 1200

amostras igualmente divididas em trecircs classes

com distribuiccedilatildeo Gaussiana

Desempenho de Classificaccedilatildeo

45

Benchmark - Erros de teste () com 100 pontos de dados rotulados46

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 100 pontos de dados rotulados

Benchmark - Erros de teste () com 10 pontos de dados rotulados48

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 10 pontos de dados rotulados

Erros de classificaccedilatildeo () e tempos de execuccedilatildeo (segundos) de quatro meacutetodos baseados em grafos aplicados em bases de dados grandes

Erros de Classificaccedilatildeo e Tempos de Execuccedilatildeo em Grandes Bases de Dados

50

Extensotildees do Modelo de Partiacuteculas

Detecccedilatildeo de Comunidades SobrepostasAprendizado Semi-Supervisionado com Dados ImperfeitosClassificaccedilatildeo Semi-Supervisionada de Fluxos de DadosAprendizado Ativo e Semi-SupervisionadoSegmentaccedilatildeo de Imagens

51

Extensotildees do Modelo de Partiacuteculas

52

O modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas jaacute foi estendido para realizar diversos tipos de tarefas de aprendizado de maacutequina

Detecccedilatildeo de Comunidades Sobrepostas

Aprendizado Semi-Supervisionado com Dados Imperfeitos

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados

Aprendizado Ativo e Semi-Supervisionado

Segmentaccedilatildeo de Imagens

Detecccedilatildeo de Comunidades Sobrepostas

Breve Fabricio ZHAO Liang Fuzzy community structure detection by particle competition and cooperation Soft Computing (Berlin Print) v 17 p 659-673 2013httpdxdoiorg101007s00500-012-0924-3

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming ParticleCompetition and Cooperation for Uncovering Network Overlap Community Structure In The 8th InternationalSymposium on Neural Networks (ISNN 2011) 2011 Guilin China Lecture Notes in Computer Science Berlin Heidelberg Springer-Verlag 2011 v6677 p426 ndash 433httpdxdoiorg101007978-3-642-21111-9_48

53

Detecccedilatildeo de Comunidades Sobrepostas

Em problemas de classificaccedilatildeo nem sempre os elementos pertencem a um uacutenico grupo

Haacute casos em que elementos pertencem a muacuteltiplas comunidades

Exemplo Redes Sociais

Muacuteltiplos Grupos famiacutelia colegas de trabalho colegas de escola

A maioria dos meacutetodos natildeo consegue detectar tal estrutura de sobreposiccedilatildeo

54Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Esta extensatildeo oferece saiacutedas contiacutenuas atraveacutes de um niacutevel de dominacircncia acumulado

Quantifica a dominacircncia de cada time de partiacuteculas sobre os noacutes ao longo de toda a execuccedilatildeo do algoritmo O niacutevel de dominacircncia acumulado inicia em zero para todas as

classes e eacute aumentado somente quando o movimento aleatoacuterio eacute selecionado na classe correspondente agrave partiacutecula

Nunca diminui

119907119894120582ℓ 119905 + 1 = 119907119894

120582ℓ 119905 + 120588119895120596 119905

55

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 26: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Configuraccedilatildeo Inicial dos Noacutes

Transforma-se a base de dados em uma rede natildeo direcionada sem peso

Para cada item de dado eacute gerado um noacute na rede

As arestas podem ser geradas usando uma das duas formas

Cada noacute eacute conectado aos vizinhos cuja distacircncia eacute menor que um limiar 120590

Cada noacute eacute conectado aos seus 119948 vizinhos mais proacuteximos

4

26

Configuraccedilatildeo Inicial das Partiacuteculas

Uma partiacutecula eacute gerada para cada noacute rotulado na rede

Este noacute seraacute o noacute casa da partiacutecula correspondente

A posiccedilatildeo inicial de cada partiacutecula eacute ajustada para seu respectivo noacute casa

Partiacuteculas com o mesmo roacutetulo jogam para o mesmo time

4

27

Configuraccedilatildeo Inicial dos Noacutes Cada noacute tem um vetor de domiacutenio

Noacutes rotulados tem niacuteveis de domiacutenio configurados para seus respectivos times Ex [ 1 0 0 0 ] (4 classes noacute rotulado

como classe A)

Noacutes natildeo rotulados tecircm niacuteveis de domiacutenio configurados igualmente para cada time Ex [ 025 025 025 025 ] (4 classes noacute

natildeo rotulado)

002040608

1

002040608

1

119907119894120596ℓ = ൞

1 se 119909119894 eacute rotulado e 119910119894 = ℓ0 se 119909119894 eacute rotulado e 119910119894 ne ℓ

ൗ1 119888 se 119909119894 natildeo eacute rotulado28

Dinacircmica de Noacutes

Quando uma partiacutecula seleciona um vizinho para visitar ela Diminui o niacutevel de domiacutenio de

outros times nesse vizinho

Aumenta o niacutevel de domiacutenio de seu proacuteprio time nesse vizinho

Exceccedilatildeo Niacuteveis de domiacutenio de noacutes

rotulados satildeo fixos

0

05

1

0

05

1

119905

119905 + 1

119907119894120596ℓ 119905 + 1 =

max 0 119907119894120596ℓ 119905 minus

Δ119907120588119895120596 119905

119888 minus 1se 119909119894 natildeo eacute rotulado e ℓ ne 120588119895

119891

119907119894120596ℓ 119905 +

119902neℓ119907119894

120596119902 119905 minus 119907119894

120596119902 119905 + 1 se 119909119894 natildeo eacute rotulado e ℓ = 120588119895119891

119907119894120596ℓ 119905 se 119909119894 eacute rotulado29

Dinacircmica de Partiacuteculas Uma partiacutecula se torna

Forte quando ela visita um noacute dominado por seu time

Fraca quando ela visita um noacute dominado por outro time

0 05 1 0 05 1

01 01 02

06

0 05 1 0 05 1

01

04

0203

120588119895120596 119905 + 1 = 119907119894

120596ℓ 119905 + 1

30

Tabela de Distacircncia Manteacutem a partiacutecula informada da

distacircncia para seu noacute casa Evita que a partiacutecula perca toda sua

forccedila caminhando em territoacuterios inimigos

Manteacutem as partiacuteculas por perto para proteger sua proacutepria vizinhanccedila

Atualizada automaticamente com informaccedilatildeo local Natildeo requer nenhum caacutelculo a priori

4

24

0

1

1

2

33

4

120588119895119889119896 119905 + 1 = ቐ

120588119895119889119894 119905 + 1 se 120588119895

119889119894 119905 + 1 lt 120588119895119889119896 119905

120588119895119889119896 119905 caso contraacuterio31

Caminhada Aleatoacuterio-Gulosa Caminhada Aleatoacuteria

A partiacutecula escolhe aleatoriamente qualquer vizinhos para visitar sem preocupaccedilatildeo com o niacutevel de domiacutenio

Probabilidades iguais para todos os vizinhos

Caminhada Gulosa A partiacutecula prefere visitar noacutes

que ela jaacute domina e noacutes mais proacuteximos de seu noacute casa

Probabilidade de visitar cada vizinho dada pelo niacutevel de domiacutenio e distacircncia

As partiacuteculas precisam exibir ambos os movimentos para que haja um equiliacutebrio entre o comportamento exploratoacuterio e o defensivo

119901 119907119894|120588119895 =119882119902119894

σ120583=1119899 119882119902120583

119901 119907119894|120588119895 =119882119902119894119907119894

120596ℓ 1 + 120588119895119889119894

minus2

σ120583=1119899 119882119902120583 119907120583

120596ℓ 1 + 120588119895

119889120583minus2

CAMINHADA GULOSACAMINHADA ALEATOacuteRIA

Probabilidades no Movimento Guloso

Probabilidades no Movimento Aleatoacuterio

35

18

47

33

33

33

1199071

1199072

1199073

1199074

1199072

1199073

1199074

1199072

1199073

1199074

01 01 02

06

04

0203

01

08

0100

01

33

Choques Uma partiacutecula fica no noacute

visitado somente se o niacutevel de domiacutenio de seu time eacute maior que o dos outros

Caso contraacuterio um choque acontece e a partiacutecula eacute expulsa voltando ao noacute onde estava anteriormente ateacute a proacutexima iteraccedilatildeo

07

03

03

07

0604

0406

34

AlgoritmoConstruir a rede

Configurar os niacuteveis de domiacutenio

Configurar posiccedilatildeo inicial de partiacuteculas e seus correspondentes noacutes-casa

Configurar forccedila da partiacutecula e distacircncia

Repita

Para cada partiacutecula faccedila

Selecione movimento aleatoacuterio ou guloso

Selecione o noacute a ser visitado

Atualize os niacuteveis de domiacutenio do noacute visitado

Atualize a forccedila da partiacutecula

Atualize a tabela de distacircncias

Ateacute que o criteacuterio de parada ou um nuacutemero preacute-definido de passos seja atingido

Rotule cada noacute natildeo rotulado de acordo com o time de partiacuteculas que tiver o maior domiacutenio

35

1 2 3 4

5 6 7 8

9 10 11 12

Voltando ao nosso exemplo dos alunosNo final das iteraccedilotildees

36

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

5

3

7

12

Agora eacute soacute ldquopintarrdquo os noacutes com a classe das partiacuteculas que o dominaram

37

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092 Aprovado

6 873 89 107 092 Aprovado

7 520 75 -046 -035 Reprovado

8 297 59 -143 -179 Reprovado

9 358 72 -117 -062 Reprovado

10 884 88 112 083 Aprovado

11 725 90 043 101 Aprovado

12 612 77 -006 -017 Reprovado

1

11

10

6

8

9

4

2

5

3

7

12

E pronto Todos os dados natildeo rotulados tiveram seus roacutetulos estimados pelo classificador do modelo de partiacuteculas

38

Anaacutelise de complexidade do meacutetodo proposto em rede com meacutedia mistura (a) Nuacutemero de

iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 5119911119900119906119905 lt 119896 gt = 02

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Anaacutelise de complexidade do meacutetodo proposto em rede com

alta mistura (a) Nuacutemero de iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 10119911119900119906119905 lt 119896 gt = 04

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Tamanho da Base de Dados (n)

Tem

po

(se

gun

do

s)

Tempo de execuccedilatildeo de quatro meacutetodos baseados em grafos incluindo o meacutetodo de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas para classificar uma sequencia de bases de dados artificiais com 4 classes com distribuiccedilatildeo Gaussiana com tamanhos crescentes

41

Classificaccedilatildeo de base de dado artificial com 2000

amostras divididas igualmente em duas classes com forma de

banana

Desempenho de Classificaccedilatildeo

42

Classificaccedilatildeo de base de dado artificial com 1000

amostras divididas em duas classes Highleyman

Desempenho de Classificaccedilatildeo

43

Classificaccedilatildeo de base de dado artificial com 1200

amostras divididas emduas classes Lithuanian com 800 e 400 amostras

respectivamente

Desempenho de Classificaccedilatildeo

44

Classificaccedilatildeo de base de dado artificial com 1200

amostras igualmente divididas em trecircs classes

com distribuiccedilatildeo Gaussiana

Desempenho de Classificaccedilatildeo

45

Benchmark - Erros de teste () com 100 pontos de dados rotulados46

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 100 pontos de dados rotulados

Benchmark - Erros de teste () com 10 pontos de dados rotulados48

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 10 pontos de dados rotulados

Erros de classificaccedilatildeo () e tempos de execuccedilatildeo (segundos) de quatro meacutetodos baseados em grafos aplicados em bases de dados grandes

Erros de Classificaccedilatildeo e Tempos de Execuccedilatildeo em Grandes Bases de Dados

50

Extensotildees do Modelo de Partiacuteculas

Detecccedilatildeo de Comunidades SobrepostasAprendizado Semi-Supervisionado com Dados ImperfeitosClassificaccedilatildeo Semi-Supervisionada de Fluxos de DadosAprendizado Ativo e Semi-SupervisionadoSegmentaccedilatildeo de Imagens

51

Extensotildees do Modelo de Partiacuteculas

52

O modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas jaacute foi estendido para realizar diversos tipos de tarefas de aprendizado de maacutequina

Detecccedilatildeo de Comunidades Sobrepostas

Aprendizado Semi-Supervisionado com Dados Imperfeitos

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados

Aprendizado Ativo e Semi-Supervisionado

Segmentaccedilatildeo de Imagens

Detecccedilatildeo de Comunidades Sobrepostas

Breve Fabricio ZHAO Liang Fuzzy community structure detection by particle competition and cooperation Soft Computing (Berlin Print) v 17 p 659-673 2013httpdxdoiorg101007s00500-012-0924-3

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming ParticleCompetition and Cooperation for Uncovering Network Overlap Community Structure In The 8th InternationalSymposium on Neural Networks (ISNN 2011) 2011 Guilin China Lecture Notes in Computer Science Berlin Heidelberg Springer-Verlag 2011 v6677 p426 ndash 433httpdxdoiorg101007978-3-642-21111-9_48

53

Detecccedilatildeo de Comunidades Sobrepostas

Em problemas de classificaccedilatildeo nem sempre os elementos pertencem a um uacutenico grupo

Haacute casos em que elementos pertencem a muacuteltiplas comunidades

Exemplo Redes Sociais

Muacuteltiplos Grupos famiacutelia colegas de trabalho colegas de escola

A maioria dos meacutetodos natildeo consegue detectar tal estrutura de sobreposiccedilatildeo

54Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Esta extensatildeo oferece saiacutedas contiacutenuas atraveacutes de um niacutevel de dominacircncia acumulado

Quantifica a dominacircncia de cada time de partiacuteculas sobre os noacutes ao longo de toda a execuccedilatildeo do algoritmo O niacutevel de dominacircncia acumulado inicia em zero para todas as

classes e eacute aumentado somente quando o movimento aleatoacuterio eacute selecionado na classe correspondente agrave partiacutecula

Nunca diminui

119907119894120582ℓ 119905 + 1 = 119907119894

120582ℓ 119905 + 120588119895120596 119905

55

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 27: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Configuraccedilatildeo Inicial das Partiacuteculas

Uma partiacutecula eacute gerada para cada noacute rotulado na rede

Este noacute seraacute o noacute casa da partiacutecula correspondente

A posiccedilatildeo inicial de cada partiacutecula eacute ajustada para seu respectivo noacute casa

Partiacuteculas com o mesmo roacutetulo jogam para o mesmo time

4

27

Configuraccedilatildeo Inicial dos Noacutes Cada noacute tem um vetor de domiacutenio

Noacutes rotulados tem niacuteveis de domiacutenio configurados para seus respectivos times Ex [ 1 0 0 0 ] (4 classes noacute rotulado

como classe A)

Noacutes natildeo rotulados tecircm niacuteveis de domiacutenio configurados igualmente para cada time Ex [ 025 025 025 025 ] (4 classes noacute

natildeo rotulado)

002040608

1

002040608

1

119907119894120596ℓ = ൞

1 se 119909119894 eacute rotulado e 119910119894 = ℓ0 se 119909119894 eacute rotulado e 119910119894 ne ℓ

ൗ1 119888 se 119909119894 natildeo eacute rotulado28

Dinacircmica de Noacutes

Quando uma partiacutecula seleciona um vizinho para visitar ela Diminui o niacutevel de domiacutenio de

outros times nesse vizinho

Aumenta o niacutevel de domiacutenio de seu proacuteprio time nesse vizinho

Exceccedilatildeo Niacuteveis de domiacutenio de noacutes

rotulados satildeo fixos

0

05

1

0

05

1

119905

119905 + 1

119907119894120596ℓ 119905 + 1 =

max 0 119907119894120596ℓ 119905 minus

Δ119907120588119895120596 119905

119888 minus 1se 119909119894 natildeo eacute rotulado e ℓ ne 120588119895

119891

119907119894120596ℓ 119905 +

119902neℓ119907119894

120596119902 119905 minus 119907119894

120596119902 119905 + 1 se 119909119894 natildeo eacute rotulado e ℓ = 120588119895119891

119907119894120596ℓ 119905 se 119909119894 eacute rotulado29

Dinacircmica de Partiacuteculas Uma partiacutecula se torna

Forte quando ela visita um noacute dominado por seu time

Fraca quando ela visita um noacute dominado por outro time

0 05 1 0 05 1

01 01 02

06

0 05 1 0 05 1

01

04

0203

120588119895120596 119905 + 1 = 119907119894

120596ℓ 119905 + 1

30

Tabela de Distacircncia Manteacutem a partiacutecula informada da

distacircncia para seu noacute casa Evita que a partiacutecula perca toda sua

forccedila caminhando em territoacuterios inimigos

Manteacutem as partiacuteculas por perto para proteger sua proacutepria vizinhanccedila

Atualizada automaticamente com informaccedilatildeo local Natildeo requer nenhum caacutelculo a priori

4

24

0

1

1

2

33

4

120588119895119889119896 119905 + 1 = ቐ

120588119895119889119894 119905 + 1 se 120588119895

119889119894 119905 + 1 lt 120588119895119889119896 119905

120588119895119889119896 119905 caso contraacuterio31

Caminhada Aleatoacuterio-Gulosa Caminhada Aleatoacuteria

A partiacutecula escolhe aleatoriamente qualquer vizinhos para visitar sem preocupaccedilatildeo com o niacutevel de domiacutenio

Probabilidades iguais para todos os vizinhos

Caminhada Gulosa A partiacutecula prefere visitar noacutes

que ela jaacute domina e noacutes mais proacuteximos de seu noacute casa

Probabilidade de visitar cada vizinho dada pelo niacutevel de domiacutenio e distacircncia

As partiacuteculas precisam exibir ambos os movimentos para que haja um equiliacutebrio entre o comportamento exploratoacuterio e o defensivo

119901 119907119894|120588119895 =119882119902119894

σ120583=1119899 119882119902120583

119901 119907119894|120588119895 =119882119902119894119907119894

120596ℓ 1 + 120588119895119889119894

minus2

σ120583=1119899 119882119902120583 119907120583

120596ℓ 1 + 120588119895

119889120583minus2

CAMINHADA GULOSACAMINHADA ALEATOacuteRIA

Probabilidades no Movimento Guloso

Probabilidades no Movimento Aleatoacuterio

35

18

47

33

33

33

1199071

1199072

1199073

1199074

1199072

1199073

1199074

1199072

1199073

1199074

01 01 02

06

04

0203

01

08

0100

01

33

Choques Uma partiacutecula fica no noacute

visitado somente se o niacutevel de domiacutenio de seu time eacute maior que o dos outros

Caso contraacuterio um choque acontece e a partiacutecula eacute expulsa voltando ao noacute onde estava anteriormente ateacute a proacutexima iteraccedilatildeo

07

03

03

07

0604

0406

34

AlgoritmoConstruir a rede

Configurar os niacuteveis de domiacutenio

Configurar posiccedilatildeo inicial de partiacuteculas e seus correspondentes noacutes-casa

Configurar forccedila da partiacutecula e distacircncia

Repita

Para cada partiacutecula faccedila

Selecione movimento aleatoacuterio ou guloso

Selecione o noacute a ser visitado

Atualize os niacuteveis de domiacutenio do noacute visitado

Atualize a forccedila da partiacutecula

Atualize a tabela de distacircncias

Ateacute que o criteacuterio de parada ou um nuacutemero preacute-definido de passos seja atingido

Rotule cada noacute natildeo rotulado de acordo com o time de partiacuteculas que tiver o maior domiacutenio

35

1 2 3 4

5 6 7 8

9 10 11 12

Voltando ao nosso exemplo dos alunosNo final das iteraccedilotildees

36

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

5

3

7

12

Agora eacute soacute ldquopintarrdquo os noacutes com a classe das partiacuteculas que o dominaram

37

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092 Aprovado

6 873 89 107 092 Aprovado

7 520 75 -046 -035 Reprovado

8 297 59 -143 -179 Reprovado

9 358 72 -117 -062 Reprovado

10 884 88 112 083 Aprovado

11 725 90 043 101 Aprovado

12 612 77 -006 -017 Reprovado

1

11

10

6

8

9

4

2

5

3

7

12

E pronto Todos os dados natildeo rotulados tiveram seus roacutetulos estimados pelo classificador do modelo de partiacuteculas

38

Anaacutelise de complexidade do meacutetodo proposto em rede com meacutedia mistura (a) Nuacutemero de

iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 5119911119900119906119905 lt 119896 gt = 02

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Anaacutelise de complexidade do meacutetodo proposto em rede com

alta mistura (a) Nuacutemero de iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 10119911119900119906119905 lt 119896 gt = 04

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Tamanho da Base de Dados (n)

Tem

po

(se

gun

do

s)

Tempo de execuccedilatildeo de quatro meacutetodos baseados em grafos incluindo o meacutetodo de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas para classificar uma sequencia de bases de dados artificiais com 4 classes com distribuiccedilatildeo Gaussiana com tamanhos crescentes

41

Classificaccedilatildeo de base de dado artificial com 2000

amostras divididas igualmente em duas classes com forma de

banana

Desempenho de Classificaccedilatildeo

42

Classificaccedilatildeo de base de dado artificial com 1000

amostras divididas em duas classes Highleyman

Desempenho de Classificaccedilatildeo

43

Classificaccedilatildeo de base de dado artificial com 1200

amostras divididas emduas classes Lithuanian com 800 e 400 amostras

respectivamente

Desempenho de Classificaccedilatildeo

44

Classificaccedilatildeo de base de dado artificial com 1200

amostras igualmente divididas em trecircs classes

com distribuiccedilatildeo Gaussiana

Desempenho de Classificaccedilatildeo

45

Benchmark - Erros de teste () com 100 pontos de dados rotulados46

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 100 pontos de dados rotulados

Benchmark - Erros de teste () com 10 pontos de dados rotulados48

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 10 pontos de dados rotulados

Erros de classificaccedilatildeo () e tempos de execuccedilatildeo (segundos) de quatro meacutetodos baseados em grafos aplicados em bases de dados grandes

Erros de Classificaccedilatildeo e Tempos de Execuccedilatildeo em Grandes Bases de Dados

50

Extensotildees do Modelo de Partiacuteculas

Detecccedilatildeo de Comunidades SobrepostasAprendizado Semi-Supervisionado com Dados ImperfeitosClassificaccedilatildeo Semi-Supervisionada de Fluxos de DadosAprendizado Ativo e Semi-SupervisionadoSegmentaccedilatildeo de Imagens

51

Extensotildees do Modelo de Partiacuteculas

52

O modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas jaacute foi estendido para realizar diversos tipos de tarefas de aprendizado de maacutequina

Detecccedilatildeo de Comunidades Sobrepostas

Aprendizado Semi-Supervisionado com Dados Imperfeitos

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados

Aprendizado Ativo e Semi-Supervisionado

Segmentaccedilatildeo de Imagens

Detecccedilatildeo de Comunidades Sobrepostas

Breve Fabricio ZHAO Liang Fuzzy community structure detection by particle competition and cooperation Soft Computing (Berlin Print) v 17 p 659-673 2013httpdxdoiorg101007s00500-012-0924-3

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming ParticleCompetition and Cooperation for Uncovering Network Overlap Community Structure In The 8th InternationalSymposium on Neural Networks (ISNN 2011) 2011 Guilin China Lecture Notes in Computer Science Berlin Heidelberg Springer-Verlag 2011 v6677 p426 ndash 433httpdxdoiorg101007978-3-642-21111-9_48

53

Detecccedilatildeo de Comunidades Sobrepostas

Em problemas de classificaccedilatildeo nem sempre os elementos pertencem a um uacutenico grupo

Haacute casos em que elementos pertencem a muacuteltiplas comunidades

Exemplo Redes Sociais

Muacuteltiplos Grupos famiacutelia colegas de trabalho colegas de escola

A maioria dos meacutetodos natildeo consegue detectar tal estrutura de sobreposiccedilatildeo

54Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Esta extensatildeo oferece saiacutedas contiacutenuas atraveacutes de um niacutevel de dominacircncia acumulado

Quantifica a dominacircncia de cada time de partiacuteculas sobre os noacutes ao longo de toda a execuccedilatildeo do algoritmo O niacutevel de dominacircncia acumulado inicia em zero para todas as

classes e eacute aumentado somente quando o movimento aleatoacuterio eacute selecionado na classe correspondente agrave partiacutecula

Nunca diminui

119907119894120582ℓ 119905 + 1 = 119907119894

120582ℓ 119905 + 120588119895120596 119905

55

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 28: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Configuraccedilatildeo Inicial dos Noacutes Cada noacute tem um vetor de domiacutenio

Noacutes rotulados tem niacuteveis de domiacutenio configurados para seus respectivos times Ex [ 1 0 0 0 ] (4 classes noacute rotulado

como classe A)

Noacutes natildeo rotulados tecircm niacuteveis de domiacutenio configurados igualmente para cada time Ex [ 025 025 025 025 ] (4 classes noacute

natildeo rotulado)

002040608

1

002040608

1

119907119894120596ℓ = ൞

1 se 119909119894 eacute rotulado e 119910119894 = ℓ0 se 119909119894 eacute rotulado e 119910119894 ne ℓ

ൗ1 119888 se 119909119894 natildeo eacute rotulado28

Dinacircmica de Noacutes

Quando uma partiacutecula seleciona um vizinho para visitar ela Diminui o niacutevel de domiacutenio de

outros times nesse vizinho

Aumenta o niacutevel de domiacutenio de seu proacuteprio time nesse vizinho

Exceccedilatildeo Niacuteveis de domiacutenio de noacutes

rotulados satildeo fixos

0

05

1

0

05

1

119905

119905 + 1

119907119894120596ℓ 119905 + 1 =

max 0 119907119894120596ℓ 119905 minus

Δ119907120588119895120596 119905

119888 minus 1se 119909119894 natildeo eacute rotulado e ℓ ne 120588119895

119891

119907119894120596ℓ 119905 +

119902neℓ119907119894

120596119902 119905 minus 119907119894

120596119902 119905 + 1 se 119909119894 natildeo eacute rotulado e ℓ = 120588119895119891

119907119894120596ℓ 119905 se 119909119894 eacute rotulado29

Dinacircmica de Partiacuteculas Uma partiacutecula se torna

Forte quando ela visita um noacute dominado por seu time

Fraca quando ela visita um noacute dominado por outro time

0 05 1 0 05 1

01 01 02

06

0 05 1 0 05 1

01

04

0203

120588119895120596 119905 + 1 = 119907119894

120596ℓ 119905 + 1

30

Tabela de Distacircncia Manteacutem a partiacutecula informada da

distacircncia para seu noacute casa Evita que a partiacutecula perca toda sua

forccedila caminhando em territoacuterios inimigos

Manteacutem as partiacuteculas por perto para proteger sua proacutepria vizinhanccedila

Atualizada automaticamente com informaccedilatildeo local Natildeo requer nenhum caacutelculo a priori

4

24

0

1

1

2

33

4

120588119895119889119896 119905 + 1 = ቐ

120588119895119889119894 119905 + 1 se 120588119895

119889119894 119905 + 1 lt 120588119895119889119896 119905

120588119895119889119896 119905 caso contraacuterio31

Caminhada Aleatoacuterio-Gulosa Caminhada Aleatoacuteria

A partiacutecula escolhe aleatoriamente qualquer vizinhos para visitar sem preocupaccedilatildeo com o niacutevel de domiacutenio

Probabilidades iguais para todos os vizinhos

Caminhada Gulosa A partiacutecula prefere visitar noacutes

que ela jaacute domina e noacutes mais proacuteximos de seu noacute casa

Probabilidade de visitar cada vizinho dada pelo niacutevel de domiacutenio e distacircncia

As partiacuteculas precisam exibir ambos os movimentos para que haja um equiliacutebrio entre o comportamento exploratoacuterio e o defensivo

119901 119907119894|120588119895 =119882119902119894

σ120583=1119899 119882119902120583

119901 119907119894|120588119895 =119882119902119894119907119894

120596ℓ 1 + 120588119895119889119894

minus2

σ120583=1119899 119882119902120583 119907120583

120596ℓ 1 + 120588119895

119889120583minus2

CAMINHADA GULOSACAMINHADA ALEATOacuteRIA

Probabilidades no Movimento Guloso

Probabilidades no Movimento Aleatoacuterio

35

18

47

33

33

33

1199071

1199072

1199073

1199074

1199072

1199073

1199074

1199072

1199073

1199074

01 01 02

06

04

0203

01

08

0100

01

33

Choques Uma partiacutecula fica no noacute

visitado somente se o niacutevel de domiacutenio de seu time eacute maior que o dos outros

Caso contraacuterio um choque acontece e a partiacutecula eacute expulsa voltando ao noacute onde estava anteriormente ateacute a proacutexima iteraccedilatildeo

07

03

03

07

0604

0406

34

AlgoritmoConstruir a rede

Configurar os niacuteveis de domiacutenio

Configurar posiccedilatildeo inicial de partiacuteculas e seus correspondentes noacutes-casa

Configurar forccedila da partiacutecula e distacircncia

Repita

Para cada partiacutecula faccedila

Selecione movimento aleatoacuterio ou guloso

Selecione o noacute a ser visitado

Atualize os niacuteveis de domiacutenio do noacute visitado

Atualize a forccedila da partiacutecula

Atualize a tabela de distacircncias

Ateacute que o criteacuterio de parada ou um nuacutemero preacute-definido de passos seja atingido

Rotule cada noacute natildeo rotulado de acordo com o time de partiacuteculas que tiver o maior domiacutenio

35

1 2 3 4

5 6 7 8

9 10 11 12

Voltando ao nosso exemplo dos alunosNo final das iteraccedilotildees

36

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

5

3

7

12

Agora eacute soacute ldquopintarrdquo os noacutes com a classe das partiacuteculas que o dominaram

37

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092 Aprovado

6 873 89 107 092 Aprovado

7 520 75 -046 -035 Reprovado

8 297 59 -143 -179 Reprovado

9 358 72 -117 -062 Reprovado

10 884 88 112 083 Aprovado

11 725 90 043 101 Aprovado

12 612 77 -006 -017 Reprovado

1

11

10

6

8

9

4

2

5

3

7

12

E pronto Todos os dados natildeo rotulados tiveram seus roacutetulos estimados pelo classificador do modelo de partiacuteculas

38

Anaacutelise de complexidade do meacutetodo proposto em rede com meacutedia mistura (a) Nuacutemero de

iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 5119911119900119906119905 lt 119896 gt = 02

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Anaacutelise de complexidade do meacutetodo proposto em rede com

alta mistura (a) Nuacutemero de iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 10119911119900119906119905 lt 119896 gt = 04

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Tamanho da Base de Dados (n)

Tem

po

(se

gun

do

s)

Tempo de execuccedilatildeo de quatro meacutetodos baseados em grafos incluindo o meacutetodo de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas para classificar uma sequencia de bases de dados artificiais com 4 classes com distribuiccedilatildeo Gaussiana com tamanhos crescentes

41

Classificaccedilatildeo de base de dado artificial com 2000

amostras divididas igualmente em duas classes com forma de

banana

Desempenho de Classificaccedilatildeo

42

Classificaccedilatildeo de base de dado artificial com 1000

amostras divididas em duas classes Highleyman

Desempenho de Classificaccedilatildeo

43

Classificaccedilatildeo de base de dado artificial com 1200

amostras divididas emduas classes Lithuanian com 800 e 400 amostras

respectivamente

Desempenho de Classificaccedilatildeo

44

Classificaccedilatildeo de base de dado artificial com 1200

amostras igualmente divididas em trecircs classes

com distribuiccedilatildeo Gaussiana

Desempenho de Classificaccedilatildeo

45

Benchmark - Erros de teste () com 100 pontos de dados rotulados46

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 100 pontos de dados rotulados

Benchmark - Erros de teste () com 10 pontos de dados rotulados48

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 10 pontos de dados rotulados

Erros de classificaccedilatildeo () e tempos de execuccedilatildeo (segundos) de quatro meacutetodos baseados em grafos aplicados em bases de dados grandes

Erros de Classificaccedilatildeo e Tempos de Execuccedilatildeo em Grandes Bases de Dados

50

Extensotildees do Modelo de Partiacuteculas

Detecccedilatildeo de Comunidades SobrepostasAprendizado Semi-Supervisionado com Dados ImperfeitosClassificaccedilatildeo Semi-Supervisionada de Fluxos de DadosAprendizado Ativo e Semi-SupervisionadoSegmentaccedilatildeo de Imagens

51

Extensotildees do Modelo de Partiacuteculas

52

O modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas jaacute foi estendido para realizar diversos tipos de tarefas de aprendizado de maacutequina

Detecccedilatildeo de Comunidades Sobrepostas

Aprendizado Semi-Supervisionado com Dados Imperfeitos

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados

Aprendizado Ativo e Semi-Supervisionado

Segmentaccedilatildeo de Imagens

Detecccedilatildeo de Comunidades Sobrepostas

Breve Fabricio ZHAO Liang Fuzzy community structure detection by particle competition and cooperation Soft Computing (Berlin Print) v 17 p 659-673 2013httpdxdoiorg101007s00500-012-0924-3

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming ParticleCompetition and Cooperation for Uncovering Network Overlap Community Structure In The 8th InternationalSymposium on Neural Networks (ISNN 2011) 2011 Guilin China Lecture Notes in Computer Science Berlin Heidelberg Springer-Verlag 2011 v6677 p426 ndash 433httpdxdoiorg101007978-3-642-21111-9_48

53

Detecccedilatildeo de Comunidades Sobrepostas

Em problemas de classificaccedilatildeo nem sempre os elementos pertencem a um uacutenico grupo

Haacute casos em que elementos pertencem a muacuteltiplas comunidades

Exemplo Redes Sociais

Muacuteltiplos Grupos famiacutelia colegas de trabalho colegas de escola

A maioria dos meacutetodos natildeo consegue detectar tal estrutura de sobreposiccedilatildeo

54Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Esta extensatildeo oferece saiacutedas contiacutenuas atraveacutes de um niacutevel de dominacircncia acumulado

Quantifica a dominacircncia de cada time de partiacuteculas sobre os noacutes ao longo de toda a execuccedilatildeo do algoritmo O niacutevel de dominacircncia acumulado inicia em zero para todas as

classes e eacute aumentado somente quando o movimento aleatoacuterio eacute selecionado na classe correspondente agrave partiacutecula

Nunca diminui

119907119894120582ℓ 119905 + 1 = 119907119894

120582ℓ 119905 + 120588119895120596 119905

55

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 29: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Dinacircmica de Noacutes

Quando uma partiacutecula seleciona um vizinho para visitar ela Diminui o niacutevel de domiacutenio de

outros times nesse vizinho

Aumenta o niacutevel de domiacutenio de seu proacuteprio time nesse vizinho

Exceccedilatildeo Niacuteveis de domiacutenio de noacutes

rotulados satildeo fixos

0

05

1

0

05

1

119905

119905 + 1

119907119894120596ℓ 119905 + 1 =

max 0 119907119894120596ℓ 119905 minus

Δ119907120588119895120596 119905

119888 minus 1se 119909119894 natildeo eacute rotulado e ℓ ne 120588119895

119891

119907119894120596ℓ 119905 +

119902neℓ119907119894

120596119902 119905 minus 119907119894

120596119902 119905 + 1 se 119909119894 natildeo eacute rotulado e ℓ = 120588119895119891

119907119894120596ℓ 119905 se 119909119894 eacute rotulado29

Dinacircmica de Partiacuteculas Uma partiacutecula se torna

Forte quando ela visita um noacute dominado por seu time

Fraca quando ela visita um noacute dominado por outro time

0 05 1 0 05 1

01 01 02

06

0 05 1 0 05 1

01

04

0203

120588119895120596 119905 + 1 = 119907119894

120596ℓ 119905 + 1

30

Tabela de Distacircncia Manteacutem a partiacutecula informada da

distacircncia para seu noacute casa Evita que a partiacutecula perca toda sua

forccedila caminhando em territoacuterios inimigos

Manteacutem as partiacuteculas por perto para proteger sua proacutepria vizinhanccedila

Atualizada automaticamente com informaccedilatildeo local Natildeo requer nenhum caacutelculo a priori

4

24

0

1

1

2

33

4

120588119895119889119896 119905 + 1 = ቐ

120588119895119889119894 119905 + 1 se 120588119895

119889119894 119905 + 1 lt 120588119895119889119896 119905

120588119895119889119896 119905 caso contraacuterio31

Caminhada Aleatoacuterio-Gulosa Caminhada Aleatoacuteria

A partiacutecula escolhe aleatoriamente qualquer vizinhos para visitar sem preocupaccedilatildeo com o niacutevel de domiacutenio

Probabilidades iguais para todos os vizinhos

Caminhada Gulosa A partiacutecula prefere visitar noacutes

que ela jaacute domina e noacutes mais proacuteximos de seu noacute casa

Probabilidade de visitar cada vizinho dada pelo niacutevel de domiacutenio e distacircncia

As partiacuteculas precisam exibir ambos os movimentos para que haja um equiliacutebrio entre o comportamento exploratoacuterio e o defensivo

119901 119907119894|120588119895 =119882119902119894

σ120583=1119899 119882119902120583

119901 119907119894|120588119895 =119882119902119894119907119894

120596ℓ 1 + 120588119895119889119894

minus2

σ120583=1119899 119882119902120583 119907120583

120596ℓ 1 + 120588119895

119889120583minus2

CAMINHADA GULOSACAMINHADA ALEATOacuteRIA

Probabilidades no Movimento Guloso

Probabilidades no Movimento Aleatoacuterio

35

18

47

33

33

33

1199071

1199072

1199073

1199074

1199072

1199073

1199074

1199072

1199073

1199074

01 01 02

06

04

0203

01

08

0100

01

33

Choques Uma partiacutecula fica no noacute

visitado somente se o niacutevel de domiacutenio de seu time eacute maior que o dos outros

Caso contraacuterio um choque acontece e a partiacutecula eacute expulsa voltando ao noacute onde estava anteriormente ateacute a proacutexima iteraccedilatildeo

07

03

03

07

0604

0406

34

AlgoritmoConstruir a rede

Configurar os niacuteveis de domiacutenio

Configurar posiccedilatildeo inicial de partiacuteculas e seus correspondentes noacutes-casa

Configurar forccedila da partiacutecula e distacircncia

Repita

Para cada partiacutecula faccedila

Selecione movimento aleatoacuterio ou guloso

Selecione o noacute a ser visitado

Atualize os niacuteveis de domiacutenio do noacute visitado

Atualize a forccedila da partiacutecula

Atualize a tabela de distacircncias

Ateacute que o criteacuterio de parada ou um nuacutemero preacute-definido de passos seja atingido

Rotule cada noacute natildeo rotulado de acordo com o time de partiacuteculas que tiver o maior domiacutenio

35

1 2 3 4

5 6 7 8

9 10 11 12

Voltando ao nosso exemplo dos alunosNo final das iteraccedilotildees

36

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

5

3

7

12

Agora eacute soacute ldquopintarrdquo os noacutes com a classe das partiacuteculas que o dominaram

37

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092 Aprovado

6 873 89 107 092 Aprovado

7 520 75 -046 -035 Reprovado

8 297 59 -143 -179 Reprovado

9 358 72 -117 -062 Reprovado

10 884 88 112 083 Aprovado

11 725 90 043 101 Aprovado

12 612 77 -006 -017 Reprovado

1

11

10

6

8

9

4

2

5

3

7

12

E pronto Todos os dados natildeo rotulados tiveram seus roacutetulos estimados pelo classificador do modelo de partiacuteculas

38

Anaacutelise de complexidade do meacutetodo proposto em rede com meacutedia mistura (a) Nuacutemero de

iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 5119911119900119906119905 lt 119896 gt = 02

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Anaacutelise de complexidade do meacutetodo proposto em rede com

alta mistura (a) Nuacutemero de iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 10119911119900119906119905 lt 119896 gt = 04

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Tamanho da Base de Dados (n)

Tem

po

(se

gun

do

s)

Tempo de execuccedilatildeo de quatro meacutetodos baseados em grafos incluindo o meacutetodo de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas para classificar uma sequencia de bases de dados artificiais com 4 classes com distribuiccedilatildeo Gaussiana com tamanhos crescentes

41

Classificaccedilatildeo de base de dado artificial com 2000

amostras divididas igualmente em duas classes com forma de

banana

Desempenho de Classificaccedilatildeo

42

Classificaccedilatildeo de base de dado artificial com 1000

amostras divididas em duas classes Highleyman

Desempenho de Classificaccedilatildeo

43

Classificaccedilatildeo de base de dado artificial com 1200

amostras divididas emduas classes Lithuanian com 800 e 400 amostras

respectivamente

Desempenho de Classificaccedilatildeo

44

Classificaccedilatildeo de base de dado artificial com 1200

amostras igualmente divididas em trecircs classes

com distribuiccedilatildeo Gaussiana

Desempenho de Classificaccedilatildeo

45

Benchmark - Erros de teste () com 100 pontos de dados rotulados46

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 100 pontos de dados rotulados

Benchmark - Erros de teste () com 10 pontos de dados rotulados48

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 10 pontos de dados rotulados

Erros de classificaccedilatildeo () e tempos de execuccedilatildeo (segundos) de quatro meacutetodos baseados em grafos aplicados em bases de dados grandes

Erros de Classificaccedilatildeo e Tempos de Execuccedilatildeo em Grandes Bases de Dados

50

Extensotildees do Modelo de Partiacuteculas

Detecccedilatildeo de Comunidades SobrepostasAprendizado Semi-Supervisionado com Dados ImperfeitosClassificaccedilatildeo Semi-Supervisionada de Fluxos de DadosAprendizado Ativo e Semi-SupervisionadoSegmentaccedilatildeo de Imagens

51

Extensotildees do Modelo de Partiacuteculas

52

O modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas jaacute foi estendido para realizar diversos tipos de tarefas de aprendizado de maacutequina

Detecccedilatildeo de Comunidades Sobrepostas

Aprendizado Semi-Supervisionado com Dados Imperfeitos

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados

Aprendizado Ativo e Semi-Supervisionado

Segmentaccedilatildeo de Imagens

Detecccedilatildeo de Comunidades Sobrepostas

Breve Fabricio ZHAO Liang Fuzzy community structure detection by particle competition and cooperation Soft Computing (Berlin Print) v 17 p 659-673 2013httpdxdoiorg101007s00500-012-0924-3

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming ParticleCompetition and Cooperation for Uncovering Network Overlap Community Structure In The 8th InternationalSymposium on Neural Networks (ISNN 2011) 2011 Guilin China Lecture Notes in Computer Science Berlin Heidelberg Springer-Verlag 2011 v6677 p426 ndash 433httpdxdoiorg101007978-3-642-21111-9_48

53

Detecccedilatildeo de Comunidades Sobrepostas

Em problemas de classificaccedilatildeo nem sempre os elementos pertencem a um uacutenico grupo

Haacute casos em que elementos pertencem a muacuteltiplas comunidades

Exemplo Redes Sociais

Muacuteltiplos Grupos famiacutelia colegas de trabalho colegas de escola

A maioria dos meacutetodos natildeo consegue detectar tal estrutura de sobreposiccedilatildeo

54Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Esta extensatildeo oferece saiacutedas contiacutenuas atraveacutes de um niacutevel de dominacircncia acumulado

Quantifica a dominacircncia de cada time de partiacuteculas sobre os noacutes ao longo de toda a execuccedilatildeo do algoritmo O niacutevel de dominacircncia acumulado inicia em zero para todas as

classes e eacute aumentado somente quando o movimento aleatoacuterio eacute selecionado na classe correspondente agrave partiacutecula

Nunca diminui

119907119894120582ℓ 119905 + 1 = 119907119894

120582ℓ 119905 + 120588119895120596 119905

55

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 30: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Dinacircmica de Partiacuteculas Uma partiacutecula se torna

Forte quando ela visita um noacute dominado por seu time

Fraca quando ela visita um noacute dominado por outro time

0 05 1 0 05 1

01 01 02

06

0 05 1 0 05 1

01

04

0203

120588119895120596 119905 + 1 = 119907119894

120596ℓ 119905 + 1

30

Tabela de Distacircncia Manteacutem a partiacutecula informada da

distacircncia para seu noacute casa Evita que a partiacutecula perca toda sua

forccedila caminhando em territoacuterios inimigos

Manteacutem as partiacuteculas por perto para proteger sua proacutepria vizinhanccedila

Atualizada automaticamente com informaccedilatildeo local Natildeo requer nenhum caacutelculo a priori

4

24

0

1

1

2

33

4

120588119895119889119896 119905 + 1 = ቐ

120588119895119889119894 119905 + 1 se 120588119895

119889119894 119905 + 1 lt 120588119895119889119896 119905

120588119895119889119896 119905 caso contraacuterio31

Caminhada Aleatoacuterio-Gulosa Caminhada Aleatoacuteria

A partiacutecula escolhe aleatoriamente qualquer vizinhos para visitar sem preocupaccedilatildeo com o niacutevel de domiacutenio

Probabilidades iguais para todos os vizinhos

Caminhada Gulosa A partiacutecula prefere visitar noacutes

que ela jaacute domina e noacutes mais proacuteximos de seu noacute casa

Probabilidade de visitar cada vizinho dada pelo niacutevel de domiacutenio e distacircncia

As partiacuteculas precisam exibir ambos os movimentos para que haja um equiliacutebrio entre o comportamento exploratoacuterio e o defensivo

119901 119907119894|120588119895 =119882119902119894

σ120583=1119899 119882119902120583

119901 119907119894|120588119895 =119882119902119894119907119894

120596ℓ 1 + 120588119895119889119894

minus2

σ120583=1119899 119882119902120583 119907120583

120596ℓ 1 + 120588119895

119889120583minus2

CAMINHADA GULOSACAMINHADA ALEATOacuteRIA

Probabilidades no Movimento Guloso

Probabilidades no Movimento Aleatoacuterio

35

18

47

33

33

33

1199071

1199072

1199073

1199074

1199072

1199073

1199074

1199072

1199073

1199074

01 01 02

06

04

0203

01

08

0100

01

33

Choques Uma partiacutecula fica no noacute

visitado somente se o niacutevel de domiacutenio de seu time eacute maior que o dos outros

Caso contraacuterio um choque acontece e a partiacutecula eacute expulsa voltando ao noacute onde estava anteriormente ateacute a proacutexima iteraccedilatildeo

07

03

03

07

0604

0406

34

AlgoritmoConstruir a rede

Configurar os niacuteveis de domiacutenio

Configurar posiccedilatildeo inicial de partiacuteculas e seus correspondentes noacutes-casa

Configurar forccedila da partiacutecula e distacircncia

Repita

Para cada partiacutecula faccedila

Selecione movimento aleatoacuterio ou guloso

Selecione o noacute a ser visitado

Atualize os niacuteveis de domiacutenio do noacute visitado

Atualize a forccedila da partiacutecula

Atualize a tabela de distacircncias

Ateacute que o criteacuterio de parada ou um nuacutemero preacute-definido de passos seja atingido

Rotule cada noacute natildeo rotulado de acordo com o time de partiacuteculas que tiver o maior domiacutenio

35

1 2 3 4

5 6 7 8

9 10 11 12

Voltando ao nosso exemplo dos alunosNo final das iteraccedilotildees

36

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

5

3

7

12

Agora eacute soacute ldquopintarrdquo os noacutes com a classe das partiacuteculas que o dominaram

37

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092 Aprovado

6 873 89 107 092 Aprovado

7 520 75 -046 -035 Reprovado

8 297 59 -143 -179 Reprovado

9 358 72 -117 -062 Reprovado

10 884 88 112 083 Aprovado

11 725 90 043 101 Aprovado

12 612 77 -006 -017 Reprovado

1

11

10

6

8

9

4

2

5

3

7

12

E pronto Todos os dados natildeo rotulados tiveram seus roacutetulos estimados pelo classificador do modelo de partiacuteculas

38

Anaacutelise de complexidade do meacutetodo proposto em rede com meacutedia mistura (a) Nuacutemero de

iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 5119911119900119906119905 lt 119896 gt = 02

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Anaacutelise de complexidade do meacutetodo proposto em rede com

alta mistura (a) Nuacutemero de iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 10119911119900119906119905 lt 119896 gt = 04

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Tamanho da Base de Dados (n)

Tem

po

(se

gun

do

s)

Tempo de execuccedilatildeo de quatro meacutetodos baseados em grafos incluindo o meacutetodo de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas para classificar uma sequencia de bases de dados artificiais com 4 classes com distribuiccedilatildeo Gaussiana com tamanhos crescentes

41

Classificaccedilatildeo de base de dado artificial com 2000

amostras divididas igualmente em duas classes com forma de

banana

Desempenho de Classificaccedilatildeo

42

Classificaccedilatildeo de base de dado artificial com 1000

amostras divididas em duas classes Highleyman

Desempenho de Classificaccedilatildeo

43

Classificaccedilatildeo de base de dado artificial com 1200

amostras divididas emduas classes Lithuanian com 800 e 400 amostras

respectivamente

Desempenho de Classificaccedilatildeo

44

Classificaccedilatildeo de base de dado artificial com 1200

amostras igualmente divididas em trecircs classes

com distribuiccedilatildeo Gaussiana

Desempenho de Classificaccedilatildeo

45

Benchmark - Erros de teste () com 100 pontos de dados rotulados46

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 100 pontos de dados rotulados

Benchmark - Erros de teste () com 10 pontos de dados rotulados48

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 10 pontos de dados rotulados

Erros de classificaccedilatildeo () e tempos de execuccedilatildeo (segundos) de quatro meacutetodos baseados em grafos aplicados em bases de dados grandes

Erros de Classificaccedilatildeo e Tempos de Execuccedilatildeo em Grandes Bases de Dados

50

Extensotildees do Modelo de Partiacuteculas

Detecccedilatildeo de Comunidades SobrepostasAprendizado Semi-Supervisionado com Dados ImperfeitosClassificaccedilatildeo Semi-Supervisionada de Fluxos de DadosAprendizado Ativo e Semi-SupervisionadoSegmentaccedilatildeo de Imagens

51

Extensotildees do Modelo de Partiacuteculas

52

O modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas jaacute foi estendido para realizar diversos tipos de tarefas de aprendizado de maacutequina

Detecccedilatildeo de Comunidades Sobrepostas

Aprendizado Semi-Supervisionado com Dados Imperfeitos

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados

Aprendizado Ativo e Semi-Supervisionado

Segmentaccedilatildeo de Imagens

Detecccedilatildeo de Comunidades Sobrepostas

Breve Fabricio ZHAO Liang Fuzzy community structure detection by particle competition and cooperation Soft Computing (Berlin Print) v 17 p 659-673 2013httpdxdoiorg101007s00500-012-0924-3

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming ParticleCompetition and Cooperation for Uncovering Network Overlap Community Structure In The 8th InternationalSymposium on Neural Networks (ISNN 2011) 2011 Guilin China Lecture Notes in Computer Science Berlin Heidelberg Springer-Verlag 2011 v6677 p426 ndash 433httpdxdoiorg101007978-3-642-21111-9_48

53

Detecccedilatildeo de Comunidades Sobrepostas

Em problemas de classificaccedilatildeo nem sempre os elementos pertencem a um uacutenico grupo

Haacute casos em que elementos pertencem a muacuteltiplas comunidades

Exemplo Redes Sociais

Muacuteltiplos Grupos famiacutelia colegas de trabalho colegas de escola

A maioria dos meacutetodos natildeo consegue detectar tal estrutura de sobreposiccedilatildeo

54Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Esta extensatildeo oferece saiacutedas contiacutenuas atraveacutes de um niacutevel de dominacircncia acumulado

Quantifica a dominacircncia de cada time de partiacuteculas sobre os noacutes ao longo de toda a execuccedilatildeo do algoritmo O niacutevel de dominacircncia acumulado inicia em zero para todas as

classes e eacute aumentado somente quando o movimento aleatoacuterio eacute selecionado na classe correspondente agrave partiacutecula

Nunca diminui

119907119894120582ℓ 119905 + 1 = 119907119894

120582ℓ 119905 + 120588119895120596 119905

55

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 31: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Tabela de Distacircncia Manteacutem a partiacutecula informada da

distacircncia para seu noacute casa Evita que a partiacutecula perca toda sua

forccedila caminhando em territoacuterios inimigos

Manteacutem as partiacuteculas por perto para proteger sua proacutepria vizinhanccedila

Atualizada automaticamente com informaccedilatildeo local Natildeo requer nenhum caacutelculo a priori

4

24

0

1

1

2

33

4

120588119895119889119896 119905 + 1 = ቐ

120588119895119889119894 119905 + 1 se 120588119895

119889119894 119905 + 1 lt 120588119895119889119896 119905

120588119895119889119896 119905 caso contraacuterio31

Caminhada Aleatoacuterio-Gulosa Caminhada Aleatoacuteria

A partiacutecula escolhe aleatoriamente qualquer vizinhos para visitar sem preocupaccedilatildeo com o niacutevel de domiacutenio

Probabilidades iguais para todos os vizinhos

Caminhada Gulosa A partiacutecula prefere visitar noacutes

que ela jaacute domina e noacutes mais proacuteximos de seu noacute casa

Probabilidade de visitar cada vizinho dada pelo niacutevel de domiacutenio e distacircncia

As partiacuteculas precisam exibir ambos os movimentos para que haja um equiliacutebrio entre o comportamento exploratoacuterio e o defensivo

119901 119907119894|120588119895 =119882119902119894

σ120583=1119899 119882119902120583

119901 119907119894|120588119895 =119882119902119894119907119894

120596ℓ 1 + 120588119895119889119894

minus2

σ120583=1119899 119882119902120583 119907120583

120596ℓ 1 + 120588119895

119889120583minus2

CAMINHADA GULOSACAMINHADA ALEATOacuteRIA

Probabilidades no Movimento Guloso

Probabilidades no Movimento Aleatoacuterio

35

18

47

33

33

33

1199071

1199072

1199073

1199074

1199072

1199073

1199074

1199072

1199073

1199074

01 01 02

06

04

0203

01

08

0100

01

33

Choques Uma partiacutecula fica no noacute

visitado somente se o niacutevel de domiacutenio de seu time eacute maior que o dos outros

Caso contraacuterio um choque acontece e a partiacutecula eacute expulsa voltando ao noacute onde estava anteriormente ateacute a proacutexima iteraccedilatildeo

07

03

03

07

0604

0406

34

AlgoritmoConstruir a rede

Configurar os niacuteveis de domiacutenio

Configurar posiccedilatildeo inicial de partiacuteculas e seus correspondentes noacutes-casa

Configurar forccedila da partiacutecula e distacircncia

Repita

Para cada partiacutecula faccedila

Selecione movimento aleatoacuterio ou guloso

Selecione o noacute a ser visitado

Atualize os niacuteveis de domiacutenio do noacute visitado

Atualize a forccedila da partiacutecula

Atualize a tabela de distacircncias

Ateacute que o criteacuterio de parada ou um nuacutemero preacute-definido de passos seja atingido

Rotule cada noacute natildeo rotulado de acordo com o time de partiacuteculas que tiver o maior domiacutenio

35

1 2 3 4

5 6 7 8

9 10 11 12

Voltando ao nosso exemplo dos alunosNo final das iteraccedilotildees

36

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

5

3

7

12

Agora eacute soacute ldquopintarrdquo os noacutes com a classe das partiacuteculas que o dominaram

37

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092 Aprovado

6 873 89 107 092 Aprovado

7 520 75 -046 -035 Reprovado

8 297 59 -143 -179 Reprovado

9 358 72 -117 -062 Reprovado

10 884 88 112 083 Aprovado

11 725 90 043 101 Aprovado

12 612 77 -006 -017 Reprovado

1

11

10

6

8

9

4

2

5

3

7

12

E pronto Todos os dados natildeo rotulados tiveram seus roacutetulos estimados pelo classificador do modelo de partiacuteculas

38

Anaacutelise de complexidade do meacutetodo proposto em rede com meacutedia mistura (a) Nuacutemero de

iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 5119911119900119906119905 lt 119896 gt = 02

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Anaacutelise de complexidade do meacutetodo proposto em rede com

alta mistura (a) Nuacutemero de iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 10119911119900119906119905 lt 119896 gt = 04

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Tamanho da Base de Dados (n)

Tem

po

(se

gun

do

s)

Tempo de execuccedilatildeo de quatro meacutetodos baseados em grafos incluindo o meacutetodo de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas para classificar uma sequencia de bases de dados artificiais com 4 classes com distribuiccedilatildeo Gaussiana com tamanhos crescentes

41

Classificaccedilatildeo de base de dado artificial com 2000

amostras divididas igualmente em duas classes com forma de

banana

Desempenho de Classificaccedilatildeo

42

Classificaccedilatildeo de base de dado artificial com 1000

amostras divididas em duas classes Highleyman

Desempenho de Classificaccedilatildeo

43

Classificaccedilatildeo de base de dado artificial com 1200

amostras divididas emduas classes Lithuanian com 800 e 400 amostras

respectivamente

Desempenho de Classificaccedilatildeo

44

Classificaccedilatildeo de base de dado artificial com 1200

amostras igualmente divididas em trecircs classes

com distribuiccedilatildeo Gaussiana

Desempenho de Classificaccedilatildeo

45

Benchmark - Erros de teste () com 100 pontos de dados rotulados46

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 100 pontos de dados rotulados

Benchmark - Erros de teste () com 10 pontos de dados rotulados48

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 10 pontos de dados rotulados

Erros de classificaccedilatildeo () e tempos de execuccedilatildeo (segundos) de quatro meacutetodos baseados em grafos aplicados em bases de dados grandes

Erros de Classificaccedilatildeo e Tempos de Execuccedilatildeo em Grandes Bases de Dados

50

Extensotildees do Modelo de Partiacuteculas

Detecccedilatildeo de Comunidades SobrepostasAprendizado Semi-Supervisionado com Dados ImperfeitosClassificaccedilatildeo Semi-Supervisionada de Fluxos de DadosAprendizado Ativo e Semi-SupervisionadoSegmentaccedilatildeo de Imagens

51

Extensotildees do Modelo de Partiacuteculas

52

O modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas jaacute foi estendido para realizar diversos tipos de tarefas de aprendizado de maacutequina

Detecccedilatildeo de Comunidades Sobrepostas

Aprendizado Semi-Supervisionado com Dados Imperfeitos

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados

Aprendizado Ativo e Semi-Supervisionado

Segmentaccedilatildeo de Imagens

Detecccedilatildeo de Comunidades Sobrepostas

Breve Fabricio ZHAO Liang Fuzzy community structure detection by particle competition and cooperation Soft Computing (Berlin Print) v 17 p 659-673 2013httpdxdoiorg101007s00500-012-0924-3

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming ParticleCompetition and Cooperation for Uncovering Network Overlap Community Structure In The 8th InternationalSymposium on Neural Networks (ISNN 2011) 2011 Guilin China Lecture Notes in Computer Science Berlin Heidelberg Springer-Verlag 2011 v6677 p426 ndash 433httpdxdoiorg101007978-3-642-21111-9_48

53

Detecccedilatildeo de Comunidades Sobrepostas

Em problemas de classificaccedilatildeo nem sempre os elementos pertencem a um uacutenico grupo

Haacute casos em que elementos pertencem a muacuteltiplas comunidades

Exemplo Redes Sociais

Muacuteltiplos Grupos famiacutelia colegas de trabalho colegas de escola

A maioria dos meacutetodos natildeo consegue detectar tal estrutura de sobreposiccedilatildeo

54Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Esta extensatildeo oferece saiacutedas contiacutenuas atraveacutes de um niacutevel de dominacircncia acumulado

Quantifica a dominacircncia de cada time de partiacuteculas sobre os noacutes ao longo de toda a execuccedilatildeo do algoritmo O niacutevel de dominacircncia acumulado inicia em zero para todas as

classes e eacute aumentado somente quando o movimento aleatoacuterio eacute selecionado na classe correspondente agrave partiacutecula

Nunca diminui

119907119894120582ℓ 119905 + 1 = 119907119894

120582ℓ 119905 + 120588119895120596 119905

55

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 32: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Caminhada Aleatoacuterio-Gulosa Caminhada Aleatoacuteria

A partiacutecula escolhe aleatoriamente qualquer vizinhos para visitar sem preocupaccedilatildeo com o niacutevel de domiacutenio

Probabilidades iguais para todos os vizinhos

Caminhada Gulosa A partiacutecula prefere visitar noacutes

que ela jaacute domina e noacutes mais proacuteximos de seu noacute casa

Probabilidade de visitar cada vizinho dada pelo niacutevel de domiacutenio e distacircncia

As partiacuteculas precisam exibir ambos os movimentos para que haja um equiliacutebrio entre o comportamento exploratoacuterio e o defensivo

119901 119907119894|120588119895 =119882119902119894

σ120583=1119899 119882119902120583

119901 119907119894|120588119895 =119882119902119894119907119894

120596ℓ 1 + 120588119895119889119894

minus2

σ120583=1119899 119882119902120583 119907120583

120596ℓ 1 + 120588119895

119889120583minus2

CAMINHADA GULOSACAMINHADA ALEATOacuteRIA

Probabilidades no Movimento Guloso

Probabilidades no Movimento Aleatoacuterio

35

18

47

33

33

33

1199071

1199072

1199073

1199074

1199072

1199073

1199074

1199072

1199073

1199074

01 01 02

06

04

0203

01

08

0100

01

33

Choques Uma partiacutecula fica no noacute

visitado somente se o niacutevel de domiacutenio de seu time eacute maior que o dos outros

Caso contraacuterio um choque acontece e a partiacutecula eacute expulsa voltando ao noacute onde estava anteriormente ateacute a proacutexima iteraccedilatildeo

07

03

03

07

0604

0406

34

AlgoritmoConstruir a rede

Configurar os niacuteveis de domiacutenio

Configurar posiccedilatildeo inicial de partiacuteculas e seus correspondentes noacutes-casa

Configurar forccedila da partiacutecula e distacircncia

Repita

Para cada partiacutecula faccedila

Selecione movimento aleatoacuterio ou guloso

Selecione o noacute a ser visitado

Atualize os niacuteveis de domiacutenio do noacute visitado

Atualize a forccedila da partiacutecula

Atualize a tabela de distacircncias

Ateacute que o criteacuterio de parada ou um nuacutemero preacute-definido de passos seja atingido

Rotule cada noacute natildeo rotulado de acordo com o time de partiacuteculas que tiver o maior domiacutenio

35

1 2 3 4

5 6 7 8

9 10 11 12

Voltando ao nosso exemplo dos alunosNo final das iteraccedilotildees

36

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

5

3

7

12

Agora eacute soacute ldquopintarrdquo os noacutes com a classe das partiacuteculas que o dominaram

37

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092 Aprovado

6 873 89 107 092 Aprovado

7 520 75 -046 -035 Reprovado

8 297 59 -143 -179 Reprovado

9 358 72 -117 -062 Reprovado

10 884 88 112 083 Aprovado

11 725 90 043 101 Aprovado

12 612 77 -006 -017 Reprovado

1

11

10

6

8

9

4

2

5

3

7

12

E pronto Todos os dados natildeo rotulados tiveram seus roacutetulos estimados pelo classificador do modelo de partiacuteculas

38

Anaacutelise de complexidade do meacutetodo proposto em rede com meacutedia mistura (a) Nuacutemero de

iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 5119911119900119906119905 lt 119896 gt = 02

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Anaacutelise de complexidade do meacutetodo proposto em rede com

alta mistura (a) Nuacutemero de iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 10119911119900119906119905 lt 119896 gt = 04

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Tamanho da Base de Dados (n)

Tem

po

(se

gun

do

s)

Tempo de execuccedilatildeo de quatro meacutetodos baseados em grafos incluindo o meacutetodo de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas para classificar uma sequencia de bases de dados artificiais com 4 classes com distribuiccedilatildeo Gaussiana com tamanhos crescentes

41

Classificaccedilatildeo de base de dado artificial com 2000

amostras divididas igualmente em duas classes com forma de

banana

Desempenho de Classificaccedilatildeo

42

Classificaccedilatildeo de base de dado artificial com 1000

amostras divididas em duas classes Highleyman

Desempenho de Classificaccedilatildeo

43

Classificaccedilatildeo de base de dado artificial com 1200

amostras divididas emduas classes Lithuanian com 800 e 400 amostras

respectivamente

Desempenho de Classificaccedilatildeo

44

Classificaccedilatildeo de base de dado artificial com 1200

amostras igualmente divididas em trecircs classes

com distribuiccedilatildeo Gaussiana

Desempenho de Classificaccedilatildeo

45

Benchmark - Erros de teste () com 100 pontos de dados rotulados46

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 100 pontos de dados rotulados

Benchmark - Erros de teste () com 10 pontos de dados rotulados48

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 10 pontos de dados rotulados

Erros de classificaccedilatildeo () e tempos de execuccedilatildeo (segundos) de quatro meacutetodos baseados em grafos aplicados em bases de dados grandes

Erros de Classificaccedilatildeo e Tempos de Execuccedilatildeo em Grandes Bases de Dados

50

Extensotildees do Modelo de Partiacuteculas

Detecccedilatildeo de Comunidades SobrepostasAprendizado Semi-Supervisionado com Dados ImperfeitosClassificaccedilatildeo Semi-Supervisionada de Fluxos de DadosAprendizado Ativo e Semi-SupervisionadoSegmentaccedilatildeo de Imagens

51

Extensotildees do Modelo de Partiacuteculas

52

O modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas jaacute foi estendido para realizar diversos tipos de tarefas de aprendizado de maacutequina

Detecccedilatildeo de Comunidades Sobrepostas

Aprendizado Semi-Supervisionado com Dados Imperfeitos

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados

Aprendizado Ativo e Semi-Supervisionado

Segmentaccedilatildeo de Imagens

Detecccedilatildeo de Comunidades Sobrepostas

Breve Fabricio ZHAO Liang Fuzzy community structure detection by particle competition and cooperation Soft Computing (Berlin Print) v 17 p 659-673 2013httpdxdoiorg101007s00500-012-0924-3

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming ParticleCompetition and Cooperation for Uncovering Network Overlap Community Structure In The 8th InternationalSymposium on Neural Networks (ISNN 2011) 2011 Guilin China Lecture Notes in Computer Science Berlin Heidelberg Springer-Verlag 2011 v6677 p426 ndash 433httpdxdoiorg101007978-3-642-21111-9_48

53

Detecccedilatildeo de Comunidades Sobrepostas

Em problemas de classificaccedilatildeo nem sempre os elementos pertencem a um uacutenico grupo

Haacute casos em que elementos pertencem a muacuteltiplas comunidades

Exemplo Redes Sociais

Muacuteltiplos Grupos famiacutelia colegas de trabalho colegas de escola

A maioria dos meacutetodos natildeo consegue detectar tal estrutura de sobreposiccedilatildeo

54Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Esta extensatildeo oferece saiacutedas contiacutenuas atraveacutes de um niacutevel de dominacircncia acumulado

Quantifica a dominacircncia de cada time de partiacuteculas sobre os noacutes ao longo de toda a execuccedilatildeo do algoritmo O niacutevel de dominacircncia acumulado inicia em zero para todas as

classes e eacute aumentado somente quando o movimento aleatoacuterio eacute selecionado na classe correspondente agrave partiacutecula

Nunca diminui

119907119894120582ℓ 119905 + 1 = 119907119894

120582ℓ 119905 + 120588119895120596 119905

55

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 33: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Probabilidades no Movimento Guloso

Probabilidades no Movimento Aleatoacuterio

35

18

47

33

33

33

1199071

1199072

1199073

1199074

1199072

1199073

1199074

1199072

1199073

1199074

01 01 02

06

04

0203

01

08

0100

01

33

Choques Uma partiacutecula fica no noacute

visitado somente se o niacutevel de domiacutenio de seu time eacute maior que o dos outros

Caso contraacuterio um choque acontece e a partiacutecula eacute expulsa voltando ao noacute onde estava anteriormente ateacute a proacutexima iteraccedilatildeo

07

03

03

07

0604

0406

34

AlgoritmoConstruir a rede

Configurar os niacuteveis de domiacutenio

Configurar posiccedilatildeo inicial de partiacuteculas e seus correspondentes noacutes-casa

Configurar forccedila da partiacutecula e distacircncia

Repita

Para cada partiacutecula faccedila

Selecione movimento aleatoacuterio ou guloso

Selecione o noacute a ser visitado

Atualize os niacuteveis de domiacutenio do noacute visitado

Atualize a forccedila da partiacutecula

Atualize a tabela de distacircncias

Ateacute que o criteacuterio de parada ou um nuacutemero preacute-definido de passos seja atingido

Rotule cada noacute natildeo rotulado de acordo com o time de partiacuteculas que tiver o maior domiacutenio

35

1 2 3 4

5 6 7 8

9 10 11 12

Voltando ao nosso exemplo dos alunosNo final das iteraccedilotildees

36

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

5

3

7

12

Agora eacute soacute ldquopintarrdquo os noacutes com a classe das partiacuteculas que o dominaram

37

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092 Aprovado

6 873 89 107 092 Aprovado

7 520 75 -046 -035 Reprovado

8 297 59 -143 -179 Reprovado

9 358 72 -117 -062 Reprovado

10 884 88 112 083 Aprovado

11 725 90 043 101 Aprovado

12 612 77 -006 -017 Reprovado

1

11

10

6

8

9

4

2

5

3

7

12

E pronto Todos os dados natildeo rotulados tiveram seus roacutetulos estimados pelo classificador do modelo de partiacuteculas

38

Anaacutelise de complexidade do meacutetodo proposto em rede com meacutedia mistura (a) Nuacutemero de

iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 5119911119900119906119905 lt 119896 gt = 02

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Anaacutelise de complexidade do meacutetodo proposto em rede com

alta mistura (a) Nuacutemero de iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 10119911119900119906119905 lt 119896 gt = 04

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Tamanho da Base de Dados (n)

Tem

po

(se

gun

do

s)

Tempo de execuccedilatildeo de quatro meacutetodos baseados em grafos incluindo o meacutetodo de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas para classificar uma sequencia de bases de dados artificiais com 4 classes com distribuiccedilatildeo Gaussiana com tamanhos crescentes

41

Classificaccedilatildeo de base de dado artificial com 2000

amostras divididas igualmente em duas classes com forma de

banana

Desempenho de Classificaccedilatildeo

42

Classificaccedilatildeo de base de dado artificial com 1000

amostras divididas em duas classes Highleyman

Desempenho de Classificaccedilatildeo

43

Classificaccedilatildeo de base de dado artificial com 1200

amostras divididas emduas classes Lithuanian com 800 e 400 amostras

respectivamente

Desempenho de Classificaccedilatildeo

44

Classificaccedilatildeo de base de dado artificial com 1200

amostras igualmente divididas em trecircs classes

com distribuiccedilatildeo Gaussiana

Desempenho de Classificaccedilatildeo

45

Benchmark - Erros de teste () com 100 pontos de dados rotulados46

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 100 pontos de dados rotulados

Benchmark - Erros de teste () com 10 pontos de dados rotulados48

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 10 pontos de dados rotulados

Erros de classificaccedilatildeo () e tempos de execuccedilatildeo (segundos) de quatro meacutetodos baseados em grafos aplicados em bases de dados grandes

Erros de Classificaccedilatildeo e Tempos de Execuccedilatildeo em Grandes Bases de Dados

50

Extensotildees do Modelo de Partiacuteculas

Detecccedilatildeo de Comunidades SobrepostasAprendizado Semi-Supervisionado com Dados ImperfeitosClassificaccedilatildeo Semi-Supervisionada de Fluxos de DadosAprendizado Ativo e Semi-SupervisionadoSegmentaccedilatildeo de Imagens

51

Extensotildees do Modelo de Partiacuteculas

52

O modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas jaacute foi estendido para realizar diversos tipos de tarefas de aprendizado de maacutequina

Detecccedilatildeo de Comunidades Sobrepostas

Aprendizado Semi-Supervisionado com Dados Imperfeitos

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados

Aprendizado Ativo e Semi-Supervisionado

Segmentaccedilatildeo de Imagens

Detecccedilatildeo de Comunidades Sobrepostas

Breve Fabricio ZHAO Liang Fuzzy community structure detection by particle competition and cooperation Soft Computing (Berlin Print) v 17 p 659-673 2013httpdxdoiorg101007s00500-012-0924-3

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming ParticleCompetition and Cooperation for Uncovering Network Overlap Community Structure In The 8th InternationalSymposium on Neural Networks (ISNN 2011) 2011 Guilin China Lecture Notes in Computer Science Berlin Heidelberg Springer-Verlag 2011 v6677 p426 ndash 433httpdxdoiorg101007978-3-642-21111-9_48

53

Detecccedilatildeo de Comunidades Sobrepostas

Em problemas de classificaccedilatildeo nem sempre os elementos pertencem a um uacutenico grupo

Haacute casos em que elementos pertencem a muacuteltiplas comunidades

Exemplo Redes Sociais

Muacuteltiplos Grupos famiacutelia colegas de trabalho colegas de escola

A maioria dos meacutetodos natildeo consegue detectar tal estrutura de sobreposiccedilatildeo

54Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Esta extensatildeo oferece saiacutedas contiacutenuas atraveacutes de um niacutevel de dominacircncia acumulado

Quantifica a dominacircncia de cada time de partiacuteculas sobre os noacutes ao longo de toda a execuccedilatildeo do algoritmo O niacutevel de dominacircncia acumulado inicia em zero para todas as

classes e eacute aumentado somente quando o movimento aleatoacuterio eacute selecionado na classe correspondente agrave partiacutecula

Nunca diminui

119907119894120582ℓ 119905 + 1 = 119907119894

120582ℓ 119905 + 120588119895120596 119905

55

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 34: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Choques Uma partiacutecula fica no noacute

visitado somente se o niacutevel de domiacutenio de seu time eacute maior que o dos outros

Caso contraacuterio um choque acontece e a partiacutecula eacute expulsa voltando ao noacute onde estava anteriormente ateacute a proacutexima iteraccedilatildeo

07

03

03

07

0604

0406

34

AlgoritmoConstruir a rede

Configurar os niacuteveis de domiacutenio

Configurar posiccedilatildeo inicial de partiacuteculas e seus correspondentes noacutes-casa

Configurar forccedila da partiacutecula e distacircncia

Repita

Para cada partiacutecula faccedila

Selecione movimento aleatoacuterio ou guloso

Selecione o noacute a ser visitado

Atualize os niacuteveis de domiacutenio do noacute visitado

Atualize a forccedila da partiacutecula

Atualize a tabela de distacircncias

Ateacute que o criteacuterio de parada ou um nuacutemero preacute-definido de passos seja atingido

Rotule cada noacute natildeo rotulado de acordo com o time de partiacuteculas que tiver o maior domiacutenio

35

1 2 3 4

5 6 7 8

9 10 11 12

Voltando ao nosso exemplo dos alunosNo final das iteraccedilotildees

36

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

5

3

7

12

Agora eacute soacute ldquopintarrdquo os noacutes com a classe das partiacuteculas que o dominaram

37

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092 Aprovado

6 873 89 107 092 Aprovado

7 520 75 -046 -035 Reprovado

8 297 59 -143 -179 Reprovado

9 358 72 -117 -062 Reprovado

10 884 88 112 083 Aprovado

11 725 90 043 101 Aprovado

12 612 77 -006 -017 Reprovado

1

11

10

6

8

9

4

2

5

3

7

12

E pronto Todos os dados natildeo rotulados tiveram seus roacutetulos estimados pelo classificador do modelo de partiacuteculas

38

Anaacutelise de complexidade do meacutetodo proposto em rede com meacutedia mistura (a) Nuacutemero de

iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 5119911119900119906119905 lt 119896 gt = 02

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Anaacutelise de complexidade do meacutetodo proposto em rede com

alta mistura (a) Nuacutemero de iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 10119911119900119906119905 lt 119896 gt = 04

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Tamanho da Base de Dados (n)

Tem

po

(se

gun

do

s)

Tempo de execuccedilatildeo de quatro meacutetodos baseados em grafos incluindo o meacutetodo de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas para classificar uma sequencia de bases de dados artificiais com 4 classes com distribuiccedilatildeo Gaussiana com tamanhos crescentes

41

Classificaccedilatildeo de base de dado artificial com 2000

amostras divididas igualmente em duas classes com forma de

banana

Desempenho de Classificaccedilatildeo

42

Classificaccedilatildeo de base de dado artificial com 1000

amostras divididas em duas classes Highleyman

Desempenho de Classificaccedilatildeo

43

Classificaccedilatildeo de base de dado artificial com 1200

amostras divididas emduas classes Lithuanian com 800 e 400 amostras

respectivamente

Desempenho de Classificaccedilatildeo

44

Classificaccedilatildeo de base de dado artificial com 1200

amostras igualmente divididas em trecircs classes

com distribuiccedilatildeo Gaussiana

Desempenho de Classificaccedilatildeo

45

Benchmark - Erros de teste () com 100 pontos de dados rotulados46

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 100 pontos de dados rotulados

Benchmark - Erros de teste () com 10 pontos de dados rotulados48

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 10 pontos de dados rotulados

Erros de classificaccedilatildeo () e tempos de execuccedilatildeo (segundos) de quatro meacutetodos baseados em grafos aplicados em bases de dados grandes

Erros de Classificaccedilatildeo e Tempos de Execuccedilatildeo em Grandes Bases de Dados

50

Extensotildees do Modelo de Partiacuteculas

Detecccedilatildeo de Comunidades SobrepostasAprendizado Semi-Supervisionado com Dados ImperfeitosClassificaccedilatildeo Semi-Supervisionada de Fluxos de DadosAprendizado Ativo e Semi-SupervisionadoSegmentaccedilatildeo de Imagens

51

Extensotildees do Modelo de Partiacuteculas

52

O modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas jaacute foi estendido para realizar diversos tipos de tarefas de aprendizado de maacutequina

Detecccedilatildeo de Comunidades Sobrepostas

Aprendizado Semi-Supervisionado com Dados Imperfeitos

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados

Aprendizado Ativo e Semi-Supervisionado

Segmentaccedilatildeo de Imagens

Detecccedilatildeo de Comunidades Sobrepostas

Breve Fabricio ZHAO Liang Fuzzy community structure detection by particle competition and cooperation Soft Computing (Berlin Print) v 17 p 659-673 2013httpdxdoiorg101007s00500-012-0924-3

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming ParticleCompetition and Cooperation for Uncovering Network Overlap Community Structure In The 8th InternationalSymposium on Neural Networks (ISNN 2011) 2011 Guilin China Lecture Notes in Computer Science Berlin Heidelberg Springer-Verlag 2011 v6677 p426 ndash 433httpdxdoiorg101007978-3-642-21111-9_48

53

Detecccedilatildeo de Comunidades Sobrepostas

Em problemas de classificaccedilatildeo nem sempre os elementos pertencem a um uacutenico grupo

Haacute casos em que elementos pertencem a muacuteltiplas comunidades

Exemplo Redes Sociais

Muacuteltiplos Grupos famiacutelia colegas de trabalho colegas de escola

A maioria dos meacutetodos natildeo consegue detectar tal estrutura de sobreposiccedilatildeo

54Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Esta extensatildeo oferece saiacutedas contiacutenuas atraveacutes de um niacutevel de dominacircncia acumulado

Quantifica a dominacircncia de cada time de partiacuteculas sobre os noacutes ao longo de toda a execuccedilatildeo do algoritmo O niacutevel de dominacircncia acumulado inicia em zero para todas as

classes e eacute aumentado somente quando o movimento aleatoacuterio eacute selecionado na classe correspondente agrave partiacutecula

Nunca diminui

119907119894120582ℓ 119905 + 1 = 119907119894

120582ℓ 119905 + 120588119895120596 119905

55

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 35: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

AlgoritmoConstruir a rede

Configurar os niacuteveis de domiacutenio

Configurar posiccedilatildeo inicial de partiacuteculas e seus correspondentes noacutes-casa

Configurar forccedila da partiacutecula e distacircncia

Repita

Para cada partiacutecula faccedila

Selecione movimento aleatoacuterio ou guloso

Selecione o noacute a ser visitado

Atualize os niacuteveis de domiacutenio do noacute visitado

Atualize a forccedila da partiacutecula

Atualize a tabela de distacircncias

Ateacute que o criteacuterio de parada ou um nuacutemero preacute-definido de passos seja atingido

Rotule cada noacute natildeo rotulado de acordo com o time de partiacuteculas que tiver o maior domiacutenio

35

1 2 3 4

5 6 7 8

9 10 11 12

Voltando ao nosso exemplo dos alunosNo final das iteraccedilotildees

36

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

5

3

7

12

Agora eacute soacute ldquopintarrdquo os noacutes com a classe das partiacuteculas que o dominaram

37

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092 Aprovado

6 873 89 107 092 Aprovado

7 520 75 -046 -035 Reprovado

8 297 59 -143 -179 Reprovado

9 358 72 -117 -062 Reprovado

10 884 88 112 083 Aprovado

11 725 90 043 101 Aprovado

12 612 77 -006 -017 Reprovado

1

11

10

6

8

9

4

2

5

3

7

12

E pronto Todos os dados natildeo rotulados tiveram seus roacutetulos estimados pelo classificador do modelo de partiacuteculas

38

Anaacutelise de complexidade do meacutetodo proposto em rede com meacutedia mistura (a) Nuacutemero de

iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 5119911119900119906119905 lt 119896 gt = 02

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Anaacutelise de complexidade do meacutetodo proposto em rede com

alta mistura (a) Nuacutemero de iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 10119911119900119906119905 lt 119896 gt = 04

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Tamanho da Base de Dados (n)

Tem

po

(se

gun

do

s)

Tempo de execuccedilatildeo de quatro meacutetodos baseados em grafos incluindo o meacutetodo de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas para classificar uma sequencia de bases de dados artificiais com 4 classes com distribuiccedilatildeo Gaussiana com tamanhos crescentes

41

Classificaccedilatildeo de base de dado artificial com 2000

amostras divididas igualmente em duas classes com forma de

banana

Desempenho de Classificaccedilatildeo

42

Classificaccedilatildeo de base de dado artificial com 1000

amostras divididas em duas classes Highleyman

Desempenho de Classificaccedilatildeo

43

Classificaccedilatildeo de base de dado artificial com 1200

amostras divididas emduas classes Lithuanian com 800 e 400 amostras

respectivamente

Desempenho de Classificaccedilatildeo

44

Classificaccedilatildeo de base de dado artificial com 1200

amostras igualmente divididas em trecircs classes

com distribuiccedilatildeo Gaussiana

Desempenho de Classificaccedilatildeo

45

Benchmark - Erros de teste () com 100 pontos de dados rotulados46

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 100 pontos de dados rotulados

Benchmark - Erros de teste () com 10 pontos de dados rotulados48

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 10 pontos de dados rotulados

Erros de classificaccedilatildeo () e tempos de execuccedilatildeo (segundos) de quatro meacutetodos baseados em grafos aplicados em bases de dados grandes

Erros de Classificaccedilatildeo e Tempos de Execuccedilatildeo em Grandes Bases de Dados

50

Extensotildees do Modelo de Partiacuteculas

Detecccedilatildeo de Comunidades SobrepostasAprendizado Semi-Supervisionado com Dados ImperfeitosClassificaccedilatildeo Semi-Supervisionada de Fluxos de DadosAprendizado Ativo e Semi-SupervisionadoSegmentaccedilatildeo de Imagens

51

Extensotildees do Modelo de Partiacuteculas

52

O modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas jaacute foi estendido para realizar diversos tipos de tarefas de aprendizado de maacutequina

Detecccedilatildeo de Comunidades Sobrepostas

Aprendizado Semi-Supervisionado com Dados Imperfeitos

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados

Aprendizado Ativo e Semi-Supervisionado

Segmentaccedilatildeo de Imagens

Detecccedilatildeo de Comunidades Sobrepostas

Breve Fabricio ZHAO Liang Fuzzy community structure detection by particle competition and cooperation Soft Computing (Berlin Print) v 17 p 659-673 2013httpdxdoiorg101007s00500-012-0924-3

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming ParticleCompetition and Cooperation for Uncovering Network Overlap Community Structure In The 8th InternationalSymposium on Neural Networks (ISNN 2011) 2011 Guilin China Lecture Notes in Computer Science Berlin Heidelberg Springer-Verlag 2011 v6677 p426 ndash 433httpdxdoiorg101007978-3-642-21111-9_48

53

Detecccedilatildeo de Comunidades Sobrepostas

Em problemas de classificaccedilatildeo nem sempre os elementos pertencem a um uacutenico grupo

Haacute casos em que elementos pertencem a muacuteltiplas comunidades

Exemplo Redes Sociais

Muacuteltiplos Grupos famiacutelia colegas de trabalho colegas de escola

A maioria dos meacutetodos natildeo consegue detectar tal estrutura de sobreposiccedilatildeo

54Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Esta extensatildeo oferece saiacutedas contiacutenuas atraveacutes de um niacutevel de dominacircncia acumulado

Quantifica a dominacircncia de cada time de partiacuteculas sobre os noacutes ao longo de toda a execuccedilatildeo do algoritmo O niacutevel de dominacircncia acumulado inicia em zero para todas as

classes e eacute aumentado somente quando o movimento aleatoacuterio eacute selecionado na classe correspondente agrave partiacutecula

Nunca diminui

119907119894120582ℓ 119905 + 1 = 119907119894

120582ℓ 119905 + 120588119895120596 119905

55

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 36: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

1 2 3 4

5 6 7 8

9 10 11 12

Voltando ao nosso exemplo dos alunosNo final das iteraccedilotildees

36

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

5

3

7

12

Agora eacute soacute ldquopintarrdquo os noacutes com a classe das partiacuteculas que o dominaram

37

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092 Aprovado

6 873 89 107 092 Aprovado

7 520 75 -046 -035 Reprovado

8 297 59 -143 -179 Reprovado

9 358 72 -117 -062 Reprovado

10 884 88 112 083 Aprovado

11 725 90 043 101 Aprovado

12 612 77 -006 -017 Reprovado

1

11

10

6

8

9

4

2

5

3

7

12

E pronto Todos os dados natildeo rotulados tiveram seus roacutetulos estimados pelo classificador do modelo de partiacuteculas

38

Anaacutelise de complexidade do meacutetodo proposto em rede com meacutedia mistura (a) Nuacutemero de

iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 5119911119900119906119905 lt 119896 gt = 02

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Anaacutelise de complexidade do meacutetodo proposto em rede com

alta mistura (a) Nuacutemero de iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 10119911119900119906119905 lt 119896 gt = 04

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Tamanho da Base de Dados (n)

Tem

po

(se

gun

do

s)

Tempo de execuccedilatildeo de quatro meacutetodos baseados em grafos incluindo o meacutetodo de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas para classificar uma sequencia de bases de dados artificiais com 4 classes com distribuiccedilatildeo Gaussiana com tamanhos crescentes

41

Classificaccedilatildeo de base de dado artificial com 2000

amostras divididas igualmente em duas classes com forma de

banana

Desempenho de Classificaccedilatildeo

42

Classificaccedilatildeo de base de dado artificial com 1000

amostras divididas em duas classes Highleyman

Desempenho de Classificaccedilatildeo

43

Classificaccedilatildeo de base de dado artificial com 1200

amostras divididas emduas classes Lithuanian com 800 e 400 amostras

respectivamente

Desempenho de Classificaccedilatildeo

44

Classificaccedilatildeo de base de dado artificial com 1200

amostras igualmente divididas em trecircs classes

com distribuiccedilatildeo Gaussiana

Desempenho de Classificaccedilatildeo

45

Benchmark - Erros de teste () com 100 pontos de dados rotulados46

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 100 pontos de dados rotulados

Benchmark - Erros de teste () com 10 pontos de dados rotulados48

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 10 pontos de dados rotulados

Erros de classificaccedilatildeo () e tempos de execuccedilatildeo (segundos) de quatro meacutetodos baseados em grafos aplicados em bases de dados grandes

Erros de Classificaccedilatildeo e Tempos de Execuccedilatildeo em Grandes Bases de Dados

50

Extensotildees do Modelo de Partiacuteculas

Detecccedilatildeo de Comunidades SobrepostasAprendizado Semi-Supervisionado com Dados ImperfeitosClassificaccedilatildeo Semi-Supervisionada de Fluxos de DadosAprendizado Ativo e Semi-SupervisionadoSegmentaccedilatildeo de Imagens

51

Extensotildees do Modelo de Partiacuteculas

52

O modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas jaacute foi estendido para realizar diversos tipos de tarefas de aprendizado de maacutequina

Detecccedilatildeo de Comunidades Sobrepostas

Aprendizado Semi-Supervisionado com Dados Imperfeitos

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados

Aprendizado Ativo e Semi-Supervisionado

Segmentaccedilatildeo de Imagens

Detecccedilatildeo de Comunidades Sobrepostas

Breve Fabricio ZHAO Liang Fuzzy community structure detection by particle competition and cooperation Soft Computing (Berlin Print) v 17 p 659-673 2013httpdxdoiorg101007s00500-012-0924-3

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming ParticleCompetition and Cooperation for Uncovering Network Overlap Community Structure In The 8th InternationalSymposium on Neural Networks (ISNN 2011) 2011 Guilin China Lecture Notes in Computer Science Berlin Heidelberg Springer-Verlag 2011 v6677 p426 ndash 433httpdxdoiorg101007978-3-642-21111-9_48

53

Detecccedilatildeo de Comunidades Sobrepostas

Em problemas de classificaccedilatildeo nem sempre os elementos pertencem a um uacutenico grupo

Haacute casos em que elementos pertencem a muacuteltiplas comunidades

Exemplo Redes Sociais

Muacuteltiplos Grupos famiacutelia colegas de trabalho colegas de escola

A maioria dos meacutetodos natildeo consegue detectar tal estrutura de sobreposiccedilatildeo

54Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Esta extensatildeo oferece saiacutedas contiacutenuas atraveacutes de um niacutevel de dominacircncia acumulado

Quantifica a dominacircncia de cada time de partiacuteculas sobre os noacutes ao longo de toda a execuccedilatildeo do algoritmo O niacutevel de dominacircncia acumulado inicia em zero para todas as

classes e eacute aumentado somente quando o movimento aleatoacuterio eacute selecionado na classe correspondente agrave partiacutecula

Nunca diminui

119907119894120582ℓ 119905 + 1 = 119907119894

120582ℓ 119905 + 120588119895120596 119905

55

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 37: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092

6 873 89 107 092

7 520 75 -046 -035

8 297 59 -143 -179

9 358 72 -117 -062

10 884 88 112 083

11 725 90 043 101

12 612 77 -006 -017

1

11

10

6

8

9

4

2

5

3

7

12

Agora eacute soacute ldquopintarrdquo os noacutes com a classe das partiacuteculas que o dominaram

37

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092 Aprovado

6 873 89 107 092 Aprovado

7 520 75 -046 -035 Reprovado

8 297 59 -143 -179 Reprovado

9 358 72 -117 -062 Reprovado

10 884 88 112 083 Aprovado

11 725 90 043 101 Aprovado

12 612 77 -006 -017 Reprovado

1

11

10

6

8

9

4

2

5

3

7

12

E pronto Todos os dados natildeo rotulados tiveram seus roacutetulos estimados pelo classificador do modelo de partiacuteculas

38

Anaacutelise de complexidade do meacutetodo proposto em rede com meacutedia mistura (a) Nuacutemero de

iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 5119911119900119906119905 lt 119896 gt = 02

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Anaacutelise de complexidade do meacutetodo proposto em rede com

alta mistura (a) Nuacutemero de iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 10119911119900119906119905 lt 119896 gt = 04

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Tamanho da Base de Dados (n)

Tem

po

(se

gun

do

s)

Tempo de execuccedilatildeo de quatro meacutetodos baseados em grafos incluindo o meacutetodo de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas para classificar uma sequencia de bases de dados artificiais com 4 classes com distribuiccedilatildeo Gaussiana com tamanhos crescentes

41

Classificaccedilatildeo de base de dado artificial com 2000

amostras divididas igualmente em duas classes com forma de

banana

Desempenho de Classificaccedilatildeo

42

Classificaccedilatildeo de base de dado artificial com 1000

amostras divididas em duas classes Highleyman

Desempenho de Classificaccedilatildeo

43

Classificaccedilatildeo de base de dado artificial com 1200

amostras divididas emduas classes Lithuanian com 800 e 400 amostras

respectivamente

Desempenho de Classificaccedilatildeo

44

Classificaccedilatildeo de base de dado artificial com 1200

amostras igualmente divididas em trecircs classes

com distribuiccedilatildeo Gaussiana

Desempenho de Classificaccedilatildeo

45

Benchmark - Erros de teste () com 100 pontos de dados rotulados46

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 100 pontos de dados rotulados

Benchmark - Erros de teste () com 10 pontos de dados rotulados48

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 10 pontos de dados rotulados

Erros de classificaccedilatildeo () e tempos de execuccedilatildeo (segundos) de quatro meacutetodos baseados em grafos aplicados em bases de dados grandes

Erros de Classificaccedilatildeo e Tempos de Execuccedilatildeo em Grandes Bases de Dados

50

Extensotildees do Modelo de Partiacuteculas

Detecccedilatildeo de Comunidades SobrepostasAprendizado Semi-Supervisionado com Dados ImperfeitosClassificaccedilatildeo Semi-Supervisionada de Fluxos de DadosAprendizado Ativo e Semi-SupervisionadoSegmentaccedilatildeo de Imagens

51

Extensotildees do Modelo de Partiacuteculas

52

O modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas jaacute foi estendido para realizar diversos tipos de tarefas de aprendizado de maacutequina

Detecccedilatildeo de Comunidades Sobrepostas

Aprendizado Semi-Supervisionado com Dados Imperfeitos

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados

Aprendizado Ativo e Semi-Supervisionado

Segmentaccedilatildeo de Imagens

Detecccedilatildeo de Comunidades Sobrepostas

Breve Fabricio ZHAO Liang Fuzzy community structure detection by particle competition and cooperation Soft Computing (Berlin Print) v 17 p 659-673 2013httpdxdoiorg101007s00500-012-0924-3

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming ParticleCompetition and Cooperation for Uncovering Network Overlap Community Structure In The 8th InternationalSymposium on Neural Networks (ISNN 2011) 2011 Guilin China Lecture Notes in Computer Science Berlin Heidelberg Springer-Verlag 2011 v6677 p426 ndash 433httpdxdoiorg101007978-3-642-21111-9_48

53

Detecccedilatildeo de Comunidades Sobrepostas

Em problemas de classificaccedilatildeo nem sempre os elementos pertencem a um uacutenico grupo

Haacute casos em que elementos pertencem a muacuteltiplas comunidades

Exemplo Redes Sociais

Muacuteltiplos Grupos famiacutelia colegas de trabalho colegas de escola

A maioria dos meacutetodos natildeo consegue detectar tal estrutura de sobreposiccedilatildeo

54Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Esta extensatildeo oferece saiacutedas contiacutenuas atraveacutes de um niacutevel de dominacircncia acumulado

Quantifica a dominacircncia de cada time de partiacuteculas sobre os noacutes ao longo de toda a execuccedilatildeo do algoritmo O niacutevel de dominacircncia acumulado inicia em zero para todas as

classes e eacute aumentado somente quando o movimento aleatoacuterio eacute selecionado na classe correspondente agrave partiacutecula

Nunca diminui

119907119894120582ℓ 119905 + 1 = 119907119894

120582ℓ 119905 + 120588119895120596 119905

55

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 38: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

ID Nota ENEM

Meacutedia doHistoacuterico

ENEM norm (x)

Meacutedia norm (y)

Situaccedilatildeo

1 743 82 050 029 Aprovado

2 358 63 -117 -143 Reprovado

3 826 91 086 110 Aprovado

4 412 71 -093 -071 Reprovado

5 915 89 125 092 Aprovado

6 873 89 107 092 Aprovado

7 520 75 -046 -035 Reprovado

8 297 59 -143 -179 Reprovado

9 358 72 -117 -062 Reprovado

10 884 88 112 083 Aprovado

11 725 90 043 101 Aprovado

12 612 77 -006 -017 Reprovado

1

11

10

6

8

9

4

2

5

3

7

12

E pronto Todos os dados natildeo rotulados tiveram seus roacutetulos estimados pelo classificador do modelo de partiacuteculas

38

Anaacutelise de complexidade do meacutetodo proposto em rede com meacutedia mistura (a) Nuacutemero de

iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 5119911119900119906119905 lt 119896 gt = 02

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Anaacutelise de complexidade do meacutetodo proposto em rede com

alta mistura (a) Nuacutemero de iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 10119911119900119906119905 lt 119896 gt = 04

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Tamanho da Base de Dados (n)

Tem

po

(se

gun

do

s)

Tempo de execuccedilatildeo de quatro meacutetodos baseados em grafos incluindo o meacutetodo de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas para classificar uma sequencia de bases de dados artificiais com 4 classes com distribuiccedilatildeo Gaussiana com tamanhos crescentes

41

Classificaccedilatildeo de base de dado artificial com 2000

amostras divididas igualmente em duas classes com forma de

banana

Desempenho de Classificaccedilatildeo

42

Classificaccedilatildeo de base de dado artificial com 1000

amostras divididas em duas classes Highleyman

Desempenho de Classificaccedilatildeo

43

Classificaccedilatildeo de base de dado artificial com 1200

amostras divididas emduas classes Lithuanian com 800 e 400 amostras

respectivamente

Desempenho de Classificaccedilatildeo

44

Classificaccedilatildeo de base de dado artificial com 1200

amostras igualmente divididas em trecircs classes

com distribuiccedilatildeo Gaussiana

Desempenho de Classificaccedilatildeo

45

Benchmark - Erros de teste () com 100 pontos de dados rotulados46

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 100 pontos de dados rotulados

Benchmark - Erros de teste () com 10 pontos de dados rotulados48

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 10 pontos de dados rotulados

Erros de classificaccedilatildeo () e tempos de execuccedilatildeo (segundos) de quatro meacutetodos baseados em grafos aplicados em bases de dados grandes

Erros de Classificaccedilatildeo e Tempos de Execuccedilatildeo em Grandes Bases de Dados

50

Extensotildees do Modelo de Partiacuteculas

Detecccedilatildeo de Comunidades SobrepostasAprendizado Semi-Supervisionado com Dados ImperfeitosClassificaccedilatildeo Semi-Supervisionada de Fluxos de DadosAprendizado Ativo e Semi-SupervisionadoSegmentaccedilatildeo de Imagens

51

Extensotildees do Modelo de Partiacuteculas

52

O modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas jaacute foi estendido para realizar diversos tipos de tarefas de aprendizado de maacutequina

Detecccedilatildeo de Comunidades Sobrepostas

Aprendizado Semi-Supervisionado com Dados Imperfeitos

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados

Aprendizado Ativo e Semi-Supervisionado

Segmentaccedilatildeo de Imagens

Detecccedilatildeo de Comunidades Sobrepostas

Breve Fabricio ZHAO Liang Fuzzy community structure detection by particle competition and cooperation Soft Computing (Berlin Print) v 17 p 659-673 2013httpdxdoiorg101007s00500-012-0924-3

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming ParticleCompetition and Cooperation for Uncovering Network Overlap Community Structure In The 8th InternationalSymposium on Neural Networks (ISNN 2011) 2011 Guilin China Lecture Notes in Computer Science Berlin Heidelberg Springer-Verlag 2011 v6677 p426 ndash 433httpdxdoiorg101007978-3-642-21111-9_48

53

Detecccedilatildeo de Comunidades Sobrepostas

Em problemas de classificaccedilatildeo nem sempre os elementos pertencem a um uacutenico grupo

Haacute casos em que elementos pertencem a muacuteltiplas comunidades

Exemplo Redes Sociais

Muacuteltiplos Grupos famiacutelia colegas de trabalho colegas de escola

A maioria dos meacutetodos natildeo consegue detectar tal estrutura de sobreposiccedilatildeo

54Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Esta extensatildeo oferece saiacutedas contiacutenuas atraveacutes de um niacutevel de dominacircncia acumulado

Quantifica a dominacircncia de cada time de partiacuteculas sobre os noacutes ao longo de toda a execuccedilatildeo do algoritmo O niacutevel de dominacircncia acumulado inicia em zero para todas as

classes e eacute aumentado somente quando o movimento aleatoacuterio eacute selecionado na classe correspondente agrave partiacutecula

Nunca diminui

119907119894120582ℓ 119905 + 1 = 119907119894

120582ℓ 119905 + 120588119895120596 119905

55

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 39: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Anaacutelise de complexidade do meacutetodo proposto em rede com meacutedia mistura (a) Nuacutemero de

iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 5119911119900119906119905 lt 119896 gt = 02

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Anaacutelise de complexidade do meacutetodo proposto em rede com

alta mistura (a) Nuacutemero de iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 10119911119900119906119905 lt 119896 gt = 04

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Tamanho da Base de Dados (n)

Tem

po

(se

gun

do

s)

Tempo de execuccedilatildeo de quatro meacutetodos baseados em grafos incluindo o meacutetodo de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas para classificar uma sequencia de bases de dados artificiais com 4 classes com distribuiccedilatildeo Gaussiana com tamanhos crescentes

41

Classificaccedilatildeo de base de dado artificial com 2000

amostras divididas igualmente em duas classes com forma de

banana

Desempenho de Classificaccedilatildeo

42

Classificaccedilatildeo de base de dado artificial com 1000

amostras divididas em duas classes Highleyman

Desempenho de Classificaccedilatildeo

43

Classificaccedilatildeo de base de dado artificial com 1200

amostras divididas emduas classes Lithuanian com 800 e 400 amostras

respectivamente

Desempenho de Classificaccedilatildeo

44

Classificaccedilatildeo de base de dado artificial com 1200

amostras igualmente divididas em trecircs classes

com distribuiccedilatildeo Gaussiana

Desempenho de Classificaccedilatildeo

45

Benchmark - Erros de teste () com 100 pontos de dados rotulados46

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 100 pontos de dados rotulados

Benchmark - Erros de teste () com 10 pontos de dados rotulados48

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 10 pontos de dados rotulados

Erros de classificaccedilatildeo () e tempos de execuccedilatildeo (segundos) de quatro meacutetodos baseados em grafos aplicados em bases de dados grandes

Erros de Classificaccedilatildeo e Tempos de Execuccedilatildeo em Grandes Bases de Dados

50

Extensotildees do Modelo de Partiacuteculas

Detecccedilatildeo de Comunidades SobrepostasAprendizado Semi-Supervisionado com Dados ImperfeitosClassificaccedilatildeo Semi-Supervisionada de Fluxos de DadosAprendizado Ativo e Semi-SupervisionadoSegmentaccedilatildeo de Imagens

51

Extensotildees do Modelo de Partiacuteculas

52

O modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas jaacute foi estendido para realizar diversos tipos de tarefas de aprendizado de maacutequina

Detecccedilatildeo de Comunidades Sobrepostas

Aprendizado Semi-Supervisionado com Dados Imperfeitos

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados

Aprendizado Ativo e Semi-Supervisionado

Segmentaccedilatildeo de Imagens

Detecccedilatildeo de Comunidades Sobrepostas

Breve Fabricio ZHAO Liang Fuzzy community structure detection by particle competition and cooperation Soft Computing (Berlin Print) v 17 p 659-673 2013httpdxdoiorg101007s00500-012-0924-3

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming ParticleCompetition and Cooperation for Uncovering Network Overlap Community Structure In The 8th InternationalSymposium on Neural Networks (ISNN 2011) 2011 Guilin China Lecture Notes in Computer Science Berlin Heidelberg Springer-Verlag 2011 v6677 p426 ndash 433httpdxdoiorg101007978-3-642-21111-9_48

53

Detecccedilatildeo de Comunidades Sobrepostas

Em problemas de classificaccedilatildeo nem sempre os elementos pertencem a um uacutenico grupo

Haacute casos em que elementos pertencem a muacuteltiplas comunidades

Exemplo Redes Sociais

Muacuteltiplos Grupos famiacutelia colegas de trabalho colegas de escola

A maioria dos meacutetodos natildeo consegue detectar tal estrutura de sobreposiccedilatildeo

54Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Esta extensatildeo oferece saiacutedas contiacutenuas atraveacutes de um niacutevel de dominacircncia acumulado

Quantifica a dominacircncia de cada time de partiacuteculas sobre os noacutes ao longo de toda a execuccedilatildeo do algoritmo O niacutevel de dominacircncia acumulado inicia em zero para todas as

classes e eacute aumentado somente quando o movimento aleatoacuterio eacute selecionado na classe correspondente agrave partiacutecula

Nunca diminui

119907119894120582ℓ 119905 + 1 = 119907119894

120582ℓ 119905 + 120588119895120596 119905

55

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 40: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Anaacutelise de complexidade do meacutetodo proposto em rede com

alta mistura (a) Nuacutemero de iteraccedilotildees e (b) tempo necessaacuterios para a convergecircncia da meacutedia dos maiores niacuteveis de domiacutenio dos noacutes com tamanho de rede crescente

119897 = 50lt 119896 gt = 25119911119900119906119905 = 10119911119900119906119905 lt 119896 gt = 04

Anaacutelise de Complexidade

L Danon A Diacuteaz-Guilera J Duch and A Arenas ldquoComparingCommunity Structure Identificationrdquo J Statistical Mechanics Theory and Experiment vol 9 p P09008 (1-10) 2005

Tamanho da Base de Dados (n)

Tem

po

(se

gun

do

s)

Tempo de execuccedilatildeo de quatro meacutetodos baseados em grafos incluindo o meacutetodo de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas para classificar uma sequencia de bases de dados artificiais com 4 classes com distribuiccedilatildeo Gaussiana com tamanhos crescentes

41

Classificaccedilatildeo de base de dado artificial com 2000

amostras divididas igualmente em duas classes com forma de

banana

Desempenho de Classificaccedilatildeo

42

Classificaccedilatildeo de base de dado artificial com 1000

amostras divididas em duas classes Highleyman

Desempenho de Classificaccedilatildeo

43

Classificaccedilatildeo de base de dado artificial com 1200

amostras divididas emduas classes Lithuanian com 800 e 400 amostras

respectivamente

Desempenho de Classificaccedilatildeo

44

Classificaccedilatildeo de base de dado artificial com 1200

amostras igualmente divididas em trecircs classes

com distribuiccedilatildeo Gaussiana

Desempenho de Classificaccedilatildeo

45

Benchmark - Erros de teste () com 100 pontos de dados rotulados46

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 100 pontos de dados rotulados

Benchmark - Erros de teste () com 10 pontos de dados rotulados48

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 10 pontos de dados rotulados

Erros de classificaccedilatildeo () e tempos de execuccedilatildeo (segundos) de quatro meacutetodos baseados em grafos aplicados em bases de dados grandes

Erros de Classificaccedilatildeo e Tempos de Execuccedilatildeo em Grandes Bases de Dados

50

Extensotildees do Modelo de Partiacuteculas

Detecccedilatildeo de Comunidades SobrepostasAprendizado Semi-Supervisionado com Dados ImperfeitosClassificaccedilatildeo Semi-Supervisionada de Fluxos de DadosAprendizado Ativo e Semi-SupervisionadoSegmentaccedilatildeo de Imagens

51

Extensotildees do Modelo de Partiacuteculas

52

O modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas jaacute foi estendido para realizar diversos tipos de tarefas de aprendizado de maacutequina

Detecccedilatildeo de Comunidades Sobrepostas

Aprendizado Semi-Supervisionado com Dados Imperfeitos

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados

Aprendizado Ativo e Semi-Supervisionado

Segmentaccedilatildeo de Imagens

Detecccedilatildeo de Comunidades Sobrepostas

Breve Fabricio ZHAO Liang Fuzzy community structure detection by particle competition and cooperation Soft Computing (Berlin Print) v 17 p 659-673 2013httpdxdoiorg101007s00500-012-0924-3

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming ParticleCompetition and Cooperation for Uncovering Network Overlap Community Structure In The 8th InternationalSymposium on Neural Networks (ISNN 2011) 2011 Guilin China Lecture Notes in Computer Science Berlin Heidelberg Springer-Verlag 2011 v6677 p426 ndash 433httpdxdoiorg101007978-3-642-21111-9_48

53

Detecccedilatildeo de Comunidades Sobrepostas

Em problemas de classificaccedilatildeo nem sempre os elementos pertencem a um uacutenico grupo

Haacute casos em que elementos pertencem a muacuteltiplas comunidades

Exemplo Redes Sociais

Muacuteltiplos Grupos famiacutelia colegas de trabalho colegas de escola

A maioria dos meacutetodos natildeo consegue detectar tal estrutura de sobreposiccedilatildeo

54Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Esta extensatildeo oferece saiacutedas contiacutenuas atraveacutes de um niacutevel de dominacircncia acumulado

Quantifica a dominacircncia de cada time de partiacuteculas sobre os noacutes ao longo de toda a execuccedilatildeo do algoritmo O niacutevel de dominacircncia acumulado inicia em zero para todas as

classes e eacute aumentado somente quando o movimento aleatoacuterio eacute selecionado na classe correspondente agrave partiacutecula

Nunca diminui

119907119894120582ℓ 119905 + 1 = 119907119894

120582ℓ 119905 + 120588119895120596 119905

55

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 41: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Tamanho da Base de Dados (n)

Tem

po

(se

gun

do

s)

Tempo de execuccedilatildeo de quatro meacutetodos baseados em grafos incluindo o meacutetodo de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas para classificar uma sequencia de bases de dados artificiais com 4 classes com distribuiccedilatildeo Gaussiana com tamanhos crescentes

41

Classificaccedilatildeo de base de dado artificial com 2000

amostras divididas igualmente em duas classes com forma de

banana

Desempenho de Classificaccedilatildeo

42

Classificaccedilatildeo de base de dado artificial com 1000

amostras divididas em duas classes Highleyman

Desempenho de Classificaccedilatildeo

43

Classificaccedilatildeo de base de dado artificial com 1200

amostras divididas emduas classes Lithuanian com 800 e 400 amostras

respectivamente

Desempenho de Classificaccedilatildeo

44

Classificaccedilatildeo de base de dado artificial com 1200

amostras igualmente divididas em trecircs classes

com distribuiccedilatildeo Gaussiana

Desempenho de Classificaccedilatildeo

45

Benchmark - Erros de teste () com 100 pontos de dados rotulados46

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 100 pontos de dados rotulados

Benchmark - Erros de teste () com 10 pontos de dados rotulados48

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 10 pontos de dados rotulados

Erros de classificaccedilatildeo () e tempos de execuccedilatildeo (segundos) de quatro meacutetodos baseados em grafos aplicados em bases de dados grandes

Erros de Classificaccedilatildeo e Tempos de Execuccedilatildeo em Grandes Bases de Dados

50

Extensotildees do Modelo de Partiacuteculas

Detecccedilatildeo de Comunidades SobrepostasAprendizado Semi-Supervisionado com Dados ImperfeitosClassificaccedilatildeo Semi-Supervisionada de Fluxos de DadosAprendizado Ativo e Semi-SupervisionadoSegmentaccedilatildeo de Imagens

51

Extensotildees do Modelo de Partiacuteculas

52

O modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas jaacute foi estendido para realizar diversos tipos de tarefas de aprendizado de maacutequina

Detecccedilatildeo de Comunidades Sobrepostas

Aprendizado Semi-Supervisionado com Dados Imperfeitos

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados

Aprendizado Ativo e Semi-Supervisionado

Segmentaccedilatildeo de Imagens

Detecccedilatildeo de Comunidades Sobrepostas

Breve Fabricio ZHAO Liang Fuzzy community structure detection by particle competition and cooperation Soft Computing (Berlin Print) v 17 p 659-673 2013httpdxdoiorg101007s00500-012-0924-3

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming ParticleCompetition and Cooperation for Uncovering Network Overlap Community Structure In The 8th InternationalSymposium on Neural Networks (ISNN 2011) 2011 Guilin China Lecture Notes in Computer Science Berlin Heidelberg Springer-Verlag 2011 v6677 p426 ndash 433httpdxdoiorg101007978-3-642-21111-9_48

53

Detecccedilatildeo de Comunidades Sobrepostas

Em problemas de classificaccedilatildeo nem sempre os elementos pertencem a um uacutenico grupo

Haacute casos em que elementos pertencem a muacuteltiplas comunidades

Exemplo Redes Sociais

Muacuteltiplos Grupos famiacutelia colegas de trabalho colegas de escola

A maioria dos meacutetodos natildeo consegue detectar tal estrutura de sobreposiccedilatildeo

54Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Esta extensatildeo oferece saiacutedas contiacutenuas atraveacutes de um niacutevel de dominacircncia acumulado

Quantifica a dominacircncia de cada time de partiacuteculas sobre os noacutes ao longo de toda a execuccedilatildeo do algoritmo O niacutevel de dominacircncia acumulado inicia em zero para todas as

classes e eacute aumentado somente quando o movimento aleatoacuterio eacute selecionado na classe correspondente agrave partiacutecula

Nunca diminui

119907119894120582ℓ 119905 + 1 = 119907119894

120582ℓ 119905 + 120588119895120596 119905

55

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 42: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Classificaccedilatildeo de base de dado artificial com 2000

amostras divididas igualmente em duas classes com forma de

banana

Desempenho de Classificaccedilatildeo

42

Classificaccedilatildeo de base de dado artificial com 1000

amostras divididas em duas classes Highleyman

Desempenho de Classificaccedilatildeo

43

Classificaccedilatildeo de base de dado artificial com 1200

amostras divididas emduas classes Lithuanian com 800 e 400 amostras

respectivamente

Desempenho de Classificaccedilatildeo

44

Classificaccedilatildeo de base de dado artificial com 1200

amostras igualmente divididas em trecircs classes

com distribuiccedilatildeo Gaussiana

Desempenho de Classificaccedilatildeo

45

Benchmark - Erros de teste () com 100 pontos de dados rotulados46

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 100 pontos de dados rotulados

Benchmark - Erros de teste () com 10 pontos de dados rotulados48

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 10 pontos de dados rotulados

Erros de classificaccedilatildeo () e tempos de execuccedilatildeo (segundos) de quatro meacutetodos baseados em grafos aplicados em bases de dados grandes

Erros de Classificaccedilatildeo e Tempos de Execuccedilatildeo em Grandes Bases de Dados

50

Extensotildees do Modelo de Partiacuteculas

Detecccedilatildeo de Comunidades SobrepostasAprendizado Semi-Supervisionado com Dados ImperfeitosClassificaccedilatildeo Semi-Supervisionada de Fluxos de DadosAprendizado Ativo e Semi-SupervisionadoSegmentaccedilatildeo de Imagens

51

Extensotildees do Modelo de Partiacuteculas

52

O modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas jaacute foi estendido para realizar diversos tipos de tarefas de aprendizado de maacutequina

Detecccedilatildeo de Comunidades Sobrepostas

Aprendizado Semi-Supervisionado com Dados Imperfeitos

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados

Aprendizado Ativo e Semi-Supervisionado

Segmentaccedilatildeo de Imagens

Detecccedilatildeo de Comunidades Sobrepostas

Breve Fabricio ZHAO Liang Fuzzy community structure detection by particle competition and cooperation Soft Computing (Berlin Print) v 17 p 659-673 2013httpdxdoiorg101007s00500-012-0924-3

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming ParticleCompetition and Cooperation for Uncovering Network Overlap Community Structure In The 8th InternationalSymposium on Neural Networks (ISNN 2011) 2011 Guilin China Lecture Notes in Computer Science Berlin Heidelberg Springer-Verlag 2011 v6677 p426 ndash 433httpdxdoiorg101007978-3-642-21111-9_48

53

Detecccedilatildeo de Comunidades Sobrepostas

Em problemas de classificaccedilatildeo nem sempre os elementos pertencem a um uacutenico grupo

Haacute casos em que elementos pertencem a muacuteltiplas comunidades

Exemplo Redes Sociais

Muacuteltiplos Grupos famiacutelia colegas de trabalho colegas de escola

A maioria dos meacutetodos natildeo consegue detectar tal estrutura de sobreposiccedilatildeo

54Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Esta extensatildeo oferece saiacutedas contiacutenuas atraveacutes de um niacutevel de dominacircncia acumulado

Quantifica a dominacircncia de cada time de partiacuteculas sobre os noacutes ao longo de toda a execuccedilatildeo do algoritmo O niacutevel de dominacircncia acumulado inicia em zero para todas as

classes e eacute aumentado somente quando o movimento aleatoacuterio eacute selecionado na classe correspondente agrave partiacutecula

Nunca diminui

119907119894120582ℓ 119905 + 1 = 119907119894

120582ℓ 119905 + 120588119895120596 119905

55

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 43: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Classificaccedilatildeo de base de dado artificial com 1000

amostras divididas em duas classes Highleyman

Desempenho de Classificaccedilatildeo

43

Classificaccedilatildeo de base de dado artificial com 1200

amostras divididas emduas classes Lithuanian com 800 e 400 amostras

respectivamente

Desempenho de Classificaccedilatildeo

44

Classificaccedilatildeo de base de dado artificial com 1200

amostras igualmente divididas em trecircs classes

com distribuiccedilatildeo Gaussiana

Desempenho de Classificaccedilatildeo

45

Benchmark - Erros de teste () com 100 pontos de dados rotulados46

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 100 pontos de dados rotulados

Benchmark - Erros de teste () com 10 pontos de dados rotulados48

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 10 pontos de dados rotulados

Erros de classificaccedilatildeo () e tempos de execuccedilatildeo (segundos) de quatro meacutetodos baseados em grafos aplicados em bases de dados grandes

Erros de Classificaccedilatildeo e Tempos de Execuccedilatildeo em Grandes Bases de Dados

50

Extensotildees do Modelo de Partiacuteculas

Detecccedilatildeo de Comunidades SobrepostasAprendizado Semi-Supervisionado com Dados ImperfeitosClassificaccedilatildeo Semi-Supervisionada de Fluxos de DadosAprendizado Ativo e Semi-SupervisionadoSegmentaccedilatildeo de Imagens

51

Extensotildees do Modelo de Partiacuteculas

52

O modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas jaacute foi estendido para realizar diversos tipos de tarefas de aprendizado de maacutequina

Detecccedilatildeo de Comunidades Sobrepostas

Aprendizado Semi-Supervisionado com Dados Imperfeitos

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados

Aprendizado Ativo e Semi-Supervisionado

Segmentaccedilatildeo de Imagens

Detecccedilatildeo de Comunidades Sobrepostas

Breve Fabricio ZHAO Liang Fuzzy community structure detection by particle competition and cooperation Soft Computing (Berlin Print) v 17 p 659-673 2013httpdxdoiorg101007s00500-012-0924-3

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming ParticleCompetition and Cooperation for Uncovering Network Overlap Community Structure In The 8th InternationalSymposium on Neural Networks (ISNN 2011) 2011 Guilin China Lecture Notes in Computer Science Berlin Heidelberg Springer-Verlag 2011 v6677 p426 ndash 433httpdxdoiorg101007978-3-642-21111-9_48

53

Detecccedilatildeo de Comunidades Sobrepostas

Em problemas de classificaccedilatildeo nem sempre os elementos pertencem a um uacutenico grupo

Haacute casos em que elementos pertencem a muacuteltiplas comunidades

Exemplo Redes Sociais

Muacuteltiplos Grupos famiacutelia colegas de trabalho colegas de escola

A maioria dos meacutetodos natildeo consegue detectar tal estrutura de sobreposiccedilatildeo

54Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Esta extensatildeo oferece saiacutedas contiacutenuas atraveacutes de um niacutevel de dominacircncia acumulado

Quantifica a dominacircncia de cada time de partiacuteculas sobre os noacutes ao longo de toda a execuccedilatildeo do algoritmo O niacutevel de dominacircncia acumulado inicia em zero para todas as

classes e eacute aumentado somente quando o movimento aleatoacuterio eacute selecionado na classe correspondente agrave partiacutecula

Nunca diminui

119907119894120582ℓ 119905 + 1 = 119907119894

120582ℓ 119905 + 120588119895120596 119905

55

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 44: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Classificaccedilatildeo de base de dado artificial com 1200

amostras divididas emduas classes Lithuanian com 800 e 400 amostras

respectivamente

Desempenho de Classificaccedilatildeo

44

Classificaccedilatildeo de base de dado artificial com 1200

amostras igualmente divididas em trecircs classes

com distribuiccedilatildeo Gaussiana

Desempenho de Classificaccedilatildeo

45

Benchmark - Erros de teste () com 100 pontos de dados rotulados46

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 100 pontos de dados rotulados

Benchmark - Erros de teste () com 10 pontos de dados rotulados48

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 10 pontos de dados rotulados

Erros de classificaccedilatildeo () e tempos de execuccedilatildeo (segundos) de quatro meacutetodos baseados em grafos aplicados em bases de dados grandes

Erros de Classificaccedilatildeo e Tempos de Execuccedilatildeo em Grandes Bases de Dados

50

Extensotildees do Modelo de Partiacuteculas

Detecccedilatildeo de Comunidades SobrepostasAprendizado Semi-Supervisionado com Dados ImperfeitosClassificaccedilatildeo Semi-Supervisionada de Fluxos de DadosAprendizado Ativo e Semi-SupervisionadoSegmentaccedilatildeo de Imagens

51

Extensotildees do Modelo de Partiacuteculas

52

O modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas jaacute foi estendido para realizar diversos tipos de tarefas de aprendizado de maacutequina

Detecccedilatildeo de Comunidades Sobrepostas

Aprendizado Semi-Supervisionado com Dados Imperfeitos

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados

Aprendizado Ativo e Semi-Supervisionado

Segmentaccedilatildeo de Imagens

Detecccedilatildeo de Comunidades Sobrepostas

Breve Fabricio ZHAO Liang Fuzzy community structure detection by particle competition and cooperation Soft Computing (Berlin Print) v 17 p 659-673 2013httpdxdoiorg101007s00500-012-0924-3

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming ParticleCompetition and Cooperation for Uncovering Network Overlap Community Structure In The 8th InternationalSymposium on Neural Networks (ISNN 2011) 2011 Guilin China Lecture Notes in Computer Science Berlin Heidelberg Springer-Verlag 2011 v6677 p426 ndash 433httpdxdoiorg101007978-3-642-21111-9_48

53

Detecccedilatildeo de Comunidades Sobrepostas

Em problemas de classificaccedilatildeo nem sempre os elementos pertencem a um uacutenico grupo

Haacute casos em que elementos pertencem a muacuteltiplas comunidades

Exemplo Redes Sociais

Muacuteltiplos Grupos famiacutelia colegas de trabalho colegas de escola

A maioria dos meacutetodos natildeo consegue detectar tal estrutura de sobreposiccedilatildeo

54Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Esta extensatildeo oferece saiacutedas contiacutenuas atraveacutes de um niacutevel de dominacircncia acumulado

Quantifica a dominacircncia de cada time de partiacuteculas sobre os noacutes ao longo de toda a execuccedilatildeo do algoritmo O niacutevel de dominacircncia acumulado inicia em zero para todas as

classes e eacute aumentado somente quando o movimento aleatoacuterio eacute selecionado na classe correspondente agrave partiacutecula

Nunca diminui

119907119894120582ℓ 119905 + 1 = 119907119894

120582ℓ 119905 + 120588119895120596 119905

55

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 45: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Classificaccedilatildeo de base de dado artificial com 1200

amostras igualmente divididas em trecircs classes

com distribuiccedilatildeo Gaussiana

Desempenho de Classificaccedilatildeo

45

Benchmark - Erros de teste () com 100 pontos de dados rotulados46

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 100 pontos de dados rotulados

Benchmark - Erros de teste () com 10 pontos de dados rotulados48

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 10 pontos de dados rotulados

Erros de classificaccedilatildeo () e tempos de execuccedilatildeo (segundos) de quatro meacutetodos baseados em grafos aplicados em bases de dados grandes

Erros de Classificaccedilatildeo e Tempos de Execuccedilatildeo em Grandes Bases de Dados

50

Extensotildees do Modelo de Partiacuteculas

Detecccedilatildeo de Comunidades SobrepostasAprendizado Semi-Supervisionado com Dados ImperfeitosClassificaccedilatildeo Semi-Supervisionada de Fluxos de DadosAprendizado Ativo e Semi-SupervisionadoSegmentaccedilatildeo de Imagens

51

Extensotildees do Modelo de Partiacuteculas

52

O modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas jaacute foi estendido para realizar diversos tipos de tarefas de aprendizado de maacutequina

Detecccedilatildeo de Comunidades Sobrepostas

Aprendizado Semi-Supervisionado com Dados Imperfeitos

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados

Aprendizado Ativo e Semi-Supervisionado

Segmentaccedilatildeo de Imagens

Detecccedilatildeo de Comunidades Sobrepostas

Breve Fabricio ZHAO Liang Fuzzy community structure detection by particle competition and cooperation Soft Computing (Berlin Print) v 17 p 659-673 2013httpdxdoiorg101007s00500-012-0924-3

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming ParticleCompetition and Cooperation for Uncovering Network Overlap Community Structure In The 8th InternationalSymposium on Neural Networks (ISNN 2011) 2011 Guilin China Lecture Notes in Computer Science Berlin Heidelberg Springer-Verlag 2011 v6677 p426 ndash 433httpdxdoiorg101007978-3-642-21111-9_48

53

Detecccedilatildeo de Comunidades Sobrepostas

Em problemas de classificaccedilatildeo nem sempre os elementos pertencem a um uacutenico grupo

Haacute casos em que elementos pertencem a muacuteltiplas comunidades

Exemplo Redes Sociais

Muacuteltiplos Grupos famiacutelia colegas de trabalho colegas de escola

A maioria dos meacutetodos natildeo consegue detectar tal estrutura de sobreposiccedilatildeo

54Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Esta extensatildeo oferece saiacutedas contiacutenuas atraveacutes de um niacutevel de dominacircncia acumulado

Quantifica a dominacircncia de cada time de partiacuteculas sobre os noacutes ao longo de toda a execuccedilatildeo do algoritmo O niacutevel de dominacircncia acumulado inicia em zero para todas as

classes e eacute aumentado somente quando o movimento aleatoacuterio eacute selecionado na classe correspondente agrave partiacutecula

Nunca diminui

119907119894120582ℓ 119905 + 1 = 119907119894

120582ℓ 119905 + 120588119895120596 119905

55

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 46: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Benchmark - Erros de teste () com 100 pontos de dados rotulados46

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 100 pontos de dados rotulados

Benchmark - Erros de teste () com 10 pontos de dados rotulados48

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 10 pontos de dados rotulados

Erros de classificaccedilatildeo () e tempos de execuccedilatildeo (segundos) de quatro meacutetodos baseados em grafos aplicados em bases de dados grandes

Erros de Classificaccedilatildeo e Tempos de Execuccedilatildeo em Grandes Bases de Dados

50

Extensotildees do Modelo de Partiacuteculas

Detecccedilatildeo de Comunidades SobrepostasAprendizado Semi-Supervisionado com Dados ImperfeitosClassificaccedilatildeo Semi-Supervisionada de Fluxos de DadosAprendizado Ativo e Semi-SupervisionadoSegmentaccedilatildeo de Imagens

51

Extensotildees do Modelo de Partiacuteculas

52

O modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas jaacute foi estendido para realizar diversos tipos de tarefas de aprendizado de maacutequina

Detecccedilatildeo de Comunidades Sobrepostas

Aprendizado Semi-Supervisionado com Dados Imperfeitos

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados

Aprendizado Ativo e Semi-Supervisionado

Segmentaccedilatildeo de Imagens

Detecccedilatildeo de Comunidades Sobrepostas

Breve Fabricio ZHAO Liang Fuzzy community structure detection by particle competition and cooperation Soft Computing (Berlin Print) v 17 p 659-673 2013httpdxdoiorg101007s00500-012-0924-3

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming ParticleCompetition and Cooperation for Uncovering Network Overlap Community Structure In The 8th InternationalSymposium on Neural Networks (ISNN 2011) 2011 Guilin China Lecture Notes in Computer Science Berlin Heidelberg Springer-Verlag 2011 v6677 p426 ndash 433httpdxdoiorg101007978-3-642-21111-9_48

53

Detecccedilatildeo de Comunidades Sobrepostas

Em problemas de classificaccedilatildeo nem sempre os elementos pertencem a um uacutenico grupo

Haacute casos em que elementos pertencem a muacuteltiplas comunidades

Exemplo Redes Sociais

Muacuteltiplos Grupos famiacutelia colegas de trabalho colegas de escola

A maioria dos meacutetodos natildeo consegue detectar tal estrutura de sobreposiccedilatildeo

54Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Esta extensatildeo oferece saiacutedas contiacutenuas atraveacutes de um niacutevel de dominacircncia acumulado

Quantifica a dominacircncia de cada time de partiacuteculas sobre os noacutes ao longo de toda a execuccedilatildeo do algoritmo O niacutevel de dominacircncia acumulado inicia em zero para todas as

classes e eacute aumentado somente quando o movimento aleatoacuterio eacute selecionado na classe correspondente agrave partiacutecula

Nunca diminui

119907119894120582ℓ 119905 + 1 = 119907119894

120582ℓ 119905 + 120588119895120596 119905

55

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 47: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 100 pontos de dados rotulados

Benchmark - Erros de teste () com 10 pontos de dados rotulados48

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 10 pontos de dados rotulados

Erros de classificaccedilatildeo () e tempos de execuccedilatildeo (segundos) de quatro meacutetodos baseados em grafos aplicados em bases de dados grandes

Erros de Classificaccedilatildeo e Tempos de Execuccedilatildeo em Grandes Bases de Dados

50

Extensotildees do Modelo de Partiacuteculas

Detecccedilatildeo de Comunidades SobrepostasAprendizado Semi-Supervisionado com Dados ImperfeitosClassificaccedilatildeo Semi-Supervisionada de Fluxos de DadosAprendizado Ativo e Semi-SupervisionadoSegmentaccedilatildeo de Imagens

51

Extensotildees do Modelo de Partiacuteculas

52

O modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas jaacute foi estendido para realizar diversos tipos de tarefas de aprendizado de maacutequina

Detecccedilatildeo de Comunidades Sobrepostas

Aprendizado Semi-Supervisionado com Dados Imperfeitos

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados

Aprendizado Ativo e Semi-Supervisionado

Segmentaccedilatildeo de Imagens

Detecccedilatildeo de Comunidades Sobrepostas

Breve Fabricio ZHAO Liang Fuzzy community structure detection by particle competition and cooperation Soft Computing (Berlin Print) v 17 p 659-673 2013httpdxdoiorg101007s00500-012-0924-3

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming ParticleCompetition and Cooperation for Uncovering Network Overlap Community Structure In The 8th InternationalSymposium on Neural Networks (ISNN 2011) 2011 Guilin China Lecture Notes in Computer Science Berlin Heidelberg Springer-Verlag 2011 v6677 p426 ndash 433httpdxdoiorg101007978-3-642-21111-9_48

53

Detecccedilatildeo de Comunidades Sobrepostas

Em problemas de classificaccedilatildeo nem sempre os elementos pertencem a um uacutenico grupo

Haacute casos em que elementos pertencem a muacuteltiplas comunidades

Exemplo Redes Sociais

Muacuteltiplos Grupos famiacutelia colegas de trabalho colegas de escola

A maioria dos meacutetodos natildeo consegue detectar tal estrutura de sobreposiccedilatildeo

54Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Esta extensatildeo oferece saiacutedas contiacutenuas atraveacutes de um niacutevel de dominacircncia acumulado

Quantifica a dominacircncia de cada time de partiacuteculas sobre os noacutes ao longo de toda a execuccedilatildeo do algoritmo O niacutevel de dominacircncia acumulado inicia em zero para todas as

classes e eacute aumentado somente quando o movimento aleatoacuterio eacute selecionado na classe correspondente agrave partiacutecula

Nunca diminui

119907119894120582ℓ 119905 + 1 = 119907119894

120582ℓ 119905 + 120588119895120596 119905

55

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 48: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Benchmark - Erros de teste () com 10 pontos de dados rotulados48

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 10 pontos de dados rotulados

Erros de classificaccedilatildeo () e tempos de execuccedilatildeo (segundos) de quatro meacutetodos baseados em grafos aplicados em bases de dados grandes

Erros de Classificaccedilatildeo e Tempos de Execuccedilatildeo em Grandes Bases de Dados

50

Extensotildees do Modelo de Partiacuteculas

Detecccedilatildeo de Comunidades SobrepostasAprendizado Semi-Supervisionado com Dados ImperfeitosClassificaccedilatildeo Semi-Supervisionada de Fluxos de DadosAprendizado Ativo e Semi-SupervisionadoSegmentaccedilatildeo de Imagens

51

Extensotildees do Modelo de Partiacuteculas

52

O modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas jaacute foi estendido para realizar diversos tipos de tarefas de aprendizado de maacutequina

Detecccedilatildeo de Comunidades Sobrepostas

Aprendizado Semi-Supervisionado com Dados Imperfeitos

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados

Aprendizado Ativo e Semi-Supervisionado

Segmentaccedilatildeo de Imagens

Detecccedilatildeo de Comunidades Sobrepostas

Breve Fabricio ZHAO Liang Fuzzy community structure detection by particle competition and cooperation Soft Computing (Berlin Print) v 17 p 659-673 2013httpdxdoiorg101007s00500-012-0924-3

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming ParticleCompetition and Cooperation for Uncovering Network Overlap Community Structure In The 8th InternationalSymposium on Neural Networks (ISNN 2011) 2011 Guilin China Lecture Notes in Computer Science Berlin Heidelberg Springer-Verlag 2011 v6677 p426 ndash 433httpdxdoiorg101007978-3-642-21111-9_48

53

Detecccedilatildeo de Comunidades Sobrepostas

Em problemas de classificaccedilatildeo nem sempre os elementos pertencem a um uacutenico grupo

Haacute casos em que elementos pertencem a muacuteltiplas comunidades

Exemplo Redes Sociais

Muacuteltiplos Grupos famiacutelia colegas de trabalho colegas de escola

A maioria dos meacutetodos natildeo consegue detectar tal estrutura de sobreposiccedilatildeo

54Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Esta extensatildeo oferece saiacutedas contiacutenuas atraveacutes de um niacutevel de dominacircncia acumulado

Quantifica a dominacircncia de cada time de partiacuteculas sobre os noacutes ao longo de toda a execuccedilatildeo do algoritmo O niacutevel de dominacircncia acumulado inicia em zero para todas as

classes e eacute aumentado somente quando o movimento aleatoacuterio eacute selecionado na classe correspondente agrave partiacutecula

Nunca diminui

119907119894120582ℓ 119905 + 1 = 119907119894

120582ℓ 119905 + 120588119895120596 119905

55

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 49: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Ranking dos Meacutetodos de Aprendizado Semi-Supervisionado com 10 pontos de dados rotulados

Erros de classificaccedilatildeo () e tempos de execuccedilatildeo (segundos) de quatro meacutetodos baseados em grafos aplicados em bases de dados grandes

Erros de Classificaccedilatildeo e Tempos de Execuccedilatildeo em Grandes Bases de Dados

50

Extensotildees do Modelo de Partiacuteculas

Detecccedilatildeo de Comunidades SobrepostasAprendizado Semi-Supervisionado com Dados ImperfeitosClassificaccedilatildeo Semi-Supervisionada de Fluxos de DadosAprendizado Ativo e Semi-SupervisionadoSegmentaccedilatildeo de Imagens

51

Extensotildees do Modelo de Partiacuteculas

52

O modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas jaacute foi estendido para realizar diversos tipos de tarefas de aprendizado de maacutequina

Detecccedilatildeo de Comunidades Sobrepostas

Aprendizado Semi-Supervisionado com Dados Imperfeitos

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados

Aprendizado Ativo e Semi-Supervisionado

Segmentaccedilatildeo de Imagens

Detecccedilatildeo de Comunidades Sobrepostas

Breve Fabricio ZHAO Liang Fuzzy community structure detection by particle competition and cooperation Soft Computing (Berlin Print) v 17 p 659-673 2013httpdxdoiorg101007s00500-012-0924-3

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming ParticleCompetition and Cooperation for Uncovering Network Overlap Community Structure In The 8th InternationalSymposium on Neural Networks (ISNN 2011) 2011 Guilin China Lecture Notes in Computer Science Berlin Heidelberg Springer-Verlag 2011 v6677 p426 ndash 433httpdxdoiorg101007978-3-642-21111-9_48

53

Detecccedilatildeo de Comunidades Sobrepostas

Em problemas de classificaccedilatildeo nem sempre os elementos pertencem a um uacutenico grupo

Haacute casos em que elementos pertencem a muacuteltiplas comunidades

Exemplo Redes Sociais

Muacuteltiplos Grupos famiacutelia colegas de trabalho colegas de escola

A maioria dos meacutetodos natildeo consegue detectar tal estrutura de sobreposiccedilatildeo

54Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Esta extensatildeo oferece saiacutedas contiacutenuas atraveacutes de um niacutevel de dominacircncia acumulado

Quantifica a dominacircncia de cada time de partiacuteculas sobre os noacutes ao longo de toda a execuccedilatildeo do algoritmo O niacutevel de dominacircncia acumulado inicia em zero para todas as

classes e eacute aumentado somente quando o movimento aleatoacuterio eacute selecionado na classe correspondente agrave partiacutecula

Nunca diminui

119907119894120582ℓ 119905 + 1 = 119907119894

120582ℓ 119905 + 120588119895120596 119905

55

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 50: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Erros de classificaccedilatildeo () e tempos de execuccedilatildeo (segundos) de quatro meacutetodos baseados em grafos aplicados em bases de dados grandes

Erros de Classificaccedilatildeo e Tempos de Execuccedilatildeo em Grandes Bases de Dados

50

Extensotildees do Modelo de Partiacuteculas

Detecccedilatildeo de Comunidades SobrepostasAprendizado Semi-Supervisionado com Dados ImperfeitosClassificaccedilatildeo Semi-Supervisionada de Fluxos de DadosAprendizado Ativo e Semi-SupervisionadoSegmentaccedilatildeo de Imagens

51

Extensotildees do Modelo de Partiacuteculas

52

O modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas jaacute foi estendido para realizar diversos tipos de tarefas de aprendizado de maacutequina

Detecccedilatildeo de Comunidades Sobrepostas

Aprendizado Semi-Supervisionado com Dados Imperfeitos

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados

Aprendizado Ativo e Semi-Supervisionado

Segmentaccedilatildeo de Imagens

Detecccedilatildeo de Comunidades Sobrepostas

Breve Fabricio ZHAO Liang Fuzzy community structure detection by particle competition and cooperation Soft Computing (Berlin Print) v 17 p 659-673 2013httpdxdoiorg101007s00500-012-0924-3

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming ParticleCompetition and Cooperation for Uncovering Network Overlap Community Structure In The 8th InternationalSymposium on Neural Networks (ISNN 2011) 2011 Guilin China Lecture Notes in Computer Science Berlin Heidelberg Springer-Verlag 2011 v6677 p426 ndash 433httpdxdoiorg101007978-3-642-21111-9_48

53

Detecccedilatildeo de Comunidades Sobrepostas

Em problemas de classificaccedilatildeo nem sempre os elementos pertencem a um uacutenico grupo

Haacute casos em que elementos pertencem a muacuteltiplas comunidades

Exemplo Redes Sociais

Muacuteltiplos Grupos famiacutelia colegas de trabalho colegas de escola

A maioria dos meacutetodos natildeo consegue detectar tal estrutura de sobreposiccedilatildeo

54Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Esta extensatildeo oferece saiacutedas contiacutenuas atraveacutes de um niacutevel de dominacircncia acumulado

Quantifica a dominacircncia de cada time de partiacuteculas sobre os noacutes ao longo de toda a execuccedilatildeo do algoritmo O niacutevel de dominacircncia acumulado inicia em zero para todas as

classes e eacute aumentado somente quando o movimento aleatoacuterio eacute selecionado na classe correspondente agrave partiacutecula

Nunca diminui

119907119894120582ℓ 119905 + 1 = 119907119894

120582ℓ 119905 + 120588119895120596 119905

55

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 51: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Extensotildees do Modelo de Partiacuteculas

Detecccedilatildeo de Comunidades SobrepostasAprendizado Semi-Supervisionado com Dados ImperfeitosClassificaccedilatildeo Semi-Supervisionada de Fluxos de DadosAprendizado Ativo e Semi-SupervisionadoSegmentaccedilatildeo de Imagens

51

Extensotildees do Modelo de Partiacuteculas

52

O modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas jaacute foi estendido para realizar diversos tipos de tarefas de aprendizado de maacutequina

Detecccedilatildeo de Comunidades Sobrepostas

Aprendizado Semi-Supervisionado com Dados Imperfeitos

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados

Aprendizado Ativo e Semi-Supervisionado

Segmentaccedilatildeo de Imagens

Detecccedilatildeo de Comunidades Sobrepostas

Breve Fabricio ZHAO Liang Fuzzy community structure detection by particle competition and cooperation Soft Computing (Berlin Print) v 17 p 659-673 2013httpdxdoiorg101007s00500-012-0924-3

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming ParticleCompetition and Cooperation for Uncovering Network Overlap Community Structure In The 8th InternationalSymposium on Neural Networks (ISNN 2011) 2011 Guilin China Lecture Notes in Computer Science Berlin Heidelberg Springer-Verlag 2011 v6677 p426 ndash 433httpdxdoiorg101007978-3-642-21111-9_48

53

Detecccedilatildeo de Comunidades Sobrepostas

Em problemas de classificaccedilatildeo nem sempre os elementos pertencem a um uacutenico grupo

Haacute casos em que elementos pertencem a muacuteltiplas comunidades

Exemplo Redes Sociais

Muacuteltiplos Grupos famiacutelia colegas de trabalho colegas de escola

A maioria dos meacutetodos natildeo consegue detectar tal estrutura de sobreposiccedilatildeo

54Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Esta extensatildeo oferece saiacutedas contiacutenuas atraveacutes de um niacutevel de dominacircncia acumulado

Quantifica a dominacircncia de cada time de partiacuteculas sobre os noacutes ao longo de toda a execuccedilatildeo do algoritmo O niacutevel de dominacircncia acumulado inicia em zero para todas as

classes e eacute aumentado somente quando o movimento aleatoacuterio eacute selecionado na classe correspondente agrave partiacutecula

Nunca diminui

119907119894120582ℓ 119905 + 1 = 119907119894

120582ℓ 119905 + 120588119895120596 119905

55

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 52: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Extensotildees do Modelo de Partiacuteculas

52

O modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas jaacute foi estendido para realizar diversos tipos de tarefas de aprendizado de maacutequina

Detecccedilatildeo de Comunidades Sobrepostas

Aprendizado Semi-Supervisionado com Dados Imperfeitos

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados

Aprendizado Ativo e Semi-Supervisionado

Segmentaccedilatildeo de Imagens

Detecccedilatildeo de Comunidades Sobrepostas

Breve Fabricio ZHAO Liang Fuzzy community structure detection by particle competition and cooperation Soft Computing (Berlin Print) v 17 p 659-673 2013httpdxdoiorg101007s00500-012-0924-3

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming ParticleCompetition and Cooperation for Uncovering Network Overlap Community Structure In The 8th InternationalSymposium on Neural Networks (ISNN 2011) 2011 Guilin China Lecture Notes in Computer Science Berlin Heidelberg Springer-Verlag 2011 v6677 p426 ndash 433httpdxdoiorg101007978-3-642-21111-9_48

53

Detecccedilatildeo de Comunidades Sobrepostas

Em problemas de classificaccedilatildeo nem sempre os elementos pertencem a um uacutenico grupo

Haacute casos em que elementos pertencem a muacuteltiplas comunidades

Exemplo Redes Sociais

Muacuteltiplos Grupos famiacutelia colegas de trabalho colegas de escola

A maioria dos meacutetodos natildeo consegue detectar tal estrutura de sobreposiccedilatildeo

54Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Esta extensatildeo oferece saiacutedas contiacutenuas atraveacutes de um niacutevel de dominacircncia acumulado

Quantifica a dominacircncia de cada time de partiacuteculas sobre os noacutes ao longo de toda a execuccedilatildeo do algoritmo O niacutevel de dominacircncia acumulado inicia em zero para todas as

classes e eacute aumentado somente quando o movimento aleatoacuterio eacute selecionado na classe correspondente agrave partiacutecula

Nunca diminui

119907119894120582ℓ 119905 + 1 = 119907119894

120582ℓ 119905 + 120588119895120596 119905

55

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 53: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Detecccedilatildeo de Comunidades Sobrepostas

Breve Fabricio ZHAO Liang Fuzzy community structure detection by particle competition and cooperation Soft Computing (Berlin Print) v 17 p 659-673 2013httpdxdoiorg101007s00500-012-0924-3

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves PEDRYCZ Witold LIU Jimming ParticleCompetition and Cooperation for Uncovering Network Overlap Community Structure In The 8th InternationalSymposium on Neural Networks (ISNN 2011) 2011 Guilin China Lecture Notes in Computer Science Berlin Heidelberg Springer-Verlag 2011 v6677 p426 ndash 433httpdxdoiorg101007978-3-642-21111-9_48

53

Detecccedilatildeo de Comunidades Sobrepostas

Em problemas de classificaccedilatildeo nem sempre os elementos pertencem a um uacutenico grupo

Haacute casos em que elementos pertencem a muacuteltiplas comunidades

Exemplo Redes Sociais

Muacuteltiplos Grupos famiacutelia colegas de trabalho colegas de escola

A maioria dos meacutetodos natildeo consegue detectar tal estrutura de sobreposiccedilatildeo

54Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Esta extensatildeo oferece saiacutedas contiacutenuas atraveacutes de um niacutevel de dominacircncia acumulado

Quantifica a dominacircncia de cada time de partiacuteculas sobre os noacutes ao longo de toda a execuccedilatildeo do algoritmo O niacutevel de dominacircncia acumulado inicia em zero para todas as

classes e eacute aumentado somente quando o movimento aleatoacuterio eacute selecionado na classe correspondente agrave partiacutecula

Nunca diminui

119907119894120582ℓ 119905 + 1 = 119907119894

120582ℓ 119905 + 120588119895120596 119905

55

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 54: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Detecccedilatildeo de Comunidades Sobrepostas

Em problemas de classificaccedilatildeo nem sempre os elementos pertencem a um uacutenico grupo

Haacute casos em que elementos pertencem a muacuteltiplas comunidades

Exemplo Redes Sociais

Muacuteltiplos Grupos famiacutelia colegas de trabalho colegas de escola

A maioria dos meacutetodos natildeo consegue detectar tal estrutura de sobreposiccedilatildeo

54Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Esta Foto de Autor Desconhecido estaacute licenciado em CC BY-SA-NC

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Esta extensatildeo oferece saiacutedas contiacutenuas atraveacutes de um niacutevel de dominacircncia acumulado

Quantifica a dominacircncia de cada time de partiacuteculas sobre os noacutes ao longo de toda a execuccedilatildeo do algoritmo O niacutevel de dominacircncia acumulado inicia em zero para todas as

classes e eacute aumentado somente quando o movimento aleatoacuterio eacute selecionado na classe correspondente agrave partiacutecula

Nunca diminui

119907119894120582ℓ 119905 + 1 = 119907119894

120582ℓ 119905 + 120588119895120596 119905

55

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 55: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Esta extensatildeo oferece saiacutedas contiacutenuas atraveacutes de um niacutevel de dominacircncia acumulado

Quantifica a dominacircncia de cada time de partiacuteculas sobre os noacutes ao longo de toda a execuccedilatildeo do algoritmo O niacutevel de dominacircncia acumulado inicia em zero para todas as

classes e eacute aumentado somente quando o movimento aleatoacuterio eacute selecionado na classe correspondente agrave partiacutecula

Nunca diminui

119907119894120582ℓ 119905 + 1 = 119907119894

120582ℓ 119905 + 120588119895120596 119905

55

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 56: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Modelo de Partiacuteculas aplicado agrave Detecccedilatildeo de Comunidades Sobrepostas

Ao final das iteraccedilotildees o grau de pertinecircncia de um elemento agrave cada classe eacute calculado

Um niacutevel de sobreposiccedilatildeo tambeacutem pode ser calculado para cada elemento

119891119894ℓ =

119907119894120582ℓ infin

σ119902=1119888 119907

119894

120582119902 infin

119900119894 =119891119894ℓlowastlowast

119891119894ℓlowast

119891119894ℓlowast eacute o grau de pertinecircncia da classe de maior pertinecircncia

119891119894ℓlowastlowast eacute o grau de pertinecircncia da segunda classe de maior pertinecircncia

56

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 57: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119956 = 120782 120788 (b) 119904 = 08 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo57

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 58: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119956 = 120782 120790 (c) 119904 = 10 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo58

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 59: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Classificaccedilatildeo nebulosa de classes em forma de banana geradas com diferentes paracircmetros de variacircncia (a) 119904 = 06 (b) 119904 = 08 (c) 119956 = 120783 120782 Tamanho e cor

dos noacutes representam seu respectivo iacutendice de sobreposiccedilatildeo59

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 60: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Classificaccedilatildeo de dados com distribuiccedilatildeo Gaussiana (a) base de

dados com 1000 elementos divididos em quatro classes 20

amostras satildeo rotuladas 5 de cada classe (quadrados triacircngulos

losangos e estrelas) (b) tamanhos e cores dos noacutes representam o

iacutendice de sobreposiccedilatildeo calculado pelo meacutetodo de partiacuteculas

Desempenho de Classificaccedilatildeo Nebulosa

60

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 61: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Classificaccedilatildeo de base de dados com alguns outliers (a) base de dados

artificiais com alguns noacutes rotulados erroneamente (b) classificaccedilatildeo pelo

meacutetodo proposto

Desempenho de Classificaccedilatildeo com presenccedila de outliers

61

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 62: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

A Rede do Clube de Caratecirc Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

62

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 63: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Bache K amp Lichman M UCI Machine Learning Repository 2013 [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Iris Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

63

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 64: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Classificaccedilatildeo Nebulosa em Bases de Dados Reais

A Base de Dados Wine Tamanhos e cores dos noacutes representam o respectivo grau de sobreposiccedilatildeo detectado pelo meacutetodo proposto

Bache K amp Lichman M (2013) UCI Machine Learning Repository [httparchiveicsucieduml] Irvine CA University of California School of Information and Computer Science64

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 65: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Aprendizado Semi-Supervisionado com Dados Imperfeitos

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation to Prevent Error Propagation from Mislabeled Data in Semi-Supervised Learning In XII Brazilian Symposium on Neural Network (SBRN 2012) The Brazilian Conference on Intelligent System (BRACIS 2012) 2012 Curitiba Paranaacute Proceedings of the XII Brazilian Symposium on Neural Network (SBRN 2012) and The Brazilian Conference on Intelligent System (BRACIS 2012) 2012httpdxdoiorg101109SBRN201216

BREVE Fabricio ZHAO Liang QUILES Marcos Gonccedilalves Semi-Supervised Learning from Imperfect Data through Particle Cooperation and Competition In IEEE World Congress on Computational Intelligence (IEEE WCCI 2010) - International Joint Conference on Neural Networks (IJCNN 2010) 2010 Barcelona Espanha Proceedings of 2010 World Congress on Computational Intelligence (WCCI 2010) Los Alamitos California IEEE Computer Society 2010 p3686 - 3693httpdxdoiorg101109IJCNN20105596659

BREVE Fabricio Aparecido ZHAO Liang Preventing Error Propagation in Semi-Supervised Learning Using Teams of Walking Particles In X Congresso Brasileiro de Inteligecircncia Computacional 2011 Fortaleza Cearaacute Anais do X Congresso Brasileiro de Inteligecircncia Computacional 201165

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 66: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Aprendizado Semi-Supervisionado com Dados Imperfeitos Qualidade dos dados de

treinamento eacute muito importante A maioria dos algoritmos assume

que os roacutetulos dos dados de entrada satildeo completamente confiaacuteveis

Mas na praacutetica eacute comum existirem dados com roacutetulos errados

Roacutetulos errados podem se propagar por uma grande parte ou por toda a base de dados

Apesar de sua importacircncia este eacute um toacutepico que tem recebido pouca atenccedilatildeo dos pesquisadores

D K Slonim ldquoLearning from Imperfect Data in Theory and Practicerdquo Technical report Cambridge MA USA 1996

T Krishnan ldquoEfficiency of learning with imperfect supervisionrdquo Pattern Recognition vol 21 no 2 pp 183ndash188 1988

P Hartono and S Hashimoto ldquoLearning from imperfect datardquo Applied Soft Computing vol 7 no 1 pp 353ndash363 2007

M-R Amini and P Gallinari ldquoSemi-supervised learning with an imperfect supervisorrdquo Knowledge and Information Systems vol 8 no 4 pp 385ndash413 2005

M-R Amini and P Gallinari ldquoSemi-supervised learning with explicit misclassification modelingrdquo In IJCAIrsquo03 Proceedings of the 18th international joint conference on Artificial intelligence pp 555ndash560 San Francisco CA USA 2003 Morgan Kaufmann Publishers Inc

66 Dados de Treinamento Classe ldquoCachorrosrdquo

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 67: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Modelo de Partiacuteculas aplicado ao Aprendizado Semi-Supervisionado com Dados Imperfeitos Modelo bastante robusto a

presenccedila de dados com roacutetulos errados

Uacuteltima extensatildeo desta categoria (Breve 2015) apresenta as seguintes caracteriacutesticas Noacutes rotulados priorizam conexotildees

com os k noacutes rotulados mais proacuteximos da mesma classe

Todos os potenciais de noacutes satildeo variaacuteveis inclusive o dos noacutes preacute-rotulados

Regra de Reiniacutecio Reinicia posiccedilatildeo das partiacuteculas forccedila

niacuteveis de domiacutenio tabelas de distacircncia etc periodicamente

Guarda niacuteveis de domiacutenio antes do reiniacutecio para fazer meacutedia no final

Tais extensotildees proporcionam Saiacuteda raacutepida das partiacuteculas dos

noacutes com roacutetulos errados que deixam a aacuterea inimiga e passam a auxiliar seus companheiros de equipe

Re-rotulagem dos noacutes com roacutetulos errados

Minimiza efeito de troca de territoacuterio de versotildees anteriores

BREVE Fabricio Aparecido ZHAO Liang QUILES Marcos Gonccedilalves Particle Competition andCooperation for Semi-Supervised Learning withLabel Noise Neurocomputing (Amsterdam) v160 p63 - 72 2015httpdxdoiorg101016jneucom201408082

67

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 68: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Simulaccedilotildees em redes contendo noacutes com roacutetulos errados

Redes satildeo geradas com

Diferentes tamanhos e misturas

Elementos divididos em 4 classes

Conjunto de noacutes 119873

Subconjunto de noacutes rotulados 119871 119873

Subconjunto de noacutes com roacutetulos errados 119876 119871 119873

80

20

Natildeo Rotulados (U)

Rotulados (L)

80

155

Natildeo Rotulados (U)

CorretamenteRotulados

RotuladosIncorretamente (Q)

68

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 69: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Taxa de Classificaccedilatildeo Correta com diferentes tamanhos de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

69

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 70: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Taxa de Classificaccedilatildeo Correta com diferentes misturas de redes e diferentes tamanhos do subconjunto de noacutes com roacutetulos errados

119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

70

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 71: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes tamanhos de redes

lt 119896 gt = ൗ119899 8 ൗ119911119900119906119905lt 119896 gt = 025 ൗ119897 119899 = 01

Simulaccedilatildeo Redes com Diferentes Tamanhos

71

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 72: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Tamanho maacuteximo do subconjunto de dados rotulados que permite 80 e 90 de taxa de classificaccedilatildeo correta com diferentes misturas de

redes 119899 = 512 lt 119896 gt = 64 119897 = 64

Simulaccedilatildeo Redes com Diferentes Misturas

72

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 73: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Taxa de Erro de Classificaccedilatildeo no conjunto de dados Iris com diferentes tamanhos do subconjunto de dados com roacutetulos errados 150 amostras 40 rotuladas

Simulaccedilatildeo Iris

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 74: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Wine com diferentes tamanhos do subconjunto de dados com roacutetulos errados 178 amostras 40 rotuladas

Simulaccedilatildeo Wine

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 75: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Taxa de Erro de Classificaccedilatildeo o conjunto de dados g241c com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1500 amostras 100 rotuladas

Simulaccedilatildeo g241c

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 76: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Semeion Handwritten Digit com diferentes tamanhos do subconjunto de dados com roacutetulos errados 1593 amostras 159 rotuladas

Simulaccedilatildeo Semeion Handwritten Digit

76

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 77: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Taxa de Erro de Classificaccedilatildeo o conjunto de dados Optical Recognition of Handwritten Digits com diferentes tamanhos do subconjunto de dados com roacutetulos errados 5620 amostras 562 rotuladas

Simulaccedilatildeo Optical Recognition of Handwritten Digits

77

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 78: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Segmentaccedilatildeo Interativa de ImagensBREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation using Particle Competition and Cooperation In The International Joint Conference on Neural Networks (IJCNN2015) 2015 Killarney Irlanda Proceedings of the International Joint Conference on Neural Networks (IJCNN2015) 2015 p1 - 8httpdxdoiorg101109IJCNN20157280570

BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang InteractiveImage Segmentation of Non-contiguous Classes Using Particle Competition andCooperation In 15th International Conference on Computational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_15

BREVE Fabricio Aparecido Auto Feature Weight for Interactive ImageSegmentation using Particle Competition and Cooperation In XI Workshop de Visatildeo Computacional (WVC2015) 2015 Satildeo Carlos SP Brasil Proceedings - XI Workshop de Visatildeo Computacional WVCacute2015 2015 p164 - 169

BREVE Fabricio Aparecido Building Networks for Image Segmentation Using Particle Competition and Cooperation In The 17th International Conference on Computational Science and Its Applications (ICCSA 2017) 2017 Trieste Itaacutelia Computational Science and Its Applications ndash ICCSA 2017 Springer International Publishing AG 2017

78

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 79: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Segmentaccedilatildeo de Imagens Processo de dividir uma imagem digital em partes

(conjuntos de pixels) identificando regiotildees objetos ou outras informaccedilotildees relevantes

Meacutetodos de segmentaccedilatildeo totalmente automaacuteticos satildeo limitados agrave imagens simples ou de tipos especiacuteficos

Portanto abordagens de segmentaccedilatildeo interativa de imagens onde o usuaacuterio oferece informaccedilotildees que ajudam no processo de segmentaccedilatildeo tem recebido interesse crescente

bull Shapiro L Stockman G Computer Vision Prentice Hall (2001)bull Boykov Y Jolly MP Interactive graph cuts for optimal boundary amp region segmentation

of objects in n-d images In Computer Vision 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on vol 1 pp 105-112 vol1 (2001)

bull Grady L Random walks for image segmentation Pattern Analysis and Machine Intelligence IEEE Transactions on 28(11) 1768-1783 (Nov 2006)79

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 80: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Modelo de Partiacuteculas aplicado agrave Segmentaccedilatildeo de Imagens

Um grafo natildeo direcionado e sem pesos eacute gerado a partir da imagem Cada pixel se torna um noacute do

grafo Cada noacute eacute conectado com

seus 119896 vizinhos mais proacuteximos de acordo com alguns atributos do pixel

Exemplo (a) imagem a ser segmentada (16x16 pixels) (b) imagem original com roacutetulos do usuaacuterio (traccedilotildees verdes e vermelhos) e (c)

grafo gerado a partir da imagem original onde cada pixel corresponde a um noacute do grafo Noacutes rotulados satildeo coloridos de azul e

amarelo e noacutes natildeo rotulados satildeo coloridos de cinza Cada noacute rotulado tem uma partiacutecula atribuiacuteda a ele(a) (b)

(c)

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 81: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Rotulando os pixels natildeo rotulados

Exemplo (a) grafo resultante apoacutes o processo de segmentaccedilatildeo com as cores dos

noacutes representando os roacutetulos que foram atribuiacutedos a eles (b) imagem original com os

pixels coloridos a partir do grafo classificado com cada cor representando

uma classe diferente

(a)

(b)

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 82: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Simulaccedilotildees Computacionais 20 atributos

Posiccedilatildeo do pixel nos eixos horizontal e vertical

Componentes RGB (vermelho verde azul)

Componentes HSV (matiz saturaccedilatildeo intensidade)

Meacutedia de cada componente RGB e HSV em uma janela de 3x3 pixels

Desvio padratildeo de cada componente RGB e HSV em uma janela de 3x3 pixels

119896 = 100BREVE Fabricio Aparecido QUILES Marcos Gonccedilalves ZHAO Liang Interactive Image Segmentation of Non-contiguous Classes UsingParticle Competition and Cooperation In 15th International Conference onComputational Science and Its Applications ICCSA 2015 2015 Banff Alberta Canadaacute Computational Science and Its Applications - ICCSA 2015 - 15th International Conference Banff AB Canada June 22-25 2015 Proceedings Part I Springer International Publishing 2015 v9155 p203 - 216httpdxdoiorg101007978-3-319-21404-7_1582

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 83: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

por Fabricio Breve

86

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 84: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

87

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 85: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

88

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 86: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

William Hawrelak Park - Edmonton - Alberta - Canadaacute ndash por Fabricio Breve

89

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 87: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

90

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 88: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

91

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 89: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

BREVE Fabricio Aparecido Interactive Image Segmentation using Label Propagation through Complex Networks Expert System With Applications v 123 p18 ndash 33 2019

92

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 90: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Segmentaccedilatildeo Interativa de Imagens usando Propagaccedilatildeo de Roacutetulos em Redes Complexas

93

Primeiro passo com rede complexa montada usando grafos ponderado e direcionado

Conexatildeo com k-vizinhos mais proacuteximos

Forma redes de pequeno mundo para propagaccedilatildeo raacutepida

Segundo passo com rede regular para ajuste fino

Propagaccedilatildeo direta sem partiacuteculas

Noacutes natildeo rotulados ldquopuxamrdquo roacutetulo dos vizinhos (rotulados ou natildeo)

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 91: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Outras extensotildees do Modelo de Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas

101

Aprendizado Ativo e Semi-Supervisionado BREVE Fabricio Aparecido Active Semi-Supervised Learning using Particle Competition and Cooperation in Networks In

The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 Dallas Texas The 2013 International Joint Conference on Neural Networks (IJCNN) 2013 p 1737-1742httpdxdoiorg101109IJCNN20136706949

BREVE Fabricio Aparecido Combined Active and Semi-Supervised Learning using Particle Walking Temporal Dynamics In 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 Ipojuca -Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013httpdxdoiorg101109BRICS-CCI-CBIC201314

BREVE Fabricio Aparecido Query Rules Study on Active Semi-Supervised Learning using Particle Competition andCooperation In Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014 Satildeo Carlos Anais do Encontro Nacional de Inteligecircncia Artificial e Computacional (ENIAC) 2014

Classificaccedilatildeo Semi-Supervisionada de Fluxos de Dados BREVE Fabricio Aparecido ZHAO Liang Particle Competition and Cooperation in Networks for Semi-Supervised

Learning with Concept Drift In IEEE World Congress on Computational Intelligence (IEEE WCCI 2012) -International Joint Conference on Neural Networks (IJCNN 2012) 2012 Brisbane Australia Proceedings of 2012 World Congress on Computational Intelligence (WCCI 2012) 2012 p 1803-1808 httpdxdoiorg101109IJCNN20126252617

BREVE Fabricio Aparecido ZHAO Liang Semi-Supervised Learning with Concept Drift using Particle Dynamics applied to Network Intrusion Detection Data In 1st BRICS Countries Congress (BRICS-CCI) and 11th BrazilianCongress (CBIC) on Computational Intelligence 2013 Ipojuca - Pernambuco Proceedings of the 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence 2013 httpdxdoiorg101109BRICS-CCI-CBIC201363

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 92: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Conclusotildees

102

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 93: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre

partiacuteculas em redes

Eacute diferente de todas as teacutecnicas tradicionais de aprendizado semi-supervisionado

Apresenta bom desempenho de classificaccedilatildeo comparaacutevel ao estado da arte Poreacutem com complexidade computacional inferior a de muitos

outros modelos baseados em grafos

E abordagem fundamentalmente diferente das demais

103

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 94: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Conclusotildees A estrateacutegia de competiccedilatildeo e cooperaccedilatildeo entre partiacuteculas

tambeacutem pode ser naturalmente estendida para tratar vaacuterios outros problemas de aprendizado de maacutequina

1 Bastante eficaz na detecccedilatildeo de noacutes sobrepostos oferecendo novas possibilidades de tratamento de dados que apresentem tais estruturas

2 Oferece a possibilidade de detectar outliers e evitar a propagaccedilatildeo de erros vinda dos mesmos superando o desempenho de classificaccedilatildeo de outros algoritmos

3 Tem se mostrado bastante promissora na tarefa de segmentaccedilatildeo de imagens obtendo resultados comparaacuteveis aos de meacutetodos do estado da arte

104

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 95: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Impacto do modelo de Partiacuteculas Google Acadecircmico (ateacute 05112019)

82 citaccedilotildees do artigo original

238 citaccedilotildees do artigo original e suas extensotildees

Utilizado em 55 artigos publicados (ateacute 05112019)

5 Artigos Completos em Perioacutedicos Nacionais e Internacionais IEEE Transactions on Knowledge and Data Engineering

Neurocomputing

Soft Computing

15 Artigos Completos em Conferecircncias Nacionais e Internacionais

14 Resumos em Conferecircncias Nacionais

5 Dissertaccedilotildees de Mestrado

5 Trabalhos de Conclusatildeo de Curso

105Utilizaccedilatildeo considera apenas trabalhos produzidos ou orientados pelo primeiro autor

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas

Page 96: Aprendizado de Máquina em Redes Complexas...de treinamento. Dados de treinamento consistem em pares de exemplos de entradas e saídas desejadas. Objetivo: obter uma função que seja

Fabricio BreveUNESP

httpwwwfabriciobrevecom

Aprendizado Semi-Supervisionado usando Competiccedilatildeo e Cooperaccedilatildeo entre Partiacuteculas em

Redes Complexas