Introdução àsRedes Neurais Artificiais

Mapas Auto-Organizáveis

Prof. João Marcos Meirelles da Silva

http://www.professores.uff.br/jmarcos

Departamento de Engenharia de Telecomunicações

Escola de Engenharia

Universidade Federal Fluminense

Prof. João Marcos Meirelles da Silva – p. 1/27

Créditos autorais

Este curso e estes slides são parcialmente adaptados da bibliografiacitada e das aulas do professor Luiz Pereira Calôba - COPPE/UFRJ

www.lps.ufrj.br/∼caloba

Prof. João Marcos Meirelles da Silva – p. 2/27

Sumário

• Introdução

• Principal Característica

• Espaços de Trabalho

• Aprendizado

• Algoritmo

• Exemplo

Prof. João Marcos Meirelles da Silva – p. 3/27

Self-Organizing Maps (SOM)

• Introdução• Redes de Aprendizado Competitivo: Padrões similares não

permaneciam juntos;• SOM ou Mapas de Kohonen: Padrões similares

permanecem juntos, há uma transição “suave” entreclasses;

• Utiliza os conceitos de camada competitiva e aprendizadonão-supervisionado;

• Produz uma representação discretizada, geralmente em 2D,do espaço de entradas dos padrões de treinamento (mapa);

Prof. João Marcos Meirelles da Silva – p. 4/27

Self-Organizing Maps (SOM)

• Introdução• Imita a organização do córtex cerebral;• Utilizam uma função de vizinhança para preservar as

propriedades topológicas do espaço de entrada;• Útil para visualizar, em baixas dimensões, dados de grandes

dimensões.

Prof. João Marcos Meirelles da Silva – p. 5/27

Self-Organizing Maps (SOM)

• Principal característica

f(x) : Rm → R (1)

ou

f(x) : Rm → R

2 (2)

Prof. João Marcos Meirelles da Silva – p. 6/27

Self-Organizing Maps (SOM)

• Espaços de trabalho

No treinamento de Kohonen, existem dois espaços à considerar:

O espaço das entradas x As entradas x e as sinapses w sãodefinidas nesse espaço, e as distâncias d serão dadas pordi =| x − wi |;

O espaço de competição M O mapa auto-organizável deKohonen, onde as distâncias laterais r entre os neurôniossão definidas neste espaço.

Neurônios Ni e Nj ⇒ rji =| j − i |

Prof. João Marcos Meirelles da Silva – p. 7/27

Self-Organizing Maps (SOM)

• Aprendizado em 3 fases:• Competição• Cooperação• Adaptação das sinapses

Prof. João Marcos Meirelles da Silva – p. 8/27

Self-Organizing Maps (SOM)

• CompetiçãoSeja:• x = [x1, x2, . . . , xm]T

• wj = [wj1, wj2, . . . , wjm]T , j = 1, 2, . . . , m

Aprendizado por Competição

⇒ Vence o neurônio cujo produtointerno xT · wj for maior !

Prof. João Marcos Meirelles da Silva – p. 9/27

Self-Organizing Maps (SOM)

• Cooperação• Caso unidimensional

Mapa Unidimensional.

Prof. João Marcos Meirelles da Silva – p. 10/27

Self-Organizing Maps (SOM)

• Cooperação• Caso unidimensional

O neurônio vencedor dá a local-ização do centro de vizinhançatopológica, definindo junto como raio, quais serão os neurôniosque irão cooperar.

Prof. João Marcos Meirelles da Silva – p. 11/27

Self-Organizing Maps (SOM)

• Cooperação• Caso bidimensional

Prof. João Marcos Meirelles da Silva – p. 12/27

Self-Organizing Maps (SOM)

• Cooperação• Opções de Arranjo de Topologia da Vizinhança

• Biologicamente falando,

um neurônio que dispara

tende a excitar mais os

neurônios próximos dos

que os que estão mais

distantes;

Prof. João Marcos Meirelles da Silva – p. 13/27

Self-Organizing Maps (SOM)

• Cooperação• Opções de Arranjo de Topologia da Vizinhança

• Este conceito nos leva

a pensar em uma vi-

zinhança topológica (R)

em torno do neurônio

vencedor i que decai

suavemente com a dis-

tância lateral (rji).

Prof. João Marcos Meirelles da Silva – p. 14/27

Self-Organizing Maps (SOM)

• Cooperação• Opções de Arranjo de Topologia da Vizinhança

• Durante a fase de treinamento, o valor de R diminui.

Prof. João Marcos Meirelles da Silva – p. 15/27

Self-Organizing Maps (SOM)

• Definição do Raio

Uma escolha típica para R é dada pela própria função Gaussiana, aqual é invariante à rotações (isto é, independente da localização doneurônio):

R(n) = exp

(

−r2

ji

2σ2(n)

)

, n = 0, 1, 2, . . . (3)

σ(n) = σ0 exp

(

−n

τ1

)

(4)

⇒ O parâmetro σ é chamado de largura efetiva da vizinhançatopológica, σ0 é o valor inicial e o parâmetro τ1 é uma constante detempo.

Prof. João Marcos Meirelles da Silva – p. 16/27

Self-Organizing Maps (SOM)

• Adaptação das sinapses

A alteração das sinapses pode seguir um dos dois esquemas:

1. O vencedor treina e os demais vizinhos dentro de R também,igualmente:

wj(n + 1) = wj(n) + α(n)(x − wj(n))

2. O vencedor treina e os demais vizinhos dentro de R também,porém de acordo com a seguinte regra:

wj(n + 1) = wj(n) + α(n)R(n)(x − wj(n))

Prof. João Marcos Meirelles da Silva – p. 17/27

Algoritmo

• Passo 1: Iniciar os pesos wij

• Passo 2: Iniciar os parâmetros topológicos devizinhança

• Passo 3: Iniciar taxa de aprendizado

• Passo 4: Enquanto a condição de parada forfalsa, execute os passos 5 a 11

• Passo 5: Para cada vetor x detreinamento, execute os passos 6 - 8

• Passo 6: Para cada j, calcule:

D(j) =∑

i

(wij − xi)2 (5)

• Passo 7: Encontre o índice j para oqual D(j) é mínimo;

• Passo 8: Para todos os neurônio j

dentro de uma vizinhançaespecificada de J , e para todo i:

wij(n + 1) = wij(n) + α[xi − wij(n)](6)

17-1

• Passo 9: Atualize a taxa de aprendizado;

• Passo 10: Reduza o raio de vizinhançatopológica de tempos em tempos;

• Passo 11: Teste a condição de parada

17-2

Self-Organizing Maps (SOM)

• Exemplo• Mapa unidimensional• x unidimensional• 8 neurônios• R = 2

• α = 0, 4

Ni, i = 1 2 3 4 5 6 7 8

wi = 0,2 0,5 0,1 0,9 0,6 0,5 0,8 0,2

Seja uma entrada x = 0, 65, temos:

⇒ Competição no espaço de entrada: d(x, wi), i = 1, 2, . . . , 8

Prof. João Marcos Meirelles da Silva – p. 18/27

Self-Organizing Maps (SOM)

d1 0,45

d2 0,15

d3 0,55

d4 0,25

d5 0,05

d6 0,15

d7 0,15

d8 0,45

Neurônio N5 é o vencedor !

⇒ Vizinhos de N5 para R = 2 no mapa: N3, N4, N6 e N7

⇒ Atualização das sinapses w3, w4, w5, w6 e w7 no espaço de entrada

Prof. João Marcos Meirelles da Silva – p. 19/27

Self-Organizing Maps (SOM)

wj(2) = (1 − α)wj(1) + αx = 0, 6wj(1) + 0, 26, j = 3, 4, 5, 6, 7

Ni, i = 1 2 3 4 5 6 7 8

wi(1) = 0,2 0,5 0,1 0,9 0,6 0,5 0,8 0,2

wi(2) = 0,2 0,5 0,32 0,80 0,62 0,56 0,74 0,2

Observe que todos os pesos alterados se aproximaram da entrada eentre si !

Prof. João Marcos Meirelles da Silva – p. 20/27

Self-Organizing Maps (SOM)

Há basicamente duas formas de visualizarmos as redes SOM:

• O mapa é visto como uma rede elástica (uni ou bidimensional)com os vetores de pesos sinápticos representados como pontose, entre os vizinhos, através de conexões;

• Nomes de classes são associados aos neurônios em uma redebidimensional. Após o treinamento, algumas regiões sãoapresentadas onde o caminho entre um ponto A e um ponto Bmostra a “afinidade” entre os dados. Esta forma deapresentação é comumente chamada de mapas de contexto oumapas semânticos.

Prof. João Marcos Meirelles da Silva – p. 21/27

Self-Organizing Maps (SOM)

Exemplos de redes elásticas:

• Caso bidimensional (ExemploSOM01.m)

• Caso unidimensional (ExemploSOM02.m)

Prof. João Marcos Meirelles da Silva – p. 22/27

Self-Organizing Maps (SOM)

Exemplo de Mapa de Contexto: Rede SOM bidimensional (wpi-soms)

(a) Antes do treinamento (b) Após o treinamento

Prof. João Marcos Meirelles da Silva – p. 23/27

Self-Organizing Maps (SOM)

Nomes de animais e seus atributos

Prof. João Marcos Meirelles da Silva – p. 24/27

Considerações Finais

• SOM É uma técnica de agrupamento que impõerelacionamentos de vizinhança sobre os centróides resultantesdas classes;

• Classes vizinhas possuem um relacionamento maior do queclasses distantes umas das outras;

• Uma rede SOM bidimensional é uma projeção não linear dafunção original de distribuição de probabilidade em duasdimensões;

• Como qualquer algoritmo de segmentação, também possuilimitações.

Prof. João Marcos Meirelles da Silva – p. 25/27

Referências

1. Haykin, S., “Neural Networks - A Comprehensive Foundation,”2nd edition - Prentice Hall, 1999.

2. Fausett, L., “Fundamental of Neural Networks - Architectures,Algorithms and Applications,” Prentice Hall, 1994.

3. Theodoris, S., Koutroumbas, K, “Pattern Recognition,” 4th

edition, Academic Press.

Prof. João Marcos Meirelles da Silva – p. 26/27

FIM

Prof. João Marcos Meirelles da Silva – p. 27/27