1 redes neurais auto-organizáveis teresa b. ludermir cin - ufpe redes neurais auto-organizáveis

Redes Neurais Auto-Organizáveis 1

Redes Neurais Auto-organizáveis

Teresa B. Ludermir

Cin - UFPE

2Redes Neurais Auto-Organizáveis

Redes Auto-organizáveis

Em várias aplicações é desejável que a rede organize por si mesma padrões semelhantes gerando sua própria classificação dos dados de treinamento

Para isso é necessário que: Padrões pertencentes a mesma classe possuam valores

próximos ou iguais para um número de características A rede consiga identificar estas características

Critério para agrupar os dados



Existem problemas que: Não utilizam resposta desejada Não recebem punição/recompensa Única informação fornecida está no conjunto

de padrões de entrada



Propósito de um algoritmo self-organizing Descobrir padrões ou características

significativas nos dados de entradaSem um professor

Algoritmo apresenta um conjunto de regras de natureza local



Redes Auto-organizáveis Definem os parâmetros da rede por si próprias,

sem auxílio externo Descobrem padrões significativos ou

características nos dados de entrada Rede forma sua própria classificação dos

dados de treinamentoPadrões de uma mesma classe compartilham

características em comum



Aprendizado não supervisionado funciona apenas quando existe redundância na entrada Redundância fornece conhecimento Ausência de redundância

Impossível encontrar padrões ou características nos dados Dados seriam semelhantes a ruídos aleatórios

Aprendizado não supervisionado Aprendizado competitivo Aprendizado Hebbiano



Aprendizado competitivo Neurônios competem entre si pelo direito de

atualizar seus pesos Tarefa

Classificação Extração de características (Compressão de dados)Formação de clusters (agrupamentos)

ExemplosART, Kohonen



Aprendizado Hebbiano Utilizam procedimento baseado na regra de

Hebb para atualizar os pesos Tarefas

Extração de característicasAnálise de dadosMemória autoassociativa

ExemploHopfield


Redes de Kohonen

Determinadas áreas do cérebro são responsáveis por funções específicas Fala Visão Controle de movimentos

Cada área pode conter sub-áreas Cada sub-área mapeia internamente respostas do

órgão sensorial representado por ela Neurônios espacialmente ordenados


Redes de Kohonen

Exemplos: Cortex auditivo: de acordo com a resposta a

diferentes freqüências sonoras Cortex visual: de acordo com características

visuais primitivas Intensidade de luzOrientação e curvatura de linhas


Redes de Kohonen

Utilizam algoritmo de aprendizado baseado em conceitos de auto-organização biologicamente plausíveis

Baseadas no mapeamento realizado pelo cérebro Permite representação de dados n-dimensionais

em um espaço m-dimensional (m << n) Utiliza técnica de quantização de vetores para

comprimir dados dos vetores de entrada


Características básicas

Arquitetura Uma camada bi-dimensional

Grade plana (reticulado) Cada neurônio

Recebe todas as entradas e gera saídaEstá conectado aos seus vizinhos (feedback)Funciona como classificador de características

Pode ser utilizada uma hierarquia de camadas


Rede de Kohonen

0 1 0



Estados de ativação [0, N]

Função de ativação dj = å (xi - wij)2 Baseada em distância Euclidiana

Função de saída Função identidade



Treinamento Não supervisionado Organiza neurônios em vizinhanças locais Neurônios competem entre si

Apenas neurônio vencedor e seus vizinhos atualizam seus pesos



Treinamento Atualização dos pesos

Atualiza neurônio vencedor e seus vizinhos dentro de um certo raio

Raio e taxa de aprendizado são decrementados durante treinamento

wij(t +1) = wij(t ) + (h t)(xi(t) - wij(t)) (neurônio j Î vizinhança do vencedor)Cria regiões que respondem a um grupo de entradas

semelhantes



Treinamento Atualização dos pesos (xj Î vizinhança do

vencedor)wij(t +1) = wij(t ) + (h t)(xi(t) - wij(t))


Algoritmo de Kohonen

1. Iniciar conexões com pequenos valores aleatórios;2. Definir raio e taxa de aprendizado iniciais3. Repita

Para cada padrão de treinamento xPara cada neurônio nj

Calcular a saída dj;Selecionar neurônio nk com menor dk;Atualizar pesos de nk e seus vizinhos;

Reduzir taxa de aprendizado Reduzir raio Até raio < raio_mínimo



Observações Encontra a unidade mais parecida com o

padrão de entrada Aumenta sua semelhança e a de seus vizinhos

com o padrão de entrada Forma mapa topográfico

Neurônios topologicamente próximos respondem de forma semelhante a entradas semelhantes



Justificativa biológica Córtex cerebral

Neurônios ativos apresentam conexões mais fortes para neurônios fisicamente mais próximos

A partir de uma certa distância, conexões se tornam inibitórias (chapéu mexicano)

Parte da razão para mapeamento topológico no cérebro



+

+-

Chapéu mexicano

R1R2

R3



Rede de Kohonen modela córtex Redes interconectadas localmente Adaptação restrita aos neurônios vencedor e seus

vizinhos Aspectos centrais do treinamento de Kohonen

Conceito de vizinhança dos nós Processo de adaptação dos pesos ou Treinamento


Vizinhanças

Define quais e quantos nós em torno do nó vencedor terão seus pesos ajustados

Tamanho modificado dinamicamente durante treinamento Inicialmente grande (ex. todos os nós) Reduzido progressivamente até limite pré-

definidoTaxa de redução pode ser função linear do número

de ciclos


Vizinhanças

Pode ter diferentes formatos Hexágono Retangular

Pode ter diferentes funções de vizinhança Bubble Gaussian Cut gaussian Epanechicov


Vizinhanças

Treinamento de rede de Kohonen é afetado por: Taxa de aprendizado Taxa de redução da taxa de aprendizado Formato da região de vizinhança Função de vizinhança Taxa de redução do raio ou tamanho da

vizinhança


Vizinhanças

Após treinamento, rede forma agrupamentos Grupos podem ser rotulados para indicar

classe que representam Permite classificação de padrões desconhecidos


Treinamento

Processo em dois estágios: Ordenação (Estágio 1)

Criação de uma ordenação topológica sobre mapa de nós aleatoriamente orientados

Refinamento ou convergência (Estágio 2) Ajuste dos nós de cada sub-área (classe) para

os padrões de entrada


Treinamento

Inicialização dos pesos (Estágio 0) Aleatória

Valores de pequena magnitude Cuidados devem ser tomados para evitar

Que vetores de pesos sejam muito diferentes dos padrões de entrada

Nós não utilizáveis para separar classes adequadamente Não convergência ou ciclos muito lentos


Treinamento

Inicialização dos pesos (continuação) Inicializar todos os pesos com mesmo valor

Tornar padrões de treinamento inicialmente semelhantes

Adicionar ruído aos vetores de entrada nos primeiros estágios de treinamento


Treinamento

Inicialização dos pesos (eliminando tendências) Utilizar um threshold para cada nó (consciência)

Nós regularmente selecionados têm seu threshold aumentado Reduz sua chance de ser selecionado Permite utilização de nós redundantes

Reduzir vizinhança durante treinamento Solução utilizada por Kohonen


Treinamento

Estágio 1 - Ordenação Busca agrupar os nós do mapa topológico de

modo a refletir as diferentes classes Rede descobre quantas classes deve identificar e

suas posições relativas no mapa mapeamento grosseiro

Ocorrem grandes mudanças nos pesos Taxa de aprendizado decrescente: h(t) [0.1 0.01)Raio de vizinhança decrescente: [raio do mapa 1]


Treinamento

Estágio 2 - Refinamento Taxa de aprendizado decrescente: [0.01 0.001] Requer 5 a 10 vezes mais apresentações que

no primeiro estágio Normalização dos pesos

Não considerar magnitude, apenas orientação do vetor peso

Reduz magnitude dos pesos para 1


Treinamento de vizinhança localizada


Exexmplo

Examplo: Conjunto de dados para níveis de pobreza dos diferentes paises. Conjunto de dados pode ter varias estatisticas para cada pais. SOM não mostra o nível de pobreza de cada pais, mostra a

similaridade de pobreza dos paises. (Similar color = similar data sets).

→


Redes de Kohonen

Pode ser necessário incluir novos padrões em uma rede já treinada Melhorar performance de certos agrupamentos

Vetor de quantização de aprendizado (LVQ) Técnica de aprendizado supervisionado Ajusta mapa de características para melhorar sua

performance em circunstâncias modificáveis


Algoritmo LVQ

1. Selecionar vetores de treinamento com classificação conhecida2. Definir raio e taxa de aprendizado iniciais3. Repita

Para cada padrão de treinamento com classificação conhecida

Para cada neurônio nj

Calcular a saída dj;

Selecionar neurônio nk com menor dk;

Atualizar pesos de nk e seus vizinhos;

Reduzir taxa de aprendizado

Até erro < erro_mínimo


Algoritmo LVQ

Utiliza para cada entrada a saída desejada Compara saída produzida com saída

desejada Não mexe no raio da vizinhança Atualização dos pesos para nó vencedor

wij(t+1) = wij(t) + h(t)(xi(t) - wij(t)) (correta)

wij(t+1) = wij(t) - h(t)(xi(t) - wij(t)) (incorreta)


Aplicações

Datilógrafo fonético Conversão de fala em texto datilografado Sistema híbrido Rede utilizada para classificar fonemas

Mesmo fonema pode apresentar variações (orador, contexto onde palavra é utilizada)

Utiliza LVQ


Datilógrafo fonético


Aplicações

Classificação de sinais de radar Controle de braços de robôs Segmentação de textura Modelamento do cérebro Tratamento de água Categorização automática de documentos


Links Interessantes

Applet SOM 3D: http://fbim.fh-regensburg.de/~saj39122/jfroehl/diplom/e-sample-applet.html

Applet DemoGNG 1.5 com diversas variações do SOM e muitos recursos: http://www.neuroinformatik.ruhr-uni-bochum.de/ini/VDM/research/gsn/DemoGNG/GG_2.html

http://fbim.fh-regensburg.de/~saj39122/jfroehl/diplom/e-sample-applet.html

http://fbim.fh-regensburg.de/~saj39122/jfroehl/diplom/e-sample-applet.html

http://www.neuroinformatik.ruhr-uni-bochum.de/ini/VDM/research/gsn/DemoGNG/GG_2.html

http://www.neuroinformatik.ruhr-uni-bochum.de/ini/VDM/research/gsn/DemoGNG/GG_2.html

1 redes neurais auto-organizáveis teresa b. ludermir cin - ufpe redes neurais auto-organizáveis

Documents