04/20/23 RN - Prof. Paulemir Campos 1

UPE – Caruaru – Sistemas de InformaçãoDisciplina: Redes NeuraisProf.: Paulemir G. Campos

Aprendizado em Redes Neurais

(Parte 1)

04/20/23 RN - Prof. Paulemir Campos 2

Roteiro da Aula

Introdução; Paradigmas.

Referências.

04/20/23 RN - Prof. Paulemir Campos 3

Introdução ao Aprendizado em RNA

04/20/23 RN - Prof. Paulemir Campos 4

Aprendizado - Definições Segundo Carbonell:

Habilidade de executar novas tarefas que não podiam ser realizadas antes, ou executar melhor antigas tarefas (decorrentes do processo de aprendizagem).

04/20/23 RN - Prof. Paulemir Campos 5

Aprendizado - Definições De acordo com S. Haykin (no

contexto de RNAs):

Processo no qual os parâmetros livres de uma rede neural são adaptados através de estimulação do meio ambiente onde a rede está inserida.

04/20/23 RN - Prof. Paulemir Campos 6

Aprendizado - Características

Capacidade de aprender a partir de seu ambiente e melhorar sua performance com o tempo;

04/20/23 RN - Prof. Paulemir Campos 7

Aprendizado - Características Parâmetros livres de uma RNA são

adaptados através de estímulos fornecidos pelo ambiente: Processo iterativo de ajustes aplicado

a sinapses e thresholds; Idealmente, a RNA sabe mais sobre

seu ambiente após cada iteração.

04/20/23 RN - Prof. Paulemir Campos 8

Aprendizado - Características A RNA deve produzir para cada

conjunto de entradas apresentado o conjunto de saídas desejado.

Ajuste dos parâmetros livres (pesos):

)()()1( twtwtw ijijij

04/20/23 RN - Prof. Paulemir Campos 9

Aprendizado - Características Mecanismos de aprendizado:

Modificação de pesos (Δwij(t)) associados às conexões;

Armazenamento de novos valores em conteúdos de memória;

Acréscimo e/ou eliminação de conexões/neurônios.

04/20/23 RN - Prof. Paulemir Campos 10

Aprendizado - Tarefas Principais tarefas:

Associação de padrões: auto-associação, hetero-associação;

Reconhecimento de padrões: classificação, agrupamento;

Aproximação de funções: interpolação, regressão;

04/20/23 RN - Prof. Paulemir Campos 11

Aprendizado - Tarefas Principais tarefas (Continuação):

Controle de processos: identificação e controle;

Filtragem de sinais: filtragem, suavização, predição.

04/20/23 RN - Prof. Paulemir Campos 12

Aprendizado - Técnica

Escolha do algoritmo de aprendizado é influenciada pela tarefa a ser realizada pela rede.

04/20/23 RN - Prof. Paulemir Campos 13

Aprendizado - Adaptação Dimensões do processo de

aprendizado Espaço; Tempo.

Ambientes de operação Estacionário; Não estacionário.

04/20/23 RN - Prof. Paulemir Campos 14

Aprendizado:Ambientes de Operação Estacionário: Características

estatísticas não mudam com o tempo Parâmetros da rede são congelados

após treinamento; Sistema de aprendizado utiliza

memória para lembrar e explorar experiências passadas.

04/20/23 RN - Prof. Paulemir Campos 15

Aprendizado:Ambientes de Operação Não estacionário: Características

estatísticas mudam com o tempo Rede deve adaptar seus parâmetros

em tempo real; Sistema adaptativo responde a toda

entrada diferente como a uma nova entrada;

Performance depende diretamente da capacidade adaptativa do sistema.

04/20/23 RN - Prof. Paulemir Campos 16

Aprendizado:Ambientes de Operação Aprendizado de estrutura temporal

Treinamento contínuo com exemplos ordenados pelo tempo (previsão);

Extensão de métodos tradicionais de aprendizado supervisionado.

Paradigmas de Aprendizado em RNA

04/20/23 RN - Prof. Paulemir Campos 17

04/20/23 RN - Prof. Paulemir Campos 18

Introdução Tipos de Aprendizado

Supervisionado; Por Reforço; Não Supervisionado.

04/20/23 RN - Prof. Paulemir Campos 19

Introdução Paradigmas de aprendizado

Diferem na forma como a RNA se relaciona com seu ambiente.

04/20/23 RN - Prof. Paulemir Campos 20

Aprendizado Supervisionado Professor externo

Possui conhecimento sobre o ambiente

Representado por conjunto de pares (x, d)

Geralmente, a rede não possui informações prévias sobre o ambiente.

Parâmetros da rede são ajustados por (x, d);

Rede procura emular professor.

04/20/23 RN - Prof. Paulemir Campos 21

Aprendizado Supervisionado

Problema de atribuição de crédito

Atribuir crédito ou culpa pelo resultado à cada uma das decisões internas que contribuíram para ele.

04/20/23 RN - Prof. Paulemir Campos 22

Aprendizado Supervisionado Para rede melhorar desempenho, o

custo deve mover para ponto de mínimo na superfície de erro Utiliza informação sobre gradiente da

superfície para os parâmetros atuais da rede

Gradiente: vetor que aponta na direção da descida mais íngreme.

04/20/23 RN - Prof. Paulemir Campos 23

Aprendizado Supervisionado Formas de aprendizado

supervisionado Offline (estático)

Módulo externo para aprendizado; Rede é congelada após o treinamento.

Online (dinâmico) Rede nunca para de ser treinada; Aprendizado auto-contido.

Desvantagem Dependência do professor

04/20/23 RN - Prof. Paulemir Campos 24

Aprendizado Por Reforço Crítico externo

Processo de tentativa e erro; Procura maximizar sinal de reforço.

Lei de Thorndike Se ação tomada por sistema é

seguida por estado satisfatório, sistema é fortalecido, caso contrário, sistema é enfraquecido.

04/20/23 RN - Prof. Paulemir Campos 25

Aprendizado Por Reforço Tipos de reforço

Positivo (recompensa); Negativo (punição); Nulo.

04/20/23 RN - Prof. Paulemir Campos 26

Aprendizado Por Reforço Formas de aprendizado por reforço

Não associativo Sistema deve selecionar ação ótima; Reforço é única referência recebida.

Associativo Aprender mapeamento estímulo-ação; Informação adicional é fornecida.

04/20/23 RN - Prof. Paulemir Campos 27

Aprendizado Por Reforço Conflito identificação-controle

Desejo de utilizar conhecimento disponível sobre mérito de ações tomadas pelo sistema;

Desejo de adquirir mais conhecimento sobre conseqüências de ações para selecionar melhor no futuro.

Quando parar?

04/20/23 RN - Prof. Paulemir Campos 28

Aprendizado Não Supervisionado Não tem crítico ou professor

externo

Extração de características estatisticamente relevantes Cria classes automaticamente

04/20/23 RN - Prof. Paulemir Campos 29

Referências Braga, A. P.; Ludermir, T. B. e

Carvalho, A. C. P. L. F. Redes Neurais Artificiais: Teoria e Aplicações. Editora LTC, 2000.

Notas de aulas da Profa. Teresa B. Ludermir e do Prof. Aluízio Araújo, ambos do CIn/UFPE.