projeto híbrido de redes neurais

1

Projeto Híbrido de Redes Neurais

Ricardo Bastos C. Prudêncio

Orientação: Teresa B. Ludermir

CIn - UFPEJan - 2002

2

Roteiro

Introdução

Uso de Conhecimento para o Projeto de RNAs

Uso de Busca para o Projeto de RNAs: Algoritmos Genéticos

Um Novo Modelo de Automatização: Raciocínio Baseado em Casos e Algoritmos Genéticos

Treinamento Híbrido de Redes Neurais

Considerações Finais

3

Redes Neurais Artificiais

Possuem diversas vantagens que as tornam bem sucedidas em uma diversidade de problemas

Poder computacional, tolerância a falhas, tolerância a ruído, incompletude e inconsistência nos dados, etc...

O sucesso de uma rede neural depende de um projeto bem realizado

4

Projeto de Redes Neurais

Preparação dos Dados Seleção, transformações, limpeza, etc…

Escolha do Modelo e da Arquitetura MLP, RBF, Elman, Jordan, GMDH, etc… N°. de camadas, n°. de neurônios, etc…

Treinamento dos Pesos Backpropagation, Gradientes Conjugados,

etc… Taxa de aprendizado, momentum, etc…

Avaliação Medida de desempenho

5

Projeto Automático de Redes Neurais

Objetivo: Automatizar total ou parcialmente o projeto

das redes neurais.

Motivações: Facilitar o projeto das redes neurais. Otimizar o desempenho das redes neurais.

Abordagens: Uso de conhecimento (teórico ou

experimental, do domínio ou geral) Uso de técnicas de busca

6

Uso de Conhecimento para o Projeto de RNAs

Conhecimento do domínio: técnicas que transformam conhecimento

simbólico sobre o domínio em redes neurais.

Conhecimento geral: conhecimento adquirido pela experiência

em resolver problemas de diferentes domínios.

7

Conhecimento do Domínio

Algoritmo KBANN (Knowledge Based Artificial Neural Network)

Conjunto Inicialde Regras

Conjunto de Regras Reescritas

Rede Gerada com as Regras

A

A1 A2

B C D E

OR

AND

A :- B, C, D

A :- D, E

A :- A1

A1 :- B, C, D

A :- A2

A2 :- D, E

Reescrita Inserção das regras

8

Conhecimento Geral

Conhecimento válido para diversos domínios

Relaciona as características do problema com os parâmetros do projeto.

Sistemas Especialistas Exemplo: Regras Fuzzy

Algoritmos de Aprendizado. Exemplo: Raciocínio Baseado em Casos (RBC)

9

Uso de Busca para o Projeto de RNAs: Algoritmos

Genéticos

Abordam o projeto de RNAs como um problema de busca e otimização.

Por que AGs??? Menos sensíveis a mínimos locais Otimizam uma grande quantidade de

funções

Inúmeros usos no projeto: Definição da arquitetura Aprendizado dos pesos.

10

Algoritmos Genéticos para o Projeto de RNAs

Cromossomo: codifica a rede neural Operadores genéticos: exploram o espaço de busca das

redes. Função de aptidão: representa a função de desempenho

da rede para o problema abordado

1001 0100 0011 0100 0011 1001 1000 0011 1011

49 3 34 9 38 11

Pai-1 Pai-2 Filho-1

11


Integra diferentes técnicas de IA para o projeto automático de redes neurais

Estudo de Sistemas Neurais Híbridos

Contribuições: Modelo de Automatização

Raciocínio Baseado em Casos e Algoritmos Genéticos

Treinamento Híbrido de Redes Neurais AGs e Levenberg-Marquardt

12

Um Novo Modelo de Automatização: RBC e AG Projeto das redes é tratado de forma híbrida:

uso de conhecimento e busca.

Conhecimento é usado para iniciar o processo de busca.

Base de casos é usada para inicializar a primeira população dos AGs.

No modelo proposto, RBC manipula o conhecimento e AGs realizam a busca.

13

Exemplo de Caso no Domínio de Previsão de Séries

Temporais Caso 1

PROBLEMA SOLUÇÃO

Série Temporal [0.2, 0.3, ..., 1.2] Modelo Rede NARX

Média da Série 0.625 Arquitetura Janela tempo=2

Desvio Padrão 0.12 Cam contexto=1

Autocorrelação [1, 0.76, .., 0.1] camada oculta=4

Sazonalidade Não Algoritmo Backpropagation

Tendência Sim Taxa Apren. 0.2

14

Representação do Caso como Cromossomo

1 - 2 - 1 - 4 - 1 - 0.2

Categoria “Rede NARX” associada ao valor 1

Camada de contexto (sem transformações)

Categoria “Backpropagation” associada ao valor 1

Janela de tempo (sem transformações)

Camada oculta (sem transformações)

Taxa de aprendizado (sem transformações)

Cromossomo 1

15

Protótipo

Definição da arquitetura da redes NARMAX para previsão de séries temporais:

Tamanho da janela de tempo Tamanho da camada de contexto Tamanho da camada oculta

Modelos Univariados

Implementação em MATLAB 5.0

16

Protótipo - Arquitetura

Módulo de Processamento (PROC)

Módulo Gerenciador da Base de Casos (GBC)

Módulo Algoritmo Genético (AG)

Módulo de Treinamento (TR)

Rede treinada + resultados

Série temporal

novo caso

GBC AG

TR

Arquiteturas sugeridas

PROC

Série processada

17

Protótipo – Módulo PROC

Facilitar a modelagem das séries

Eliminação da Tendência: aplicação do operador de diferenciação

Eliminação da Sazonalidade: aplicação do operador de diferenciação sazonal

18

Protótipo – Módulo AG

Representação vetorial

2 - 1 - 2

Z

Zt

Zt-1 Zt-2 et-1e

19

Operador de Mutação

Função de Aptidão: MSE (Mean Squared Error) do conjunto de

validação (estimativa do poder de generalização)

Protótipo – Módulo AG

pi + 1; if 0.5

pi – 1; if 0.5

pi+1 =

U(0;1)

20

Protótipo – Módulo GBC

Casos usam a mesma representação usada nos cromossomos

47 casos Arquiteturas geradas pelos AGs para 47

séries temporais extraídas da literatura.

Medida de Similaridade: Distância Euclidiana entre as 10 primeiras

autocorrelações das séries.

21

Protótipo – Módulo TR

Algoritmo de Levenberg Marquardt

Cada série temporal é igualmente dividida em três conjuntos de dados:

treinamento, validação e teste.

Critérios de parada (Proben): número máximo de iterações perda de generalidade parada no progresso de treinamento

22

Testes (I)

Objetivo: Avaliar a utilidade da base de casos na inicialização dos AGs.

AGs inicializados com casos vs. AGs com inicialização aleatória

Avaliação para 3 séries temporais.

5 execuções para cada série temporal # de Cromossomos: 4 # de Gerações: 5

23

Resultados (I)

Série 1:

Média MSE Treinamento

Média MSE Validação

Média MSE Teste

RBC-AG 126131,15 186623,70 149631,48

AG 104408,96 198346,50 160808,85

• Ganhos nos conjuntos de validação e teste

24

Resultados (I)

Série 2:



Média MSE Teste

RBC-AG 14102,08 41050,44 85318,92

AG 11508,00 42436,19 96287,59

• Ganhos nos conjuntos de validação e teste

25

Resultados (I)

Série 3:



Média MSE Teste

RBC-AG 1355,28 1559,11 1359,75

AG 1474,61 1686,90 1411,46

• Ganhos nos três conjuntos de dados

26

Resultados (I)

Média do Número de Conexões

• Ganho nas três séries de teste

AG RBC-AG Ganho %

Série 1 11,2 6,2 44,64

Série 2 21,0 13,6 35,24

Série 3 30,2 5,0 83,44

27

Conclusões (I)

AGs inicializados com casos geraram redes com menor erro de validação e de teste.

AGs inicializados com casos geraram redes com menor número de conexões.

Montagem de uma base com 50 casos.

Base de casos adquiriu conhecimento útil.

28

Trabalhos Futuros (I)

Implementar outras medidas de similaridade, com seleção de atributos.

Extrair conhecimento simbólico a partir da base de casos.

Extensão do modelo para outros parâmetros do projeto.

Aplicação do modelo em outros problemas.

29

Treinamento Híbrido de Redes Neurais

Algoritmos Genéticos são bons em buscas globais, porém ineficientes em busca locais.

Técnicas de Gradiente são boas em busca locais, porém ineficientes em buscas globais.

Combinações das duas técnicas podem gerar algoritmos de treinamento mais eficientes.

30

Treinamento Híbrido – AGs e Levenberg-Marquardt (LM) AGs são usados para definir os pesos iniciais da rede para o algoritmo de LM.

Algoritmo LM é executado tamanho da população X número de gerações vezes

AlgoritmosGenéticos

AlgoritmoLM

Evolução

AlgoritmoLM

Evolução

AlgoritmoLM

Evolução

Configurações de pesos iniciais

31

Algoritmos Genéticos

Representação direta

Z

Zt

Zt-12Zt-1...

...H1 H5

0

51

0.21...

-0.13 0.37...

-0.03 0.22...

-0.35

12x5 pesos da camadade entrada

5 pesos da camadaoculta

1 bias da saída + 5 bias da camada oculta

32

Algoritmos Genéticos

Mutação Gaussiana sobre cada peso

pi+1 = pi +

N(0, 2)

Função de Aptidão = MSE do conjunto de validação após treinamento com LM.

33

Levenberg-Marquardt

A série temporal foi igualmente dividida em três conjuntos de dados

treinamento, validação e teste

Critérios de parada (Proben) número máximo de iterações perda de generalidade parada no progresso de treinamento

34

Testes (II)

Rede NARX com janela de tempo de tamanho 12 e 5 neurônios na camada oculta

Dados: Série temporal com 300 pontos representando

vazões da bacia de Guarapiranga

Algoritmo Híbrido vs. LM com inicialização aleatória

Cada procedimento retorna a rede com menor erro de validação gerada

35

Testes (II)

Parâmetros da mutação fixos Taxa de Mutação = 0.1 Desvio da Mutação Gaussiana = 0.3

Tamanho da população e número de gerações variaram

(5x10), (10x10) e (10x20)

Algoritmo LM com três taxas de aprendizado:

0.1, 2.0 e 10.0

36

Resultados (II) taxa = 0.1

Taxa = 0,1Média MSE

TreinamentoMédia MSEValidação

Média MSETeste

Tempo total de execução

Aleatório(50) 21,7584 38,2040 42,9316 19 min

Aleatório(100) 22,7988 37,8256 42,7544 38 min

Aleatório(200) 23,7467 37,5871 40,9037 76 min

AG(5x10) 22,7350 36,4482 40,5466 12 min

AG(10x10) 22,3057 35,5361 40,8520 23 min

AG(10x20) 23,3401 35,2380 40,4153 45 min

37

Resultados (II)taxa = 2.0



Média MSETeste


Aleatório(50) 22,2724 37,3105 36,2031 23 min

Aleatório(100) 22,6491 36,7750 36,3558 47 min

Aleatório(200) 22,8958 36,5335 37,5623 94 min

AG(5x10) 24,1478 36,4207 39,0691 12 min

AG(10x10) 24,6531 35,3425 38,1270 23 min

AG(10x20) 22,6433 34,1983 40,6142 49 min

38

Resultados (II)taxa = 10.0



Média MSETeste


Aleatório(50) 22,7077 35,8479 34,9855 30 min

Aleatório(100) 21,9447 35,4148 34,4138 68 min

Aleatório(200) 22,7092 35,5149 35,6331 120 min

AG(5x10) 21,4619 35,6716 36,2181 13 min

AG(10x10) 21,9556 34,6803 36,1797 24 min

AG(10x20) 22,9866 34,0481 36,8073 47 min

39

Conclusões (II)

Trabalho original Integração dos AGs com o algoritmo de

Levenberg-Marquadt

O algoritmo híbrido sempre encontrou redes com menor erro de validação em menor tempo de execução

O algoritmo híbrido obteve melhores resultados no conjunto de teste quando a taxa de aprendizado foi ruim

40

Trabalhos Futuros (II)

Definir quando usar o algoritmo híbrido a partir do comportamento do algoritmo local.

Definir de maneira apropriada os parâmetros dos AGs

taxas de mutação

desvio da mutação Gaussiana

41

Considerações Finais

Estudo das diversas técnicas de IA que podem ser usadas no projeto de RNAs

Contribuições no campo de Sistemas Híbridos

Uma nova abordagem para o projeto automático de RNAs (RBC-AG)

Integração dos AGs com o algoritmo de Levenberg-Marquadt

42


Perguntas ???

projeto híbrido de redes neurais

Documents