Uma Abordagem de RNA`s Híbridas baseada em Autômatos Celulares para

Modelagem de Endemias

Anderson Paulo da Silva – aps3@cin.ufpe.br

11

Sumário

IntroduçãoMotivaçãoDescrição do ProblemaObjetivosMeta-Aprendizado Evolucionário em RNAsMeta-Aprendizado Evolucionário em RNAs com ACFerramentas do SistemaRoteiro e CronogramaReferências

22

Introdução

3

• Aplicação de RNAs.

• O projeto de uma RNA, em geral, é um dos grande entraves em diversos problemas.

•Vários métodos têm sido propostos para reduzir a complexidade da rede e os algoritmos evolucionários estão entre estes [14, 16].

Introdução

4

• Vantagens do uso de AE:

• Os algoritmos evolucionários podem evoluir para a arquitetura ótima, sem interferências externas.

• Eles eliminam o processo de trabalho tedioso e erro no trabalho manual de encontrar uma rede ótima [13]

Introdução

5

• Desvantagem:

• Embora, de forma geral, sejam bons em pesquisas globais, algoritmos evolucionários são ineficientes para uma boa busca local [12, 16].

Introdução

6

• Uma possível solução é incorporar uma abordagem híbrida de meta-aprendizado;

• Além da busca evolutiva de conexão, pesos e arquiteturas (conectividade e funções de ativação), técnicas de busca local são utilizados para ajustar os pesos (meta-aprendizagem)

7

Motivação

• Sistemas inteligentes híbridos utilizam mais de uma técnica para suprir necessidades

• Exemplo: clássica associação de redes neurais e algoritmos de otimização [12].

• Novas técnicas surgem. Entre elas, técnicas de aprendizado indireto.

8

Motivação

• O estudo do hibridismo entre redes neurais, algoritmos de otimização e autômatos celulares podem trazer resultados atrativos.

• O uso de tal tipo de hibridismo é diferente em relação a grande maioria, uma vez que é pouco encontrada na literatura.

9

Motivação

• A. Salah e Y. Al-Salqan [1], tiveram bons resultados com uma proposta parecida.

10

Descrição do Problema

• Alguns métodos de aprendizagem evolucionária são baseados em representações diretas dos parâmetros das redes neurais, no entanto, essas representações não permitem escalabilidade.

• Métodos de otimização que utilizem representações indiretas deste parâmetros podem ser uma alternativa viável para solucionar tal problema.

11

Objetivos

• Desenvolver uma alternativa diferente das representações diretas dos parâmetros das redes neurais.

• Utilizar um método de otimização de arquitetura de redes neurais híbridas com esquemas de codificação indireta utilizando autômatos celulares [8, 9, 10].

12

Objetivos

• De acordo com a Gutierrez[8] usar um autômato celular no projeto da arquitetura de uma rede neural é melhor que usar métodos de codificação direta.

• Mas como usar um autômato celular para otimizar a arquitetura de uma rede neural?

13

Meta-aprendizado Evolucionário em RNAs

• A abordagem de Meta-aprendizado híbrido combina aprendizagem evolutiva com métodos de busca local.

• De acordo com os trabalhos de A. Abraham [13]•A meta-aprendizagem gera melhores resultados e rápida convergência.

14

Meta-aprendizado Evolucionário em RNAs

Wl1 e wl2 são os pesos iniciais localizados na

pesquisa evolucionária.

wA e wB correspondem aos pesos finais aperfeiçoados

pela técnica de meta-aprendizagem (através do algoritmo de busca local)

15

Meta-aprendizado Evolucionário em RNAs

• Algoritmo básico de meta-aprendizado (utilizando algoritmos genéticos) [17]:

1 – Faça t = 0 e aleatóriamente gere a população inicial de redes neurais com arquiteturas, funções de transferências e pesos de conexões aleatórios.

2 – Em modo paralelo, avalie o fitness de cada RNA usando quatro algoritmos de aprendizado (BP, SCG, QNA e LM).

3 – Baseado no valor do fitness, selecione parentes para reprodução.

4 – Aplique a mutação para os parentes e produza nova população para a próxima geração. Reabasteça a população de acordo com o tamanho definido.

5 – Repita o passo 2 para calcular o fitness de cada RNA usando algoritmos de aprendizado em modo paralelo.

6 – Pare quando o solução desejada for encontrada ou o número máximo de iterações tenha sido atingido.

16

Meta-aprendizado Evolucionário em RNAs com AC

População aleatória de arquiteturas de redes neurais MÓDULO

DOPSO

Configuração inicial do autômato Celular.

MÓDULO DO AC Configuraçã

o final do autômato Celular

Estágio da Otimização da Arquitetura das Redes Neurais

Estágio de meta-aprendizado

Traduzir a configuração final do AC numa arquitetura de RNA

Use a RNA traduzida para criar uma população inicial com arquitetura, nodos, funções de transferência e pesos atribuídos aleatoriamente.

Aplique o algoritmo de meta-aprendizado (treinamento em paralelo com 4 algoritmos de treinamento, ...)

Módulo de treinamento da rede neural

17

Ferramentas do Sistema

• PSO

•O PSO é uma técnica de base populacional auto-adaptativa de pesquisa que foi proposta por Eberhart e Kennedy[3].

•Baseado em simulações de comportamentos sociais, tais como os dos peixes em um cardume ou de um enxame de pássaros [4].

18

Ferramentas do Sistema

• PSO – Funcionamento• O PSO utiliza dois vetores (um para velocidade e outro para posição) para otimizar o seu enxame.

19

Ferramentas do Sistema

• Autômatos Celulares

•Foram introduzidos por Von Neumann e Ulam como modelos para estudar processos de crescimento e auto-reprodução [11].

• Qualquer sistema com muitos elementos idênticos que interagem local e deterministicamente podem ser modelados usando autômatos celulares [5,6].

20

Ferramentas do Sistema

• Autômatos Celulares

Vizinhança de Neumann X Vizinhança de Moore

21

Ferramentas do Sistema

• Autômatos Celulares - Grid

• Será a ferramenta responsável por gerar a arquitetura da RNA.

• Suas dimensões X e Y representam:• X = Número de nodos de entrada + nodos de saída;• Y = Número máximo de nodos escondidos.

•

22

Ferramentas do Sistema

• Autômatos Celulares – Estados das Células• Suas células podem estar em dois estados: ativo (ocupado por uma raiz) ou inativo

• Há dois tipos de raízes: Raíz crescente e raíz decrescente.

• Duas regras regem seus estados: growing e decreasing;

23

Ferramentas do Sistema

• Autômatos Celulares – Regras• Growing:

•Havendo 3 nodos crescendo, torna nodo inativo crescente (ativo).

• Decreasing:•Havendo 3 nodos decrescendo, torna nodo ativo decrescente (inativo).

24

Roteiro e Cronograma

• Esta sessão visa mostra as atividades que foram desempenhadas e aquelas que ainda serão, juntamente com o cronograma de atividades que determina o período em que cada atividade deve ser realizada.

25

Roteiro e Cronograma

Atividades Descrição1 Disciplinas do primeiro período

2 Disciplinas do segundo período

3 Coleta e estudos das referências bibliográficas;Estudos em artigos para construção de um modelo híbrido para classificação e/ou predição.

4 Disciplina: Tópicos Avançados em Inteligência Computacional IIDesenvolvimento da técnica para a construção do sistema.

5 Coleta de base de dados e implementação do sistema.

6 Continuidade da Implementação do Sistema;Revisão das referências bibliográficas e trabalhos relacionados;Avaliação do sistema implementado.

7 Finalização do sistema e escrita de artigos.

8 Início da escrita da dissertação.

9 Término da escrita da dissertação

26

Roteiro e Cronograma

Atividades concluídas Atividades em andamento Atividades ainda não realizadas

27

Referências

[1] A. A. Salah e Y. Al-Salqan, “Meta-Learning Evolutionary Artificial Networks: by Means of Cellular Automata”, IEEE Computer Society, 2005, International Conference on Computational Intelligence for Modelling.

[2]J.-C. Chen et al. “Pattern differentiation of glandular cancerous cells and normal cells with cellular automata and evolutionary learning” Expert Systems with Applications 34, 2006

[3] R. C. Eberhart e J. Kennedy, “A new optimizer using particle swarm theory,” in Proc. 6th Int. Symp. Micro Mach. Human Sci., Nagoya, Japan, 1995, pp. 39–43.

[4] S.-T. Hsieh, T.-Y. Sun, C.-C. Liu e S.-J Tsai, “Efficient Population Utilization Strategy for Particle Swarm Optimizer” em Proc. IEEE Trans. Systems, Man and Cyberneetics, Vol 39, No 2, Abril de 2009.

[5] S. Wolfram, em "A New Kind of Science”, 2002. Champaign, IL: Wolfram Media.

[6] R. Rudy; em “The Lifebox, The Seashell and The Soul, 2005” Basic Books (Thunder’s Mouth Press): New York.

[7] S.F.P. Sarmago, J. R. Prado “Otimização por Colônia de Partículas”

[8] G.Gutierrez, P. Isasi, J.M. Molina, A. Sanchis, I.M Galvan, “Evolutionary cellular configurations for designing feedforward neural network architectures”, Computer Science, Vol. 2084, Springer, Germany, 2001

[9] Molina, J.M., Galvan. I, isasi. P, SAnchis. A. “Grammars and cellular automata for evolving neural networks architectures”. 2000 IEEE International Conference on Systems, Man, and Cybernetics.

[10] S. Wolfram. “Theory and Applications of Cellular Automata”. World Scientific, Singapore, 1988.

[11] J. V. Neumann and A. W. Burks. “Theory of Self-Reproducing Automata”. University of Illinois Press, Champaign, IL, 1966.

28

Referências

[12] G. F. Miller, P. M. Todd and S. U. Hedge. “Designing Neural Networks Using Genetic Algorithms”. In Proc. Of the third Internaticonal conferente on genetic algorithms and their applications. San Mateo, CA, USA, 1989.

[13] A. Abraham, “Optimization of Evolutionary Neural Networks Using Hybrid Learning Algorithms”, IEEE 2002 Joint International Conference on Neural Networks, Vol. 3, IEEE Press, New York, 2002.

[14] X Yao, “A review of Evolutionary Artificial Neural Networks”, Inernational Journal of Intelligent Systems, 1993.

[15] Haykin, Simon. Redes Neurais. Princípios e prática. Bookman, 2001.

[16]. X Yao. “Evolving Artificial Neural Networks”. Proceedings of IEEE 87 (9 Suppl. 1) (1999) 423–1447.

[17]. A. Abraham, “Meta-Learning Evolutionary Artificial Neural Networks”, Neurocomputing Journal, Elsevier Science, Netherlands, Vol. 56c, pp. 1-38, 2004