redes neurais artificiais - github pages

Redes Neurais Artificiais

Airton Bordin Junior

Mestrado em Ciência da Computação – Inteligência ComputacionalProfº Dr Celso Gonçalves Camilo Junior

Universidade Federal de Goiás (UFG) - Instituto de Informática - Maio/2017

[[email protected]]

Programação

• Introdução

•Heurísticas e Metaheurísticas

•Algoritmos evolucionários

•Redes Neurais Artificiais

•Referências

Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior

2

Introdução

• Podemos classificar os problemas computacionais em

Tratáveis, também chamados de polinomiais Podem ser resolvidos por algoritmos determinísticos.

Intratáveis, ou não polinomiais Sem algoritmo determinístico para resolver o problema em

tempo hábil.

Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior

Tratáveis•Polinomiais

•Algoritmos determinísticos

Intratáveis

•Não polinomiais

•Algoritmos não determinísticos

•Solução determinística inviável 3

Introdução

Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior

4

Heurística

• Impraticabilidade de encontrar/calcular a melhorresposta para problemas não polinomiais;

• Desafio: produzir, em tempo reduzido, soluçõestão próximas quanto possíveis da solução ótima.

Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior

5

Metaheurística

Propriedades e características das metaheurísticas [SALIBA, 2010]

Estratégias que guiam o processo de busca;

Exploração eficiente do espaço de busca - soluções ótimas ou quase ótimas;

De simples procedimentos de busca local a complexos processos de aprendizado;

Aproximados e usualmente não determinísticos;

Podem incorporar mecanismos para evitar ficar presos em áreas confinadas do espaço de busca;

Não são específicas para um determinado problema;

Podem usar um conhecimento específico do problema na forma de heurísticas que são controladas por uma estratégia de nível superior.

Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior

6

Algoritmos bio-inspirados


Algoritmos evolucionários

Inteligência coletiva

Redes Neurais

Sistemas Imunológicos In

teli

gên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior

Algoritmos Genéticos

Programação Genética

Evolução Gramatical

Estratégias Evolucionárias

Programação Evolucionária

Colônia de Formigas

Enxame de Partículas

MLP – Multi-layer Perceptrons

RBF- Radio Basis Function Net

SOM- Self-Organizing Maps

ARTMap

Seleção Negativa

Expansão Clonal

Redes

[PAPPA, 2013]

7





Redes Neurais


teli

gên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior











ARTMap

Seleção Negativa

Expansão Clonal

Redes

[PAPPA, 2013]

8


• Inspirados na teoria de evolução de Darwin;

• Evolução: mudança das características (genéticas) deuma população de uma geração para a próximaMutação dos genes;

Recombinação dos genes dos pais.

Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior




Redes Neurais

Sistemas Imunológicos 9


• Evolução é caracterizada basicamente por umprocesso constituído de 3 passos [VON ZUBEN, 2005]

1. Reprodução com herança genética;

2. Introdução de variação aleatória em umapopulação de indivíduos;

3. Aplicação da “seleção natural” para aprodução da próxima geração.

Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

nB

ord

inJ

un

ior




Redes Neurais

Sistemas Imunológicos 10





Redes Neurais


teli

gên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior











ARTMap

Seleção Negativa

Expansão Clonal

Redes

[PAPPA, 2013]

11





Redes Neurais


teli

gên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior











ARTMap

Seleção Negativa

Expansão Clonal

Redes

[PAPPA, 2013]

12


Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior

13

Redes Neurais

• Sistema nervoso é formado por um conjuntoextremamente complexo de células: osneurônios.Essencial na determinação do funcionamento e

comportamento do corpo humano e do raciocínio.

Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior

14

Redes Neurais

• Principais partes de um neurônioDentritos, que recebem os estímulos;

Corpo (soma), responsável por coletar e combinarinformações;

Axônio, que transmite os estímulos para outras células.

Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior

15

Neurônio

Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior

16


• Modelos matemáticos que se assemelham àsestruturas neurais biológicas e que têmcapacidade computacional adquirida por meio deaprendizagem e generalização;

• Inspirado na estrutura neural de organismosinteligentes e que adquirem conhecimentoatravés da experiência.

Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior

17


• Estrutura de processamento, composta por umnúmero de unidades interconectadas, onde cadaunidade apresenta um comportamento específicode entrada/saída, determinado pela sua funçãode transferência, pelas interconexões com outrasunidades, dentro de um raio de vizinhança, epossivelmente pelas entradas externas.

Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior

18

[VON ZUBBEN, 2003]


• Circuito composto por uma grande quantidade deunidades simples de processamento inspiradas nosistema neural;

• Sistema massivamente paralelo e distribuído,composto por unidades de processamentosimples que possuem uma capacidade natural dearmazenar e utilizar conhecimento

Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior

19

[NIGRIN, 1993]

[HAYKIN, 1999]


Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior

20

• Propriedades particulares de uma RNA:Aprender;

Adaptar;

Generalizar;

Eventualmente organizar.

Histórico resumido

Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior

21

• 1943: McCulloch e Pitts - construção de umamáquina baseada ou inspirada no cérebro humano;

• 1949: Donald Hebb – “The Organization of Behavior”- traduziu matematicamente a sinapse dos neurôniosbiológicos;

• 1951: Mavin Minsky - primeiro neurocomputador:Snark (não executou nenhuma função útil);

• 1956: Darthmouth College – 2 paradigmas de IA:Simbólica e Conexionista;

Histórico resumido

Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior

22

• 1957: Rosenblatt - primeiro neurocomputador aobter sucesso: Mark I Perceptron (reconhecimentode padrões);

• 1983: Ira Skurnick – centro de pesquisas emneurocomputação – DARPA (Defense AdvancedResearch Projects Agency);

• 1986: David Rumelhart e James McClelland –“Parallel Distributed Processing”


Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior

23

• Operação de uma unidade de processamento Sinais são apresentados à entrada;

Cada sinal é multiplicado por um peso (influência nasaída da unidade);

Somatório ponderado dos sinais produz um nível deatividade;

Se este nível de atividade exceder um certo limite(threshold) a unidade produz uma determinadaresposta de saída.

[MCCULLOCK, PITTS, 1943]


Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior

24

• Função matemática F(x) Relaciona um vetor de entrada com um vetor de saída;

Assume-se que F(x) é totalmente desconhecida

Pode ser tão simples como um mapeamento linear do tipo d = M.x

Entrada(x) F(x) desconhecida Saída (d)


Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior

25

• Função matemática F(x) A função pode ser extremamente complexa;

Relações não lineares, etc.

Objetivo: imitar o functionamento de F(x).

Entrada(x) F(x) desconhecida Saída (d)


Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

nB

ord

inJ

un

ior

26

• Fontes de informação sobre o problema Conjunto finito de pares de entrada {xi, di}

Exemplo:

127 4.5

2 137.2

14.9 22.8

...


Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

nB

ord

inJ

un

ior

27

• Fontes de informação sobre o problema Após a apresentação das entradas conhecidas x e saídas d, a ideia é que a

rede seja capaz de retornar uma saída d’ para uma entrada x’ desconhecida;

Saída muito próxima da real;

O processo de obtenção de d’ a partir das entradas conhecidas échamado de Processo Indutivo.

x’ d’

Neurônio artificial

Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior

28

Arquiteturas de redes

Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior

29

Feedforward com camada única


Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior

30

Feedforward com múltiplas camadas


Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior

31

Redes recorrentes


Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior

32

• O processo de conexão de neurônios artificiais leva àgeração de sinapses e Redes Neurais Artificiais


Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior

33

• As estruturas mais conhecidas são as em camadasMultilayer Perceptron (MLP)

Multilayer Perceptron (MLP)

Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior

34

• RNAs de múltiplas camadas resolvem problemas nãolinearmente separáveis;

• Distinguem-se das redes de camada simples pelonúmero de camadas intermediárias Possui uma ou mais camadas ocultas, compostas por

neurônios artificiais (neurônios ocultos);

Adição de camadas ocultas torna a rede capaz deextrair estatísticas de ordem elevada.


Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior

35

• O número de nós de entrada é determinado peladimensão do espaço de observação;

• O número de neurônios da camada de saída édeterminado pela dimensão da resposta;

• Assim, o projeto requer a consideração de:1. Número de camadas ocultas;

2. Número de neurônios em cada camada oculta;

3. Especificação dos pesos sinápticos.

Processos de aprendizado

Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior

36

• Se o conhecimento está armazenado nos pesos dasconexões, então o processo de aprendizagemcorresponde a identificar um conjunto apropriado depesos de forma que a rede se comporte comodesejado;

• Possibilidade de desenvolvimento de técnicas deaprendizagem, e a representação distribuída deconhecimento.


Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior

37

Estímulo AdaptaçãoNovo

comportamento


Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior

38

• O algoritmo de treinamento mais utilizado em MLP éo BackprogationBaseia-se na aprendizagem por correção de erros.

• Quando o valor de saída é gerado, é calculado o erroe seus valores são retro-propagados para entradaOs pesos são ajustados e os valores são novamente

calculados.


Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior

39


Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior

40

• Funcionamento geral1. Apresenta-se um padrão à camada de entrada

a. Padrão é processado camada por camada até quea camada de saída forneça a resposta processada.

2. Resposta é comparada com a resposta desejada e seestiver errada, o erro é calculado;

3. Valores são retropropagados da camada de saídapara a camada de entrada

a. Pesos são ajustados.


Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior

41

• O aprendizado é feito por meio de um processoiterativo de ajuste dos pesos sinápticos1. RNA é estimulada pelo ambiente de informação;

2. Estrutura interna da rede é alterada como resultado doestímulo;

3. Por conta das alterações na estrutura interna, a rede tem suaresposta aos estímulos do ambiente modificada.


Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior

42

• A RNA se baseia nos dados para extrair um modelogeral Fase de aprendizado deve ser rigorosa e verdadeira, a

fim de se evitar modelos irreais.

• Todo o conhecimento de uma rede neural estáarmazenado nas sinapses, ou seja, nos pesosatribuídos às conexões entre os neurônios;

Sentido direto

Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior

43

• Cálculo ativações e saídas de todos os neurônios dacamada oculta e de saída;

Entrada Intermediária Saída

Sentido direto

Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior

• Cálculo ativações e saídas de todos os neurônios dacamada oculta e de saída.

Intermediária

Sentido direto

Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior

45

• Cálculo ativações e saídas de todos os neurônios dacamada oculta e de saída;

Função Logística

Tangente Hiperbólica

Intermediária

Sentido direto

Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior

46

• Deve repetir para a camada de saída, considerando asaída da camada intermediária como entrada

Função Logística

Tangente Hiperbólica

Saída

Funções de ativação

Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior

47

Função Identidade Função Degrau Função Logística

Funções de ativação

Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior

48

Função Senoide Função Gaussiana Função Sinc

Sentido inverso

Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior

49

• Cálculo dos gradientes locais e o ajuste dos pesos detodos os neurônios da camada intermediária e saída.

SaídaIntermediária

Sentido inverso

Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior

50

• Cálculo dos gradientes locais e o ajuste dos pesos detodos os neurônios da camada intermediária e saídaGradientes locais camada saída

Sentido inverso

Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior

51


Sentido inverso

Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior

52


Logística

Sentido inverso

Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior

53


Logística Tangente Hiperbólica

Sentido inverso

Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior

54

• Cálculo dos gradientes locais e o ajuste dos pesos detodos os neurônios da camada intermediária e saídaGradientes locais camada intermediária

Sentido inverso

Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior

55


Logística

Sentido inverso

Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior

56


Logística Tangente Hiperbólica

Sentido inverso

Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior

57

• Atualização/ajuste dos parâmetros da rede Pesos sinápticos e limiares

Camada Intermediária

Camada Saída

Treinamento

Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior

58

• Pontos importantes Vetor de entrada;

Vetor de saída;

Número neurônios camada oculta;

Funções de ativação;

Critério de parada e convergência

Geralmente erro médio quadrático por Época.

Avaliação da rede.


Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior

59

• Hecht-nielsen afirma que apenas com uma camadaoculta já é possível calcular a função arbitráriaqualquer (camada oculta deve ter 2i+1 neurônios);

• Cybenko defende o uso de 2 camadas internas;

• Kudricky observa que, para cada 3 neurônios da 1ªcamada oculta era preciso 1 da segunda camada;

• Lippmann afirma que a 2ª camada oculta deve ter odobro de neurônios da camada de saída


Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior

60

• De 50 a 90% do total de dados devem ser usadospara o treinamento da RNA Escolhidos aleatoriamente, a fim de que a rede

"aprenda" as regras e não decore exemplos.

• O restante dos dados é apresentado à RNA na fasede testes a fim de que ela possa deduzircorretamente o interrelacionamento entre os dados.

Referências• ZUBEN, F. V. Rede MLP: Perceptron de Múltiplas

Camadas

• CRUZ, A. Redes Neurais Artificiais: Multi LayerPerceptron

• ALMEIDA, R. R. IA Conexionista: Redes NeuraisArtificiais

• AFFONSO, E. T. F., SILVA, A. M., SILVA, M. P.,RODRIGUES, T. M. D., MOITA, G. F. Uso RedesNeurais Multilayer Perceptron (Mlp) Em SistemaDe Bloqueio De Websites Baseado Em Conteúdo

• CASTRO, F. C., CASTRO, M. C. MultilayerPerceptrons

• CASTROUNIS, A. Artificial Intelligence, DeepLearning, and Neural Networks Explained

• ANDRÉ, A. P. L. F. Redes Neurais Artificiais

Inte

ligên

cia

Com

pu

taci

on

al

-A

irto

n B

ord

in J

un

ior

61

• TATIBANA, C. Y., KAETSU, D. Y. Redes Neurais

• ZADROZNY, B. Métodos Estatísticos deAprendizagem

• BACKES, A. Redes Neurais

• BARRETO, G. A. Perceptron Multicamadas e oAlgoritmo de Retropropagação do Erro

redes neurais artificiais - github pages

Documents