d o redes neurais artificiais e s o s o c n u -...
TRANSCRIPT
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Universidade Federal do Espírito SantoCentro de Ciências Agrárias – CCENS UFESDepartamento de Computação
Inteligência ArtificialSite: http://jeiks.net E-mail: [email protected]
Redes Neurais Artificiais
2
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Neurônio Natural
● Dendritos:– recebe os estímulos
transmitidos por outros neurônios.
● Núcleo (Soma):– coleta e combina informações
vindas de outros neurônios.
● Axônio:– transmite estímulos para
outras células.● Sinapse:
– região onde dois neurônios entram em contato e através da qual os impulsos nervosos são transmitidos entre eles.
3
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Considerações sobre o Neurônio Natural
● Cérebro humano:– considerado o mais fascinante processador baseado
em carbono existente, possui aproximadamente 10 bilhões de neurônios.
● Os neurônios estão conectados uns aos outros através de sinapses.
● Cada neurônio é capaz de ter até 10.000 sinapses com outros neurônios.
4
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
O Neurônio Artificial
1. Sinais são apresentados à entrada;
2. Cada sinal é multiplicado por um peso que indica sua influência na saída da unidade;
3. É feita a soma ponderada dos sinais que produz um nível de atividade;
4. Se este nível excede um limite (threshold) a unidade produz uma saída;
5
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Funções de Saída (Ativação)
x
1
1
y
x
1.0
y
1.0
- 1.0
x
y
-1
1
x
yFunção Sinal Função Rampa
Função Sigmóide
x < 0 , y = -1 x > 0 , y = 1
x < 0 , y = 0
0 < x < 1 , y = x
x > 1 , y = 1
y = 1 / (1 + e - x )
a b
c d
Função tanh
y= tanh ( x2 )=1−e−x
1+e− x
6
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Neurônio Natural x Artificial
● Os neurônios naturais operam na faixa de milissegundos– e os artificiais em nanosegundos.
● Nossa capacidade de fazer cálculos numéricos – é menor que computadores muito antigos.
● Fazemos em aproximadamente uma centena de etapas– o que os computadores atuais não conseguem em 10 milhões
de etapas, isso devido ao paralelismo de nossa mente.● Neurônios naturais estão propensos a falhas, ou seja,
podem morrer sem causar problemas– Componentes digitais precisam operar sem defeito.
7
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Aspectos da Rede Neural Artificial
● São conectadas por canais de comunicação que estão associados a determinado peso.
● As unidades fazem operações apenas sobre suas ligações.● O comportamento inteligente de uma RNA vem das
interações entre as unidades (neurônios) de processamento da rede.
● Os pesos das conexões de seus neurônios são ajustados através e uma regra de treinamento. Assim, podem se ajustar de acordo com os padrões apresentados.
● É capaz de extrair regras básicas a partir de dados reais, diferindo da computação programada, onde é necessário um conjunto de regras rígidas pré-fixadas e algoritmos.
8
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Histórico – 1943
● Neurofisiologista McCulloch e o
Matemático Walter Pitts (1943),
– Possuíam um trabalho que fazia uma analogia entre células vivas e o processo eletrônico:
● simulava o comportamento do neurônio natural,● o neurônio artificial possuía apenas uma saída,● que era uma função que agia sobre os valores de suas diversas
entradas.
9
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
O neurônio de McCulloch e Pitts
Soma=∑i=1
N
I i⋅W i
y= f (Soma)
Soma=∑i=1
N
I i⋅W i
y= f (Soma)
10
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Histórico – 1949
● Psicólogo Donald Hebb,
– Propôs uma lei de aprendizagem específica para as sinapses dos neurônios.
– Demostrou que a capacidade da aprendizagem em redes neurais biológicas vem da alteração da eficiência sináptica:
● A conexão entre os neurônios somente é reforçada se tanto os neurônios pré-sinápticos quanto os pós-sinápticos estiverem excitados.
11
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Histórico – 1951
● Marvin Minsky:
– Cofundador do laboratório de IA do MIT.– Construiu o primeiro neuro computador: Snark.– O Snark:
● Operava ajustando seus pesos automaticamente.● Nunca executou qualquer função de processamento de
informação interessante.● Serviu como inspiração para ideias de estruturas
posteriores.
12
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Histórico – 1956
● Surgimento dos dois paradigmas da Inteligência Artificial:– Simbólica:
● Que utiliza um conjunto de símbolos que são manipulados com regras explícitas.
● Não procura imitar a natureza do cérebro.
– Conexionista:● Acredita-se que construindo um sistema que simule a
estrutura do cérebro, este sistema apresentará inteligência, ou seja, será capaz de aprender, assimilar, errar e aprender com seus erros.
13
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Histórico – 1958
● Frank Rosenblatt:
– Publicou o modelo dos "Perceptrons":● Livro Principles of Neurodynamics.
– Os neurônios (perceptrons) eram organizados em camada de entrada e saída,
● os pesos das conexões entre os neurônios eram adaptados a fim de se atingir a eficiência sináptica usada no reconhecimento de caracteres.
14
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Perceptron
retina
associação
resposta
retina
associação
resposta
15
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Histórico – 1960● Widrow e Hoff criaram as RNAs:
– ADALINE (ADAptative LInear NEtwork) e a– MADALINE (Many ADALINE).
● O MADALINE utilizou saídasanalógicas em uma arquiteturade três camadas.
Exemplo...
16
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Histórico – 1969
● Minsky & Papert– Constataram que um neurônio do tipo Perceptron
só era capaz de resolver problemas com dados de classes linearmente separáveis.
17
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Histórico – 1960 à 1970
Muitos historiadores desconsideram a existência de pesquisa nessa área nos anos 60 e 70.
18
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Histórico – 1982● Físico e biólogo Hopfield:
– Retomada das pesquisas com a publicação de trabalhos relatando a utilização de redes simétricas para otimização.
– Utilizou um algoritmo de aprendizagem que estabilizava uma rede binária simétrica com realimentação.
19
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Histórico – 1986
● Rumelhart¹, Hinton² e Williams:– Introduziram o poderoso método de treinamento
denominado Backpropagation. ● Rumelhart e McClelland³
– escreveram o livro “Processamento Paralelo Distribuído: Explorações na Microestrutura do Conhecimento”.
20
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Histórico – 1988
● Broomhead e Lowe– Descreveram um procedimento para o projeto de
uma rede neural (feedforward) usando funções de base radial (Rede de Base Radial – RBF).
21
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Mais considerações● A maioria dos problemas
do mundo real não é linearmente separável.
● A RNA Multicamadas possui maior capacidade de aprendizado para tais dados.
● Aprendem da mesma forma que perceptrons simples.
● Porém há muito mais pesos a serem ajustados.
22
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Mais considerações
● RNAs com Retropropagação:– Geralmente utiliza a função sigmoide:
f(x) = 1
1+ e-x
● Os pesos são
ajustados de trás
para frente
23
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Mais considerações
● Também tem-se as Redes Recorrentes:– Apresentam “ciclos” nas suas conexões, isto é, a saída de
neurônios de uma camada i são entradas de neurônios de uma camada anterior.
– Redes BAM, de Hopfield e Competitivas em geral são de certo modo redes recorrentes.
– Entretanto 2 modelos são de maior interesse neste caso:● Redes de Elman;● Redes de Jordan.
– Utilizadas para casos que necessitem verificar dados anteriores.
– Essas redes tem memória.
24
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Redes Recorrentes
25
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Mais considerações
● Mapas de Kohonen:– Também chamado de mapa de características auto-
organizáveis.– Usa o algoritmo vencedor-leva-tudo.– Esse aprendizado é não supervisionado, chamado de
aprendizado competitivo.– Algoritmo vencedor-leva-tudo:
● Apenas um neurônio fornece a saída da rede em resposta a uma entrada: O neurônio que tiver o maior índice de ativação
● Durante o aprendizado, somente as conexões deste neurônio que tem seus pesos alterados.
26
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Mapas de Kohonen
● Seu propósito é agrupar dados de entrada em diversos grupos (clusters). Exemplo:– Novas histórias em categorias por assuntos.
● Tem duas camadas:– Uma de entrada;– Uma de agrupamento: que é a camada de saída.
27
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Rede Neural Artificial
28
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Processo de Aprendizagem● Todo o conhecimento de uma rede neural está armazenado nas
sinapses, ou seja:– Nos pesos atribuídos às conexões entre seus neurônios.
● A aprendizagem consiste então na adaptação de seus pesos sinápticos para conseguir os resultados almejados.
● A aprendizagem pode ocorrer de duas formas:– Supervisionada:
● É fornecida para a RNA um conjunto de dados com as entradas e com as saídas desejadas.
● Os pesos são ajustados para alcançar a saída desejada.
– Não-Supervisionada:● É fornecida para a RNA um conjunto de dados somente com as entradas.● A RNA busca agrupar similaridades, ou seja, dar resultados comuns para
entradas com características comuns.
29
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
TreinamentoDADOS
TREINOW = parâmetrosλ = hiperparâmetros
VALIDAÇÃOTESTES
Usar somente apósterminar o treino.
TREINAMENTOTestar
o modelo W, λ
Obter/Determinar:W e λ
Obter:% Erro
Realizar oTeste final.
Wfinal
, λfinal
Obter:Desempenho da RNA
% Erro
2/31/3
2/3 1/3
30
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Características das RNAs● Existem diversos modelos de RNAs.● Cada modelo está relacionado à sua história, ao conjunto de
dados que melhor consegue se adaptar.● A quantidade de neurônios da camada oculta (intermediária)
infelizmente é obtida por testes. Sabe-se que:– Quanto mais neurônios, maior é a taxa de processamento da rede;– Quanto menos neurônios, menor é a capacidade de adaptação da
RNA;– Sem a camada intermediária, não existe formas de trabalhar com
dados não lineares;– A quantidade escolhida de neurônios ocultos geralmente é obtida por:
(√Qnt. de Neuronios de Entrada +Qnt. de Neuronios de Entrada )⋅2ou
(Qnt. de Neuronios de Entrada +Qnt. de Neuronios de Entrada )/2ou
2⋅Qnt. de Neuronios de Entrada+1
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
A U
FE
S
31
Arquiteturas
● Arquiteturas básicas de RNAs:– Redes alimentadas adiante com camada única;– Redes alimentadas adiante com múltiplas camadas;– Redes recorrentes.
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
A U
FE
S
32
Arquiteturas
● Redes alimentadas adiante com camada única:
Xd
X...
X1
W11
W1...
W1d
y1 y
i yc
Camada de saída
Camada de entrada(não é contada, pois não realiza qualquer
computação)
Pesos
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
A U
FE
S
33
Arquiteturas
● Redes alimentadas adiante com Múltiplas Camadas:
Xd
X...
X1
Wh
ΦH
y1 y
i yc
Wi
Camada oculta
Camada de saída
Camada de entrada(não é contada, pois não
realiza qualquer computação)
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
A U
FE
S
34
Arquiteturas● Redes alimentadas adiante com Múltiplas Camadas:
– Existência de uma ou mais camadas ocultas;
– Na primeira camada oculta (ФH):● Ocorre a extração de características da camada de entrada.
– Na segunda camada oculta (ФM):● Ocorre a extração de características das características já processadas
pela primeira camada oculta.
– Possui mapeamento funcional estático:
y = f(x) = f( ФM( (ФH(x)) ) )
● A RNA apresentada no slide anterior é totalmente conectada:– Cada um dos nós de uma camada da rede está conectada a todos
os nós da camada adjacente.– Entretanto, se alguns elos de comunicação estiverem faltando na
rede, a rede será considerada como parcialmente conectada.
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
A U
FE
S
35
Arquiteturas● Redes Recorrentes:
– São redes alimentadas adiante que tem pelo menos um laço de realimentação.
– Possuem comportamento dinâmico:
y = f( x(t) ), com t = 0,1,2,3.
Xd
X...
X1
y1 y
i yc
Camada de saída
Camada de entrada
Pesos
Z-1
Operadoresde atrasounitário.