i ae f e l d o redes neurais artificiais e s o s...
TRANSCRIPT
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
A U
FE
S
Universidade Federal do Espírito SantoCentro de Ciências Agrárias – CCA UFESDepartamento de Computação
Inteligência ArtificialSite: http://jeiks.net E-mail: [email protected]
Redes Neurais Artificiais
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
A U
FE
S
2
Neurônio Natural
● Dendritos:– recebe os estímulos
transmitidos por outros neurônios.
● Núcleo (Soma):– coleta e combina informações
vindas de outros neurônios.
● Axônio:– transmite estímulos para
outras células.● Sinapse:
– região onde dois neurônios entram em contato e através da qual os impulsos nervosos são transmitidos entre eles.
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
A U
FE
S
3
Considerações sobre o Neurônio Natural
● Cérebro humano:– considerado o mais fascinante processador baseado
em carbono existente, possui aproximadamente 10 bilhões de neurônios.
● Os neurônios estão conectados uns aos outros através de sinapses.
● Cada neurônio é capaz de ter até 10.000 sinapses com outros neurônios.
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
A U
FE
S
4
O Neurônio Artificial
1. Sinais são apresentados à entrada;
2. Cada sinal é multiplicado por um peso que indica sua influência na saída da unidade;
3. É feita a soma ponderada dos sinais que produz um nível de atividade;
4. Se este nível excede um limite (threshold) a unidade produz uma saída;
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
A U
FE
S
5
Neurônio Artificial (Zoom)
Entradas = X1 a X
N
Saída = OutputPesos = W
1 a W
N
Limiar (Threshold) = θ
Saída = F (Entradas)
Saída = Ftransf
( xƩi * w
i )
Saída = 0 se Ʃ xi * w
i < θ
Saída = 1 se Ʃ xi * w
i >= θ
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
A U
FE
S
6
Funções de Saída (Ativação)
x
1
1
y
x
1.0
y
1.0
- 1.0
x
y
-1
1
x
yFunção Sinal Função Rampa
Função Sigmóide
x < 0 , y = -1 x > 0 , y = 1
x < 0 , y = 0
0 < x < 1 , y = x
x > 1 , y = 1
y = 1 / (1 + e - x )
a b
c d
Função tanh
y= tanh( x2 )=1−e−x
1+e−x
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
A U
FE
S
7
Neurônio Natural x Artificial
● Os neurônios naturais operam na faixa de milissegundos– e os artificiais em nanosegundos.
● Nossa capacidade de fazer cálculos numéricos – é menor que computadores muito antigos.
● Fazemos em aproximadamente uma centena de etapas– o que os computadores atuais não conseguem em 10 milhões de
etapas, isso devido ao paralelismo de nossa mente.
● Neurônios naturais estão propensos a falhas, ou seja, podem morrer sem causar problemas– Componentes digitais precisam operar sem defeito.
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
A U
FE
S
8
Aspectos da Rede Neural Artificial● São conectadas por canais de comunicação que estão associados a
determinado peso.● As unidades fazem operações apenas sobre suas ligações.● O comportamento inteligente de uma RNA vem das interações entre
as unidades (neurônios) de processamento da rede.● Os pesos das conexões de seus neurônios são ajustados através e
uma regra de treinamento. Assim, podem se ajustar de acordo com os padrões apresentados.
● É capaz de extrair regras básicas a partir de dados reais, diferindo da computação programada, onde é necessário um conjunto de regras rígidas pré-fixadas e algoritmos.
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
A U
FE
S
9
Exemplo de Rede Neural Artificial
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
A U
FE
S
10
Processo de Aprendizagem
● Todo o conhecimento de uma rede neural está armazenado nas sinapses, ou seja:– Nos pesos atribuídos às conexões entre seus neurônios.
● A aprendizagem consiste então na adaptação de seus pesos sinápticos para conseguir os resultados almejados.
● A aprendizagem pode ocorrer de duas formas:– Supervisionada:
● É fornecida para a RNA um conjunto de dados com as entradas e com as saídas desejadas.
● Os pesos são ajustados para alcançar a saída desejada.
– Não-Supervisionada:● É fornecida para a RNA um conjunto de dados somente com as entradas.● A RNA busca agrupar similaridades, ou seja, dar resultados comuns para
entradas com características comuns.
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
A U
FE
S
11
Treinamento● Geralmente, o treinamento consiste em:
1. Separar de forma aleatória 20% ou 30% padrões do conjunto de dados a treinar.
● O ideal é possuir a maior diversificação possível dos dados.
2. Fornecer esse subgrupo de padrões à RNA e treiná-la com um algoritmo de treinamento.
● Na maioria dos casos, e Backpropagation ou um de seus derivados é utilizado.● Sua tarefa é adaptar/modificar os pesos das sinapses da RNA.
3. Logo após, verificar o quanto a rede conseguiu aprender e generalizar:● Para isso, são geradas e comparadas as respostas da RNA com o restante dos
padrões existentes (àqueles não entraram no subgrupo de treinamento).● Deve-se tomar cuidado para que a rede não decore os exemplos de treinamento.
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
A U
FE
S
12
Características das RNAs● Existem diversos modelos de RNAs.● Cada modelo está relacionado à sua história, ao conjunto de dados que
melhor consegue se adaptar.● A quantidade de neurônios da camada oculta (intermediária) infelizmente é
obtida por testes. Sabe-se que:– Quanto mais neurônios, maior é a taxa de processamento da rede;
– Quanto menos neurônios, menor é a capacidade de adaptação da RNA;
– Sem a camada intermediária, não existe formas de trabalhar com dados não lineares;
– A quantidade escolhida de neurônios ocultos geralmente é obtida por:
(√Qnt. de Neuronios de Entrada+Qnt. de Neuronios de Entrada )⋅2ou
(Qnt. de Neuronios de Entrada+Qnt. de Neuronios de Entrada )/2ou
2⋅Qnt. de Neuronios de Entrada+1
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
A U
FE
S
13
Histórico – 1943
● Neurofisiologista McCulloch e o
Matemático Walter Pitts (1943),
– Possuíam um trabalho que fazia uma analogia entre células vivas e o processo eletrônico:
● simulava o comportamento do neurônio natural,● o neurônio artificial possuía apenas uma saída,● que era uma função que agia sobre os valores de suas diversas
entradas.
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
A U
FE
S
14
O neurônio de McCulloch e Pitts
Soma=∑i=1
N
I i⋅W i
y= f (Soma)
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
A U
FE
S
15
Histórico – 1949
● Psicólogo Donald Hebb,
– Propôs uma lei de aprendizagem específica para as sinapses dos neurônios.
– Demostrou que a capacidade da aprendizagem em redes neurais biológicas vem da alteração da eficiência sináptica:
● A conexão entre os neurônios somente é reforçada se tanto os neurônios pré-sinápticos quanto os pós-sinápticos estiverem excitados.
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
A U
FE
S
16
Histórico – 1951
● Marvin Minsky:
– Cofundador do laboratório de IA do MIT.
– Construiu o primeiro neuro computador: Snark.
– O Snark:● Operava ajustando seus pesos automaticamente.● Nunca executou qualquer função de processamento de
informação interessante.● Serviu como inspiração para ideias de estruturas
posteriores.
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
A U
FE
S
17
Histórico – 1956
● Surgimento dos dois paradigmas da Inteligência Artificial:– Simbólica:
● Que utiliza um conjunto de símbolos que são manipulados com regras explícitas.
● Não procura imitar a natureza do cérebro.
– Conexionista:● Acredita-se que construindo um sistema que simule a
estrutura do cérebro, este sistema apresentará inteligência, ou seja, será capaz de aprender, assimilar, errar e aprender com seus erros.
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
A U
FE
S
18
Histórico – 1958
● Frank Rosenblatt:
– Publicou o modelo dos "Perceptrons":● Livro Principles of Neurodynamics.
– Os neurônios (perceptrons) eram organizados em camada de entrada e saída,
● os pesos das conexões entre os neurônios eram adaptados a fim de se atingir a eficiência sináptica usada no reconhecimento de caracteres.
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
A U
FE
S
19
Perceptron
Σ θ
Σ θ
Σ θ
Σ θ
retina
associação
resposta
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
A U
FE
S
20
Histórico – 1960● Widrow e Hoff criaram as RNAs:
– ADALINE (ADAptative LInear NEtwork) e a
– MADALINE (Many ADALINE).
● O MADALINE utilizou saídasanalógicas em uma arquiteturade três camadas.
Exemplo...
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
A U
FE
S
21
Histórico – 1969
● Minsky & Papert– Constataram que um neurônio do tipo Perceptron
só era capaz de resolver problemas com dados de classes linearmente separáveis.
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
A U
FE
S
22
Histórico – 1960 à 1970
Muitos historiadores desconsideram a existência de pesquisa nessa área nos anos 60 e 70.
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
A U
FE
S
23
Histórico – 1982● Físico e biólogo Hopfield:
– Retomada das pesquisas com a publicação de trabalhos relatando a utilização de redes simétricas para otimização.
– Utilizou um algoritmo de aprendizagem que estabilizava uma rede binária simétrica com realimentação.
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
A U
FE
S
24
Histórico – 1986
● Rumelhart¹, Hinton² e Williams:– Introduziram o poderoso método de treinamento denominado
Backpropagation.
● Rumelhart e McClelland³– escreveram o livro “Processamento Paralelo Distribuído:
Explorações na Microestrutura do Conhecimento”.
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
A U
FE
S
25
Histórico – 1988
● Broomhead e Lowe– Descreveram um procedimento para o projeto de
uma rede neural (feedforward) usando funções de base radial (Rede de Base Radial – RBF).
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
A U
FE
S
26
Mais considerações● A maioria dos problemas do
mundo real não é linearmente separável.
● A RNA Multicamadas possui maior capacidade de aprendizado para tais dados.
● Aprendem da mesma forma que perceptrons simples.
● Porém há muito mais pesos a serem ajustados.
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
A U
FE
S
27
Mais considerações
● RNAs com Retropropagação:– Geralmente utiliza a função sigmoide:
f(x) = 1
1+ e-x
● Os pesos são
ajustados de trás
para frente
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
A U
FE
S
28
Mais considerações
● Também tem-se as Redes Recorrentes:– Apresentam “ciclos” nas suas conexões, isto é, a saída de
neurônios de uma camada i são entradas de neurônios de uma camada anterior.
– Redes BAM, de Hopfield e Competitivas em geral são de certo modo redes recorrentes.
– Entretanto 2 modelos são de maior interesse neste caso:● Redes de Elman;● Redes de Jordan.
– Utilizadas para casos que necessitem verificar dados anteriores.
– Essas redes tem memória.
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
A U
FE
S
29
Redes Recorrentes
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
A U
FE
S
30
Mais considerações
● Mapas de Kohonen:– Também chamado de mapa de características auto-
organizáveis.
– Usa o algoritmo vencedor-leva-tudo.
– Esse aprendizado é não supervisionado, chamado de aprendizado competitivo.
– Algoritmo vencedor-leva-tudo:● Apenas um neurônio fornece a saída da rede em resposta a
uma entrada: O neurônio que tiver o maior índice de ativação● Durante o aprendizado, somente as conexões deste
neurônio que tem seus pesos alterados.
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
A U
FE
S
31
Mapas de Kohonen
● Seu propósito é agrupar dados de entrada em diversos grupos (clusters). Exemplo:– Novas histórias em categorias por assuntos.
● Tem duas camadas:– Uma de entrada;
– Uma de agrupamento: que é a camada de saída.