1 prof. dr. helder anibal hermini. 2 3 sumário introdução introdução histórico histórico...

11

Prof. Dr. Helder Anibal Hermini

33

SumárioSumário

IntroduçãoIntrodução HistóricoHistórico Neurônio artificialNeurônio artificial Treinamento do neurônioTreinamento do neurônio Redes de neurôniosRedes de neurônios Treinamento da redeTreinamento da rede AplicaçõesAplicações Extração de regrasExtração de regras

55

Inteligência ComputacionalInteligência Computacional

A Inteligência Computacional A Inteligência Computacional busca, através de técnicas busca, através de técnicas inspiradas na Natureza, o inspiradas na Natureza, o desenvolvimento de sistemas desenvolvimento de sistemas inteligentes que imitem aspectos inteligentes que imitem aspectos do comportamento humano, tais do comportamento humano, tais como: aprendizado, percepção, como: aprendizado, percepção, raciocínio, evolução e adaptação.raciocínio, evolução e adaptação.

77

Definições:Definições:

1.1. Técnica inspirada no funcionamento Técnica inspirada no funcionamento do cérebro, onde neurônios artificiais, do cérebro, onde neurônios artificiais, conectados em rede, são capazes de conectados em rede, são capazes de aprender e de generalizar.aprender e de generalizar.

2.2. Técnica de aproximação de funções Técnica de aproximação de funções por regressão não linear.por regressão não linear.

Redes Neurais Artificiais (RNA)Redes Neurais Artificiais (RNA)

88

Capacidade de GeneralizaçãoCapacidade de Generalização

Isso significa que se a rede aprende a lidar Isso significa que se a rede aprende a lidar com um certo problema, e lhe é com um certo problema, e lhe é apresentado um similar, mas não apresentado um similar, mas não exatamente o mesmo, ela tende a exatamente o mesmo, ela tende a reconhecer esse novo problema, reconhecer esse novo problema, oferecendo a mesma solução.oferecendo a mesma solução.

99

A característica mais significante de A característica mais significante de redes neurais está em sua habilidade redes neurais está em sua habilidade de aproximar qualquer função de aproximar qualquer função contínua ou não contínua com um contínua ou não contínua com um grau de correção desejado. Esta grau de correção desejado. Esta habilidade das redes neurais as tem habilidade das redes neurais as tem tornado útil para modelar sistemas tornado útil para modelar sistemas não lineares. não lineares.

Aproximador de funçõesAproximador de funções

1010

Mapeamento Entrada-Saída Mapeamento Entrada-Saída para Aproximação de Funçõespara Aproximação de Funções

Objetivo da AprendizagemObjetivo da Aprendizagem: descobrir a : descobrir a função função ff(() dado um número finito (desejável ) dado um número finito (desejável pequeno) de pares entrada-saída (pequeno) de pares entrada-saída (xx,,dd).).

1111

Redes Neurais Artificiais (RNA)Redes Neurais Artificiais (RNA)

Devido à sua estrutura, as Redes Devido à sua estrutura, as Redes Neurais Artificiais são bastante efetivas Neurais Artificiais são bastante efetivas no aprendizado de padrões a partir de no aprendizado de padrões a partir de dados:dados:

não-lineares, não-lineares, incompletos, incompletos, com ruído e até com ruído e até compostos de exemplos contraditórios.compostos de exemplos contraditórios.

1313

Técnica Computacional

Inspiração na Natureza

Redes Neurais Artificiais

Neurônios biológicos

Computação Evolucionária

Evolução biológica

Lógica “Fuzzy”Processamento lingüístico

Sistemas Especialistas Processo de Inferência

Técnica x NaturezaTécnica x Natureza

Os dentritos, que tem por função, receber os Os dentritos, que tem por função, receber os estímulos transmitidos pelos outros estímulos transmitidos pelos outros neurônios; neurônios;

O corpo de neurônio, também chamado de O corpo de neurônio, também chamado de soma, que é responsável por coletar e soma, que é responsável por coletar e combinar informações vindas de outros combinar informações vindas de outros neurônios; neurônios;

E finalmente o axônio, que é constituído de E finalmente o axônio, que é constituído de uma fibra tubular que pode alcançar até uma fibra tubular que pode alcançar até alguns metros, e é responsável por alguns metros, e é responsável por transmitir os estímulos para outras células. transmitir os estímulos para outras células.

Principais Componentes dos NeurôniosPrincipais Componentes dos Neurônios

1515

Em média, cada neurônio forma Em média, cada neurônio forma entre mil e dez mil sinapses.entre mil e dez mil sinapses.

O cérebro humano possui cerca O cérebro humano possui cerca de 10de 101111 neurônios, e o número neurônios, e o número de sinapses é de mais de 10de sinapses é de mais de 101414, , possibilitando a formação de possibilitando a formação de redes muito complexas.redes muito complexas.

Principais Componentes dos NeurôniosPrincipais Componentes dos Neurônios

1616

Parâmetro Cérebro Computador

Material Orgânico Metal e

plástico

Velocidade Milisegundos Nanosegundos

Tipo de Processamento Paralelo Seqüencial

Armazenamento Adaptativo Estático

Controle de Processos Distribuído Centralizado

Número de elementos processados

1011 à 1014 105 à 106

Eficiência energética 10-16 J/op./seg. 10-6 J/op./seg

Ligações entre elementos processados

10.000 <10

Quadro comparativo entre cérebro e o computador

1818

Histórico (1943)Histórico (1943)

O neurofisiologista McCulloch e O neurofisiologista McCulloch e matemático Walter Pitts (1943), cujo matemático Walter Pitts (1943), cujo trabalho fazia uma analogia entre trabalho fazia uma analogia entre células vivas e o processo eletrônico, células vivas e o processo eletrônico, simulando o comportamento do simulando o comportamento do neurônio natural, onde o neurônio neurônio natural, onde o neurônio possuía apenas uma saída, que era uma possuía apenas uma saída, que era uma função do valor de suas diversas função do valor de suas diversas entradas. entradas.

1919

O neurônio de McCulloch e Pitts O neurônio de McCulloch e Pitts Consiste basicamente de Consiste basicamente de

um neurônio que executa um neurônio que executa uma função lógica. uma função lógica.

Os nós produzem somente Os nós produzem somente resultados binários e as resultados binários e as conexões transmitem conexões transmitem exclusivamente zeros e exclusivamente zeros e uns. uns.

As redes são compostas de As redes são compostas de conexões sem peso, de conexões sem peso, de tipos excitatórias e tipos excitatórias e inibitórias. inibitórias.

Cada unidade é Cada unidade é caracterizada por um certo caracterizada por um certo limiar (limiar (thresholdthreshold) q.) q.

x1

x2

y1

ym

xn

conexõesinibitórias

conexõesexcitatórias

2020


O psicólogo Donald Hebb, demostrou que a O psicólogo Donald Hebb, demostrou que a capacidade da aprendizagem em redes capacidade da aprendizagem em redes neurais biológicas vem da alteração da neurais biológicas vem da alteração da eficiência sináptica, isto é, a conexão somente eficiência sináptica, isto é, a conexão somente é reforçada se tanto as células pré-sinápticas é reforçada se tanto as células pré-sinápticas quanto as pós-sinápticas estiverem excitadas;quanto as pós-sinápticas estiverem excitadas;

Hebb foi o primeiro a propor uma lei de Hebb foi o primeiro a propor uma lei de aprendizagem específica para as sinápses dos aprendizagem específica para as sinápses dos neurônios. neurônios.

2121


Construção do primeiro neuro Construção do primeiro neuro computador, denominado Snark, por computador, denominado Snark, por Mavin Minsky. O Snark operava Mavin Minsky. O Snark operava ajustando seus pesos ajustando seus pesos automaticamente. automaticamente.

2222


Surgimento dos dois paradigmas da Surgimento dos dois paradigmas da Inteligência Artificial:Inteligência Artificial:– Simbólica: tenta simular o comportamento Simbólica: tenta simular o comportamento

inteligente humano desconsiderando os inteligente humano desconsiderando os mecanismos responsáveis por tal. mecanismos responsáveis por tal.

– Conexionista: acredita que construindo-se Conexionista: acredita que construindo-se um sistema que simule a estrutura do um sistema que simule a estrutura do cérebro, este sistema apresentará cérebro, este sistema apresentará inteligência, ou seja, será capaz de inteligência, ou seja, será capaz de aprender, assimilar, errar e aprender com aprender, assimilar, errar e aprender com seus erros. seus erros.

2323

Rosemblatt (1958) mostrou em seu livro Rosemblatt (1958) mostrou em seu livro (Principles of Neurodynamics) o modelo (Principles of Neurodynamics) o modelo dos "Perceptrons". dos "Perceptrons".

Nele, os neurônios (Perceptrons) eram Nele, os neurônios (Perceptrons) eram organizados em camada de entrada e organizados em camada de entrada e saída, onde os pesos das conexões saída, onde os pesos das conexões eram adaptados a fim de se atingir a eram adaptados a fim de se atingir a eficiência sináptica usada no eficiência sináptica usada no reconhecimento de caracteres.reconhecimento de caracteres.


2424

Perceptron Clássico – Rosenblatt (1958)Perceptron Clássico – Rosenblatt (1958)

retina

conexõeslocais

área deprojeção

área deassociação

conexõesaleatórias

respostas

2525

retina

associação

resposta

2626


Em 1960 surgiu a rede ADALINE Em 1960 surgiu a rede ADALINE (ADAptative LInear NEtwork) e o (ADAptative LInear NEtwork) e o MADALINE (Many ADALINE), proposto MADALINE (Many ADALINE), proposto por Widrow e Hoff. por Widrow e Hoff.

O ADALINE/MADALINE utilizou saídas O ADALINE/MADALINE utilizou saídas analógicas em uma arquitetura de analógicas em uma arquitetura de três camadas.três camadas.

2727


• Foi constatado por Minsky & Papert que um neurônio do tipo Perceptron só é capaz de resolver problemas com dados de classes linearmente separáveis.

2828

Histórico (1960-1970)Histórico (1960-1970)

Muitos historiadores desconsideram Muitos historiadores desconsideram a existência de pesquisa nessa área a existência de pesquisa nessa área nos anos 60 e 70.nos anos 60 e 70.

2929


Retomada das pesquisas com a Retomada das pesquisas com a publicação dos trabalhos do físico e publicação dos trabalhos do físico e biólogo Hopfield relatando a biólogo Hopfield relatando a utilização de redes simétricas para utilização de redes simétricas para otimização, através de um algoritmo otimização, através de um algoritmo de aprendizagem que estabilizava de aprendizagem que estabilizava uma rede binária simétrica com uma rede binária simétrica com realimentação. realimentação.

3030


Rumelhart, Hinton e Williams Rumelhart, Hinton e Williams introduziram o poderoso método de introduziram o poderoso método de treinamento denominado treinamento denominado “Backpropagation”. “Backpropagation”.

Rumelhart e McClelland escreveram o Rumelhart e McClelland escreveram o livro “Processamento Paralelo livro “Processamento Paralelo Distribuído: Explorações na Distribuído: Explorações na Microestrutura do Conhecimento”. Microestrutura do Conhecimento”.

3131


Broomhead e Lowe descreveram um Broomhead e Lowe descreveram um procedimento para o projeto de uma procedimento para o projeto de uma rede neural (feedforward) usando rede neural (feedforward) usando funções de base radial (Rede de Base funções de base radial (Rede de Base Radial – RBF).Radial – RBF).

3333

– As sinapses (entradas), com seus As sinapses (entradas), com seus pesos associadospesos associados

– A junção somadora; eA junção somadora; e

– A função de ativação.A função de ativação.

Componentes do primeiro neurônio Componentes do primeiro neurônio artificialartificial

3434

Primeiro Modelo Primeiro Modelo O neurônio de McCulloch e Pitts (1943)O neurônio de McCulloch e Pitts (1943)

Consiste basicamente de Consiste basicamente de um neurônio que executa um neurônio que executa uma uma função lógicafunção lógica. .

Os nós produzem somente Os nós produzem somente resultados resultados bináriosbinários e as e as conexões transmitem conexões transmitem exclusivamente exclusivamente zeroszeros e e unsuns. .

As redes são compostas de As redes são compostas de conexões sem pesoconexões sem peso, de , de tipos tipos excitatóriosexcitatórios e e inibitóriosinibitórios. .

Cada unidade é Cada unidade é caracterizada por um certo caracterizada por um certo limiar (limiar (thresholdthreshold) ) ..

x1

x2

y1

ym

xn



3535

A regra para avaliação de um neurônio A regra para avaliação de um neurônio McCulloch-PittsMcCulloch-Pitts

Assume–se que a unidade recebe Assume–se que a unidade recebe entradas excitatóriasentradas excitatórias através de através de nn conexões de entrada e conexões de entrada e entradas entradas inibitóriasinibitórias através de através de mm conexões de conexões de entrada.entrada.

Se e Se e pelo menos um dos pelo menos um dos sinaissinais y y11, y, y22, ..., y, ..., ymm é 1, a unidade é é 1, a unidade é inibidainibida e a saída é 0. e a saída é 0.

Caso contrário, o Caso contrário, o total de entradastotal de entradas (x= x(x= x11 + x + x22 + ... x + ... xnn) ) excitatórias excitatórias é é computado e comparado com o computado e comparado com o threshold threshold . .

Se a saída é 1 (a unidade Se a saída é 1 (a unidade dispara). Se x < dispara). Se x < o resultado é 0. o resultado é 0.

1m

x

1

0

soma das entradas

saíd

a

x1

x2

y1

ym

xn



3636

PerceptronPerceptron• Basicamente o perceptron consiste de uma única camada de neurônios com pesos sinápticos e bias ajustáveis.

• Se os padrões de entrada forem linearmente separáveis, o algoritmo de treinamento possui convergência garantida, i.é, tem capacidade para encontrar um conjunto de pesos que classifica corretamente os dados.

• Os neurônios do perceptron são similares ao de McCulloch-Pitts, por terem a função de ativação do tipo degrau, mas possuem pesos associados e bias.

wk1

wk2

wkm

f(uk)

x1

x2

xm

uk

wk0=bk

yksinais

deentrada

pesossinápticos

junçãoaditiva

(bias)

funçãode ativação

saída

wk0x0=+1

entrada fixa

Funçãodegrau

3737

Perceptron - O neurônio genérico de Redes Perceptron - O neurônio genérico de Redes Neurais Artificiais (RNAs)Neurais Artificiais (RNAs)

As As principais partes de um neurônioprincipais partes de um neurônio genérico de RNAs são: genérico de RNAs são:– As As sinapsessinapses (entradas), com seus (entradas), com seus pesospesos associados associados– A A junção somadorajunção somadora e e– A A função de ativaçãofunção de ativação..

wk1

wk2

wkm

f(uk)

x1

x2

xm

uk

bk

yksinais

deentrada

pesossinápticos

junçãosomadora

bias


saída

Princípio de funcionamentoPrincípio de funcionamento Sinais são apresentados à entrada Sinais são apresentados à entrada

(x(x11 à x à xmm); ); Cada sinal é multiplicado por um Cada sinal é multiplicado por um

peso que indica sua influência na peso que indica sua influência na saída da unidade (wsaída da unidade (wkk); );

É feita a soma ponderada dos É feita a soma ponderada dos sinais que produz um nível de sinais que produz um nível de atividade (uatividade (ukk); );

A função de ativação f(uA função de ativação f(ukk) tem a ) tem a função de limitar a saída e função de limitar a saída e introduzir não-linearidade ao introduzir não-linearidade ao modelo.modelo.

O bias O bias bbkk tem o papel de aumentar tem o papel de aumentar ou diminuir a influência do valor ou diminuir a influência do valor das entradas.das entradas.

É possível considerar o bias como É possível considerar o bias como uma entrada de valor constante 1, uma entrada de valor constante 1, multiplicado por um peso igual a multiplicado por um peso igual a bbkk..

wk1

wk2

wkm

f(uk)

x1

x2

xm

uk

wk0=bk

yksinais

deentrada

pesossinápticos

junçãoaditiva

(bias)


saída

wk0x0=+1

entrada fixa

Funçãodegrau

3939

Expressão matemática do neurônio Expressão matemática do neurônio artificialartificial

Matematicamente a saída pode ser expressa Matematicamente a saída pode ser expressa por:por:

ou considerando o bias como entrada de valor ou considerando o bias como entrada de valor xx00=1=1 e peso e peso wwk0k0=b=bkk,,

m

jkjkjkk bxwfufy

1

)(

m

jjkjkk xwfufy

0

)(

4141

Arquitetura das RNAsArquitetura das RNAs Uma rede neural artificial é composta por Uma rede neural artificial é composta por

várias unidades de processamento várias unidades de processamento (neurônios), cujo funcionamento é bastante (neurônios), cujo funcionamento é bastante simples. simples.

Essas unidades, geralmente são conectadas Essas unidades, geralmente são conectadas por canais de comunicação que estão por canais de comunicação que estão associados a determinado peso. associados a determinado peso.

As unidades fazem operações apenas sobre As unidades fazem operações apenas sobre seus dados locais, que são entradas seus dados locais, que são entradas recebidas pelas suas conexões. recebidas pelas suas conexões.

O comportamento inteligente de uma Rede O comportamento inteligente de uma Rede Neural Artificial vem das interações entre as Neural Artificial vem das interações entre as unidades de processamento da rede.unidades de processamento da rede.

4242

Características Características Gerais das RNAsGerais das RNAs

São modelos adaptativos treináveisSão modelos adaptativos treináveis Podem representar domínios complexos Podem representar domínios complexos

(não lineares)(não lineares) São capazes de generalização diante de São capazes de generalização diante de

informação incompletainformação incompleta RobustosRobustos São capazes de fazer armazenamento São capazes de fazer armazenamento

associativo de informaçõesassociativo de informações Processam informações Processam informações

Espaço/temporaisEspaço/temporais Possuem grande paralelismo, o que lhe Possuem grande paralelismo, o que lhe

conferem rapidez de processamentoconferem rapidez de processamento

4343

Tipos de Redes Neurais ArtificiaisTipos de Redes Neurais Artificiais

Existem basicamente 3 tipos básicos de arquitetura Existem basicamente 3 tipos básicos de arquitetura de RNAs:de RNAs:

– Feedforward (alimentação de avanço) de uma Feedforward (alimentação de avanço) de uma única camadaúnica camada

– Feedforward (alimentação de avanço) de Feedforward (alimentação de avanço) de múltiplas camadas emúltiplas camadas e

– Redes recorrentes.Redes recorrentes.

Usualmente as camadas são classificadas Usualmente as camadas são classificadas em três grupos:em três grupos:– Camada de Entrada: onde os padrões são Camada de Entrada: onde os padrões são

apresentados à rede; apresentados à rede; – Camadas Intermediárias ou Ocultas: onde é Camadas Intermediárias ou Ocultas: onde é

feita a maior parte do processamento, através feita a maior parte do processamento, através das conexões ponderadas; podem ser das conexões ponderadas; podem ser consideradas como extratoras de consideradas como extratoras de características; características;

– Camada de Saída: onde o resultado final é Camada de Saída: onde o resultado final é concluído e apresentado. concluído e apresentado.

Classificação de CamadasClassificação de Camadas

4545

camadade entrada

camadade saídacamada

escondida

Classificação de CamadasClassificação de Camadas

4646

Rede Rede feedforward de feedforward de uma única camadauma única camada

Os neurônios da Os neurônios da camada de entrada camada de entrada correspondem aos correspondem aos neurônios sensoriais neurônios sensoriais que possibilitam a que possibilitam a entrada de sinais na entrada de sinais na rede (não fazem rede (não fazem processamento). processamento).

Os neurônios da Os neurônios da camada de saída camada de saída fazem processamento.fazem processamento. neurônio sensorial

neurônio deprocessamento

o

4747

Rede Rede feedforwardfeedforward de Múltiplas Camadas de Múltiplas Camadas (Multilayer Perceptron - MLP)(Multilayer Perceptron - MLP)

Essas redes tem uma ou mais camadas Essas redes tem uma ou mais camadas intermediárias ou escondidas. intermediárias ou escondidas.

4848

Redes recorrentesRedes recorrentes

Essas redes possuem pelo menos uma interconexão realimentando a saída de neurônios para outros neurônios da rede (conexão cíclica).

Exemplo: Rede de Hopfield

4949

Rede de KohonenRede de Kohonen

5050

Topologias das redes neuraisTopologias das redes neurais

5151

Rede de Elman &Rede de Elman &Rede de JordanRede de Jordan

5252

Redes de Base Radial (RBF)Redes de Base Radial (RBF)

5353

Treinamento da redeTreinamento da rede

5454

TreinamentoTreinamento A propriedade mais importante das redes A propriedade mais importante das redes

neurais é a habilidade de aprender de seu neurais é a habilidade de aprender de seu ambiente e com isso melhorar seu ambiente e com isso melhorar seu desempenho. Isso é feito através de um desempenho. Isso é feito através de um processo iterativo de ajustes aplicado a seus processo iterativo de ajustes aplicado a seus pesos, o treinamento. O aprendizado ocorre pesos, o treinamento. O aprendizado ocorre quando a rede neural atinge uma solução quando a rede neural atinge uma solução generalizada para uma classe de problemas. generalizada para uma classe de problemas.

Denomina-se algoritmo de aprendizado a um Denomina-se algoritmo de aprendizado a um conjunto de regras bem definidas para a conjunto de regras bem definidas para a solução de um problema de aprendizado. solução de um problema de aprendizado. Existem muitos tipos de algoritmos de Existem muitos tipos de algoritmos de aprendizado específicos para determinados aprendizado específicos para determinados modelos de redes neurais. Estes algoritmos modelos de redes neurais. Estes algoritmos diferem entre si principalmente pelo modo diferem entre si principalmente pelo modo como os pesos são modificados.como os pesos são modificados.

5555

Modelos de AprendizagemModelos de Aprendizagem

Os principais modelos (paradigmas) de aprendizagem Os principais modelos (paradigmas) de aprendizagem são: são:

1)1)supervisionado; supervisionado;

2) não-supervisionado; e 2) não-supervisionado; e

3) com reforço.3) com reforço.

1 prof. dr. helder anibal hermini. 2 3 sumário introdução introdução histórico histórico...

Documents