faculdade de ciências exatas e tecnológicas facet / sinop...

REDES NEURAIS ARTIFICIAIS (Introdução)

UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT

Faculdade de Ciências Exatas e Tecnológicas – FACET / Sinop

Curso de Bacharelado em Engenharia Elétrica

2º Semestre de 2018

REDES NEURAIS ARTIFICIAIS

INTRODUÇÃO

Prof. Dr. André A. P. Biscaro





• São modelos computacionais inspirados nos mecanismos de

aprendizagem do cérebro humano.

• São modelos computacionais que tentam emular a forma com

que o cérebro resolve problemas.

• O processamento de informações no cérebro humano é

altamente complexo, não-linear e paralelo.

REDES NEURAIS ARTIFICIAIS - RNAsInspiradas no cérebro humano





• O cérebro é constituído por aproximadamente 100 bilhões de

neurônios (1011)

• Cada neurônio é interligado em média com outros 6.000

neurônios (60 trilhões de sinapses).

REDES NEURAIS ARTIFICIAIS - RNAs

• Número de neurônios equivale à

quantidade de estrelas da via Láctea.

• É um dos sistemas mais complexos

atualmente conhecido pelo ser humano.





REDES NEURAIS ARTIFICIAIS - RNAsComparação entre o computador e o cérebro

Computador Cérebro

Tipo de processamento Sequencial (serial) Paralelo

Quantidade e

complexidade

Um ou poucos

processadores

1010 neurônios;

1010 conexões/neurônio.

Velocidade de

processamento10-9 segundos 10-6 segundos

Eficiência energética10-16 Joules (por

operação/segundo)

10-6 Joules (por

operação/segundo)





PRINCIPAIS CARACTERÍSTICAS DAS RNAs

• Adaptação por experiência• Parâmetros internos da rede, tipicamente seus pesos sinápticos, são

ajustados a partir da apresentação sucessiva de exemplos (amostras emedidas) relacionados ao comportamento do processo.

• Capacidade de Aprendizado• Aplicação de método de treinamento possibilita a rede extrair o

relacionamento existente entre variáveis que compõem a aplicação.

• Habilidade de generalização• Após o processo de treinamento, a rede é capaz de generalizar o

conhecimento adquirido, possibilitando a estimação de soluções queeram até então desconhecidas.






• Organização de dados• Baseada em características marcantes de um conjunto de dados a

respeito do processo, a rede é capaz de realizar sua organização internapara agrupamento de amostras que são similares/comuns.

• Tolerância a falhas• Devido ao elevado nível de interconexões entre neurônios artificiais, a

rede torna-se um sistema tolerante a falhas quando parte de suaestrutura interna for sensivelmente corrompida.

• Armazenamento distribuído• O conhecimento dentro da rede é realizado de forma distribuída entre

as sinapses dos neurônios artificiais, permitindo-se então robustezfrente a eventuais neurônios que se tornaram inoperantes.






• Facilidade de Prototipagem• A implementação da maioria das arquiteturas neurais pode ser

facilmente prototipadas em hardware ou em software;

• Após o processo de treinamento, os seus resultados são normalmenteobtidos por algumas operações matemáticas elementares.





HISTÓRICO DAS RNAs• 1943 – McCulloch e Pitts• Primeiro modelamento matemático inspirado no

neurônio biológico.

• 1949 – Hebb• Primeiro método de treinamento para redes

neurais artificiais (regra de aprendizado de Hebb);• Baseada em hipóteses e observações de caráter

neurofisiológico.

• 1957-1958 – Frank Rosenblatt• Desenvolvimento do primeiro neurocomputador:

Mark I – Perceptron;• O modelo Perceptron despertou interesse devido à

sua capacidade em reconhecer padrões simples.





HISTÓRICO DAS RNAs• 1960 – Widrow & Hoff• Rede Adaline (ADAptive LINear Element)• Madaline

• Adaline múltipla, que é uma rede cujoaprendizado é fundamentado na regra Deltaou LMS (least mean square)

• 1969 – Publicação do livro Perceptron(Minsky & Papert)• Limitação de RNA constituídas por apenas uma

única camada em aprender o relacionamentoentre as entradas e saídas de funções lógicas bemsimples como o XOR (ou-exclusivo);

• Impossibilidade das RNAs realizarem a corretaclassificação de padrões para classes nãolinearmente separáveis.





HISTÓRICO DAS RNAs• De 1970 a 1986• Trabalhos de Werbos (gradiente reverso),

Grossberg(ART), Kohonen (mapas auto-organizáveis), Hopfield (redes recorrentesbaseadas em funções de energia)

• 1986 – livro de Rumelhart, Hinton eWilliams

• Processamento paralelo distribuído;

• Resolvia o problema do XOR;

• Algoritmo Backpropagation.





ÁREAS DE APLICAÇÃO DAS RNAs

• Classificação de Padrões▫ Associar um padrão de entrada (amostra) para uma das classes

previamente definidas;

▫ O problema a ser tratado possui um conjunto discreto e conhecido

das possíveis saídas desejadas;

▫ Ex: reconhecimento de imagens, voz, escrita, etc.

• Agrupamento de dados (clusterização)▫ Identificação e detecção de similaridades e particularidades entre os

diversos padrões de entrada a fim de possibilitar seu agrupamento.

▫ Ex: identificação automática de classes (como em problemas de

diagnóstico médico), compressão de dados e mineração de dados

(data mining)






• Aproximador universal de funções

▫ Mapeiam o relacionamento entre variáveis de um sistema a partir de

um conjunto conhecido de seus valores representativos;

▫ Envolvem normalmente o mapeamento de processos cuja modelagem

por técnicas convencionais são de difícil obtenção;

▫ Necessitam de domínio específico para variáveis de entrada.

• Controle de processos

▫ Consistem em identificar ações de controle que permitam o alcance

dos requisitos de qualidade, de eficiência e de segurança do processo.

▫ Ex: controles aplicados em robótica, aeronaves, elevadores,

eletrodomésticos, satélites, etc.






• Sistemas de Previsão▫ Estimar valores futuros de um processo levando-se em consideração

diversas medidas prévias observadas em seu domínio;

▫ Ex: previsão de séries temporais, mercados financeiros, climáticas,

etc.

• Otimização de Sistemas▫ Minimizar ou maximizar uma função custo (objetivo) obedecendo

também eventuais restrições que são impostas para o correto

mapeamento do problema;

▫ Ex: problemas de otmização restrita, otimização combinatorial,

programação dinâmica, etc.






• Memórias Associativas▫ Recuperar padrões corretos mesmo se os seus elementos constituintes

forem apresentados de forma incerta ou imprecisa.

▫ Ex: processamento de imagens, transmissão de sinais, identificação

de caracteres manuscritos, etc.





NEURÔNIO BIOLÓGICOCARACTERÍSTICAS DA CÉLULA NERVOSA

• O processamento de informações no cérebro humano é regido

por elementos processadores biológicos que operam em

paralelo.

• Tem como objetivo a

produção de ações

apropriadas para cada uma

de suas funcionalidades,

como o pensar e o

memorizar.





NEURÔNIO BIOLÓGICOCARACTERÍSTICAS DA CÉLULA NERVOSA





NEURÔNIO BIOLÓGICOVARIAÇÃO DO POTENCIAL DE AÇÃO DO NEURÔNIO

Característica Dimensão

Massa do cérebro 1,5 kg

Energia consumida 20%

Comprimento do neurônio 100μm

Potencial de repouso -70 mV

Potencial de ativação -55 mV

Potencial de ação (máximo) 35 mV





NEURÔNIO ARTIFICIALMODELO MATEMÁTICO

Sinais de entrada: {x1, x2, …, xn} Pesos sinápticos: {w1, w2, …, wn}

Combinador linear: {Ʃ} Função de ativação: {g}

Limiar de ativação: {θ} Sinal de saída: {y}

Potencial de ativação: {u}





NEURÔNIO ARTIFICIALFUNCIONAMENTO

1. Apresentação de um conjunto de valores que representam as variáveis de

entrada do neurônio;

2. Multiplicação de cada entrada do neurônio pelo seu respectivo peso

sináptico;

3. Obtenção do potencial de ativação produzido pela soma ponderada dos

sinais de entrada, subtraindo-se o limiar de ativação;

4. Aplicação de uma função de ativação apropriada, tendo-se como objetivo

limitar a saída do neurônio;

5. Compilação da saída a partir da aplicação da função de ativação neural em

relação ao seu potencial de ativação.





NEURÔNIO ARTIFICIALFUNÇÕES DE ATIVAÇÃO NEURAL PARCIALMENTE DIFERENCIÁVEIS

• São aquelas que possuem pontos cujas derivadas de primeira ordem não existentes.

a) Função degrau (heavyside)

b) Função degrau bipolar ou função sinal

(Classificação de padrões)





NEURÔNIO ARTIFICIALFUNÇÕES DE ATIVAÇÃO NEURAL PARCIALMENTE DIFERENCIÁVEIS

• São aquelas que possuem pontos cujas derivadas de primeira ordem não existentes.

c) Função rampa simétricaOs valores retornados são iguais aos próprios valores dos potenciais de ativação quando estes estão definidos no intervalo [-a, a], restringindo-se aos valores limites em caso contrário.





NEURÔNIO ARTIFICIALFUNÇÕES DE ATIVAÇÃO NEURAL TOTALMENTE DIFERENCIÁVEIS

• São aquelas que possuem pontos cujas derivadas de primeira ordem existem e são conhecidas em todos os pontos de seu domínio de definição.

a) Função logísticaSaída: valores entre 0 e 1

• β é uma constante real associada ao nível deinclinação da função logística frente ao seuponto de inflexão;

• Formato geométrico tende a ser similar ao dafunção degrau quando β for muito elevado.






• São aquelas que possuem pontos cujas derivadas de primeira ordem existem e são conhecidas em todos os pontos de seu domínio de definição.

b) Função tangente hiperbólicaSaída: valores entre -1 e 1

• β é uma constante real associada ao nível deinclinação da função logística frente ao seuponto de inflexão;

• Formato geométrico tende a ser similar ao dafunção degrau quando β for muito elevado.






c) Função gaussiana

• c define o centro (média) da função;

• σ2 especifica a variância idênticosaos valores do (espalhamento).

d) Função linear (identidade)

• Produz resultados idênticosaos valores do potencial deativação {u}.





ESTRUTURA DAS RNAs

• Camada de entrada- Responsável pelo recebimento de informações (dados) advindas do meioexterno;- Entradas são normalizadas em relação aos valores limites produzidospelas funções de ativação.

• Camadas escondidas, intermediárias, ocultas ou invisíveis- Compostas de neurônios que possuem a responsabilidade deextrair as características associadas ao processo ou sistema a ser inferido.

• Camada de saída- Também constituída de neurônios, sendo responsável porproduzir/apresentar os resultados finais da rede.





ARQUITETURA DAS RNAs• Arquitetura- Define a forma como os diversos neurônios estão arranjados/dispostos,uns em relação aos outros;- Os arranjos são estruturados através do direcionamento do fluxo sináptico.

• Topologia- Define as diferentes formas de composições estruturais que uma rede podeassumir, dada uma determinada arquitetura;

Ex: uma das redes pode ser composta por 10 neurônios e a outra por 20 neurônios.

• Treinamento- Consiste na aplicação de um conjunto de passos ordenados com o intuito de ajustaros pesos sinápticos e os limiares de ativação de seus neurônios;- Visa sintonizar a rede para que as suas respostas estejam próximas dos valoresdesejados;- Conhecido como algoritmo de aprendizagem.





ARQUITETURA DAS RNAsAs principais arquiteturas, consideram a disposição de seus neurônios, as

formas de interligação entre os neurônios e a constituição de suas camadas.

1. Arquitetura feedforward (alimentação à frente)

• Constituída de uma camada de entrada e únicacamada de neurônios, que é a própria saída;

• Fluxo de informações segue sempre numaúnica direção (unidirecional);

Exemplos: Perceptron, Adaline

Aplicações: classificação de padrões, filtragem linear

Camada simples







1. Arquitetura feedforward (alimentação à frente)

• Presença de uma ou mais camadas escondidas;

• Quantidade de camadas escondidas e deneurônios dependem do tipo e complexidade doproblema;

Exemplos: perceptron multicamadas, redes de baseradial (RBF)

Aplicações: aproximação de funções, classificação depadrões, controle de processos, otimização

Camadas múltiplas







2. Arquitetura recorrente

• Saídas dos neurônios são realimentadas comosinais de entrada para outros neurônios;

• Realimentação as qualificam paraprocessamento dinâmico de informações;

Exemplos: perceptron multicamadas com realimentação,hopfield

Aplicações: sistemas de previsão, otimização, controle deprocessos







3. Arquitetura reticulada

• Levam em consideração a forma em que adisposição espacial dos neurônios estáorganizada;

• Visa propósitos de extração de características;

Exemplos: kohonen

Aplicações: problemas de agrupamento, classificação depadrões, otimização de sistemas





PROCESSOS DE TREINAMENTO

Produzir uma saída próxima da esperada

Aprender a partir da apresentação de amostras

(padrões)

Generalizar soluções

Exprimem o comportamento do sistema

Consiste na aplicação de passos ordenados a fim de ajustar os pesos sinápticos e limiares de ativação dos neurônios.

Objetivo: generalização de soluções que não eram conhecidas






Divisão das amostras

Representa todos os dados disponíveis sobre o comportamento do processo a ser mapeado.

Conjunto total de amostras/padrões

Subconjunto de treinamento

Subconjunto de testes

60 a 90% 10 a 40%

Usado para verificar se a generalização de soluções por parte da rede já está em patamares aceitáveis.Não participam do treinamento da rede






Treinamento Supervisionado

• Consiste em se ter disponível, considerando cada amostra dos sinais deentrada, as respectivas saídas desejadas;

• Cada amostra de treinamento é então composta pelos sinais de entradas esuas correspondentes saídas;

• Comporta como se houvesse um“professor” ensinando para a rede qualseria a resposta correta para cadaamostra apresentada.






Treinamento Supervisionado Passo-a-passo

1. Apresentar uma amostra de treinamento;

2. Calcular a saída produzida pela rede;

3. Comparar com a saída desejada;

4. Se estiver dentro de valores aceitáveis:

Termine o processo de aprendizadoEntão

Senão Ajuste os pesos sinápticos e limiares dos neurônios e volte ao passo 1.






Treinamento Não-Supervisionado

• Diferentemente do treinamento supervisionado, as respectivas saídasdesejadas não existentes;

• A rede deve se auto-organizar em relação às particularidades existentesentre os elementos do conjunto total de amostras, identificadosubconjuntos (clusters) que contenham similaridades;






Treinamento Não-Supervisionado Passo-a-passo

Passos do treinamento não supervisionado:

1. Apresentar todas as amostras de treinamento;

2. Obter as características que marcam as amostras de treinamento;

3. Agrupar todas as amostras com características em comum;

4. Colocar as amostras comuns em classes.





APRENDIZAGEM

Off-line (usando lote de padrões)

- Os ajustes efetuados nos pesos e limiares dos neurônios só são efetivadosapós a apresentação de todo o conjunto de Treinamento;

- Cada passo de ajuste leva em consideração o total de desvios observadosnas amostras de treinamento frentes aos respectivos valores desejadospara as usas saídas.

On-line (usando padrão-por-padrão)

- Os ajustes nos pesos e limiares dos neurônios são efetuados após aapresentação de cada amostra de treinamento;

- É normalmente utilizada quando o comportamento do sistema a sermapeado varia de forma bastante rápida.

faculdade de ciências exatas e tecnológicas facet / sinop...

Documents