8 - modelos_temporais

1Mar 20061

Antonio G. [email protected] - 1013(021)2598-3268

Redes com MemRedes com Memria Temporalria Temporal

Universidade Federal do Rio de Janeiro

PROGRAMA DE MESTRADOIM/DCC - NCE

www.labic.nce.ufrj.br

Mar 20062

Inteligncia ComputacionalInteligncia Computacional

Processamento Temporal

Mercado de Aes

Mercado de Commodities

Evoluo das Vendas de um Produto

Histrico do Consumo de Energia Eltrica

Ciclo do El Nio

etc

So problemas que se caracterizam por ser dependente davarivel tempo.

2Mar 20063


Jan96 Fev99

IBOVESPA Fechamento Dirio

tendncia sasonalidade oscilao

Mar 20064


Fonte: Sistema de Informao sobre Mortalidade do Ministrio da Sade (SIM/MS)

bitos causados por Acidentes de Trnsito no estado do Rio de Janeiro 1980- 89

amostragem - mensal

3Mar 20065


memria

objetivo

horizonte

Previso de Valor Futuro

funes uni-variveisfunes multi-variveis

Mar 20066


Redes Neurais Temporais

So redes dotadas de memria temporal. Memria esta que pode ser introduzida

em modelos do tipo:

Redes com atraso no tempo

Redes com realimentao

4Mar 20067


Redes Neurais com atraso no tempo

Introduz memria rede proporcionando aos neurnios valores de entrada atuais e valores

temporariamente anteriores a eles.

Atrasos somente na camada de entrada

Atrasos nas camadas escondidas e de sada

Mar 20068


Linha de atraso no tempo:

x(t)

Z-1

Z-1

Z-1

x(t-1)

x(t-2)

x(t-3)

Nodo de memria(atraso no tempo)

M

e

m

r

i

a

x(t)

5Mar 20069


Papel principal da memria Transformar uma rede esttica em uma rede dinmica. A sada torna-se funo do tempo

Responsabilidades A parte esttica responsvel pela no-linearidade; A memria responsvel pelo tempo.

Memrias de Curto Prazo Tempo contnuo Tempo discreto

Memria

Mar 200610


Redes com Atraso no Tempo

TDNN Time Delay Neural Network

introduz atrasos na entrada e nas camadas intermedirias

TLFN Time Local Filter Neuron

introduz atrasos apenas na entrada

FIR Filter Finite Impulse Response Filter

introduz atrasos apenas na entrada

6Mar 200611


TDNN

Mar 200612


TLFN

7Mar 200613


Rede TLFN

Mar 200614


Filtro FIR

8Mar 200615


Rede de Mltiplos FIR

Mar 200616


Treinamento de Redes com Atraso no Tempo

TLFN e FIR Filter

Backpropagation sem qualquer alterao

TDNN

Backpropagation com pequena alterao para as camadas internas

9Mar 200617


So redes que possuem uma ou mais conexes de realimentao as quais proporcionam comportamento dinmico rede.

A realimentao pode ser: Local se est dada a nvel de um neurnio Global se a realimentao engloba alguma(s) camada(s)

completa(s).

Redes Neurais Recorrentes

Mar 200618


Para as redes com atraso no tempo necessrio, de antemo, estabelecer um nvel de atrasos timos (nmero de observaes prvias a serem usadas como memria) .

As redes recorrentes incorporam este nvel de atraso dentro da prpria rede (atravs da realimentao).

Redes com atraso no tempo x Rede recorrentes

10

Mar 200619


So redes que possuem uma ou mais conexes de realimentao. A realimentao pode ser

local se ocorre a nvel de um neurnio ou global se engloba uma ou mais camadas completas.

A realimentao armazena, indiretamente, os valores prvios apresentados rede, constituindo uma memria.

Existem dois usos funcionais para as redes recorrentes: Memria associativa Mapeamento de entradaMapeamento de entrada--sasadada

Redes Recorrentes

Mar 200620


As redes recorrentes tm ligaes que partem das unidades de sada para as de entrada, i.e., tm realimentao (feedbackfeedback).

Fig. Rede AutoRede Auto--associativaassociativa.

Consiste num conjuntode neurnios com ligaes entre as unidades i e j, para ij.

Redes Recorrentes Redes Recorrentes MemMemria Associativaria Associativa

11

Mar 200621


Caso 1 : Caso 1 : A entrada fixa e a resposta da rede evolui para uma sada estvel.

Caso 2 : Caso 2 : entrada e sada mudam no tempo

Redes Recorrentes Redes Recorrentes MemMemria Associativaria Associativa

Uma memria associativa uma variante de um classificador de padres, onde as categorias de classificao so representadas pelos vetores

armazenados na memria.

Mar 200622


O espao de entrada mapeado para o espao de sada. As redes recorrentes desta forma respondem

temporalmente a sinais de entrada aplicados externamente.

Redes Recorrentes Redes Recorrentes Mapeamento E / SMapeamento E / S

Xp Yp

12

Mar 200623


Algumas arquiteturas de rede especAlgumas arquiteturas de rede especficas, cada uma realficas, cada uma realando ando uma forma especuma forma especfica de realimentafica de realimentao global :o global :

Modelo Recorrente de Entrada-Sada Modelo de Espao de Estados Perceptron de Mltiplas Camadas Recorrentes Redes de Segunda Ordem

Todas incorporam um Todas incorporam um PerceptronPerceptron de mde mltiplas camadasltiplas camadasestesttico ou partes dele.tico ou partes dele. Todas exploram a capacidade de mapeamento noTodas exploram a capacidade de mapeamento no--linear do linear do PerceptronPerceptron de mde mltiplas camadas.ltiplas camadas.

Redes Recorrentes Redes Recorrentes Mapeamento E / SMapeamento E / S

Mar 200624


O modelo tem O modelo tem uma uma nica entrada que nica entrada que aplicada a uma memaplicada a uma memria de linharia de linhade atraso com q unidades e de atraso com q unidades e

uma uma nica sanica sada realimentada para a entrada atravda realimentada para a entrada atravs de uma s de uma outra memoutra memria de linha de atraso com k unidades.ria de linha de atraso com k unidades.

O conteO contedo das duas memdo das duas memrias de linha de atraso so utilizados rias de linha de atraso so utilizados para alimentar a camada de entrada de uma rede para alimentar a camada de entrada de uma rede Perceptron Perceptron de de mmltiplas camadas.ltiplas camadas.

Modelo Recorrente de Entrada / SaModelo Recorrente de Entrada / Sada da

13

Mar 200625


NARX Nonlinear Autoregressive with Exogenous Inputs

Mar 200626


Vetor desada

Modelo de espaModelo de espao de estadoso de estados

Linha de q atrasos

Camada oculta no-

linear

Camada de sada linear

Linha de p atrasos

x(n)

u(n)

v(n) y(n+k)u(n-1)

v(n-1)

(*) Realimentaes globais

14

Mar 200627


uma Rede Neural Temporal com realimentao global interna, onde cada um dos neurnios escondidos tem realimentao para a entrada de todos eles.

uma rede parcialmente recorrente, pois as conexes feedforward so modificveis, e as conexes recorrentes so fixas.

Dentre as arquiteturas de redes neurais recorrentes, a rede de Elman a mais simples (ELMAN, 1990).

Perceptron de Mltiplas Camadas Recorrentes

Rede Elman

Mar 200628


camada intermedicamada intermediria:ria: composta por neurnios que apresentam funes de ativao lineares ou no-lineares, dependendo do tipo de aplicao;

camada de contexto:camada de contexto: composta por neurnios que apenas memorizam as ativaes dos neurnios da camada intermediria, operando como atrasadores de um instante de tempo.

camada de entrada:camada de entrada: composta por neurnios sensoriais que recebem um sinal externo e o propagam sem alter-lo;

camada de sacamada de sada:da: composta por neurnioslineares cujas sadas so somas ponderadas

de seus respectivos sinais de entrada;

Rede Elman

15

Mar 200629


Rede Elman

Mar 200630


Rede Elman

16

Mar 200631


Linearidade na camada de saLinearidade na camada de sadada ::

( ) waw biHi

i kky 00)( +=Ao se efetuar a primeira iteraAo se efetuar a primeira iterao (o (kk=1) =1) conveniente fixar os valores iniciais conveniente fixar os valores iniciais das sadas sadas dos neurnios escondidos e de sadas dos neurnios escondidos e de sada (da (kk=0), assim:=0), assim:

( )( ) 00

,00

==

y

hja j

S na primeira iterao a rede atuar como se no fosse recorrente

biasbias

Rede Elman

Mar 200632


Algoritmo de aprendizado:Algoritmo de aprendizado: Retro-propagao Padro

O nmero de sinapses aumenta na camada escondida:

Na rede deNa rede de ElmanElman::(#neur._cam._escondida) (# de_entradas + #neur._cam._escondida)

Exemplo: a rede possui 10 entradas externas e 30 neurnios na camadaescondida,

a rede Elman teria (30)(10+30+1)=1230 sinapses entre a camada de entrada e a camada escondida. (Considerando o bias)

Rede Elman

17

Mar 200633


CaracterCaracterstica principalstica principalMemria flexvel, memria infinita ou limitada ao nmero dedados disponveis para a entrada da rede.

Rede Elman

Considerando somente uma entrada externa x, camada intermediria linear e uma sada y. A sada na etapa de

generalizao ser dada por:

Mar 200634


Perceptron de Mltiplas Camadas RecorrentesRede Jordan

18

Mar 200635


A sada da rede copiada para unidade de contexto.

A diferena em termos de topologia para a Rede Elman que a recorrncia na rede Elman feita a partir da camada escondida, enquanto na rede de Jordan a recorrncia feita a partir da camada de sada.

Rede Jordan

Mar 200636


Tem uma ou mais camadas escondidas.Cada uma das camadas tem realimentao global

Rede de Mltiplas Camadas Recorrentes

19

Mar 200637


xi(n) representa a sada da primeira camada ocultaxii(n) representa a sada da segunda camada oculta:x0(n) representa a sada da camada de sadau(n) representa a entrada

( ) ( )( )( ) ( )( )( ) ( )( )1,

1,

,

00)1(0

)1(

)1(

+

+

=+

=+

=+

nn

nn

nun

xxx

xxxxx

Kn

IIIIInII

IInI

Onde representa as funes de ativaes e k representa o nmero

de camadas ocultas da rede.

Rede de Mltiplas Camadas Recorrentes

O comportamento dinmico da rede descrito pelo seguinte sistema de equao:

Mar 200638


A rede tem 2 entradas e 3 neurnios de estado, necessitando assim de 3 x 2 = 6 multiplicadores.

Rede Recorrente de Segunda Ordem

Z-1

Z-1

Z-1

ui(n)

u2(n)Pesos de segunda ordem

Sadax1(n)

x2(n)

x3(n)

Multiplicadores

Atrasos unitrios

Neurniosx3(n-1)

x2(n-1)

x1(n-1)

20

Mar 200639


O netO net vvkk combinado utilizandocombinado utilizando--se multiplicase multiplicaes, como es, como mostrado por :mostrado por :

uxwv jii j kijk =refererefere--se ao neurnio como um neurnio de segunda ordem. se ao neurnio como um neurnio de segunda ordem. O neurnio de segunda ordem k utiliza um O neurnio de segunda ordem k utiliza um nico peso, nico peso, wwkjikji, , que o conecta aos nque o conecta aos ns de entrada i e j.s de entrada i e j.


Mar 200640


( ) ( ) ( )nnn uxwbv jii j kijkk 1+= SeqSeqncia Temporalncia Temporal

ee ( )( )( )( )n

n

v

vx

k

kInk

+==

exp

)(

11

Onde Onde vvkk net do neurnio k,net do neurnio k,bbkk o o bias bias associado, associado, xxkk(n) (n) o estado (sao estado (sada) do neurnio k,da) do neurnio k,uujj(n) (n) a entrada aplicada ao na entrada aplicada ao nfonte j e fonte j e wwkijkij o peso do neurnioo peso do neurniode segunda ordem.de segunda ordem.


8 - modelos_temporais

Documents