C261-69 Tópicos Avanzados:

Redes Neuronales Artificiales

Redes Recurrentes

Dra. Ma. del Pilar Gómez Gil

V:23-04-13

(C) P. Gómez Gil. INAOE 2008 2

Procesamiento Temporal

El algoritmo de Retro-propagación sólo puede

aprender relaciones ESTÁTICAS.

Una entrada X se asocia a una salida Y, esto

es, se asocian patrones espaciales

independientes del tiempo:

Perceptron de

Multi-niveles

estático

X Y

(C) P. Gómez Gil. INAOE 2008 3

Procesamiento Temporal (cont.)

También se puede usar BP para realizar predicciones no lineales de una serie de tiempo estacionaria.

Una serie de tiempo es estacionaria cuando su “estadística” no cambia con el tiempo. En este caso X se puede definir como:

X = [x(n-1), x(n-2),...,x(n-p)]T

Donde p es el orden de predicción, y la salida de la red es un escalar y(n) que se produce como respuesta a la entrada X, representando la "predicción de un paso" o predicción del siguiente valor de X.

(C) P. Gómez Gil. INAOE 2008 4

Predictor estático

P

R

E

D

I

C

T

O

R

z-1

z-1

x(n-1)

x(n-2)

x(n-p)

Y(p) = x(n)

(C) P. Gómez Gil. INAOE 2008 5

Procesamiento Temporal (cont.)

Aun así, esta red de perceptrones representaría un

modelo estático, cuyos parámetros tienen valores fijos

¿Cómo podemos representar el tiempo, esto es, proveer

de propiedades dinámicas a la red?

Para que una red sea dinámica, debe poseer

MEMORIA.

Hay básicamente 2 maneras de poner memoria en una

red neuronal: con retrasos y con recurrencia.

(C) P. Gómez Gil. INAOE 2008 6

Redes con retrasos

Incluyen memoria introduciendo retrasos de tiempo en

la estructura sináptica de la red y ajustando sus valores

durante el entrenamiento. (Se sabe que en el cerebro

se manejan señales retrasadas).

Un ejemplo de esta metodología es la red "Time Delay

Neural Network" (TDNN) descrita por Lang y Hinton en

1988 y por Waibel en 1989.

Es una red hacia delante de varios niveles cuyos

neurones escondidos y de salida se repiten a través

del tiempo.

(C) P. Gómez Gil. INAOE 2008 7

Redes Recurrentes

Hay dos metodologías básicas de entrenamiento de

redes recurrentes:

Retropropagación a través del tiempo. Creada originalmente en

la tesis de P. Werbos (1974), (1990). Redescubierta

independientemente por Rumelhart et al. (1986) y una variación

propuesta por Williams y Peng (1990).

Aprendizaje Recurrente al Tiempo Real (Real Time Recurrent

Learning). Descrito por Williams y Zipsen (1989), los orígenes

del algoritmo fueron dados por McBride y Nardendra (1965)

(C) P. Gómez Gil. INAOE 2008 8

Una red recurrente

I1

I2

I3

(C) P. Gómez Gil. INAOE 2008 9

Características de una red

recurrente

El cálculo de la salida yi, de cada neurón i, esta dado por:

donde: Xi representa la entrada total al i-ésimo neurón que viene de otros

neurones,

Ii es la entrada externa al neurón i,

Wji es la conexión del neurón i al neurón j y

es un función diferenciable cualquiera, normalmente una sigmoide:

iiii Ixyt

y

)(

j

jjii ywx

(C) P. Gómez Gil. INAOE 2008 10

Retro-propagación a través del

tiempo (BPTT)

BPTT intenta minimizar el error obtenido en un periodo de tiempo

entre la salida de un neurón y el valor deseado para esa salida.

El error total de un neurón está representado por:

Donde Y(t) es la "Salida real" obtenida por el neurón y d(t) es la

salida deseada.

Se busca la minimización de la raíz cuadrada de E.

it

t

dttdtyE

0

))()((

(C) P. Gómez Gil. INAOE 2008 11

Dinámica del neurón La dinámica del neurón puede expresarse usando

ecuaciones de recurrencia:

Hay varias soluciones a la minimización de E, (por ejemplo, ver

Pearlmutter B.A. "Learning State Space Trayectories in Recurrent

Neural Networks" Neural Computation, Vol. 1 pp. 263-269, 1989).

iiiii Ixty

t

tytty

)()(

)()(

])()([)()( iiiii Ixtyttytty

))()(()()( iiiii Ixtyttytty

(C) P. Gómez Gil. INAOE 2008 12

Ejemplo: predicción de ECG y

otras señales caóticas usando la

red HCNN1

s(t-5) s(t-4) s(t-3) s(t-2) s(t-1)

1. Gómez, P. Ramírez, J. ”Experiments with a Hybrid-Complex Neural Networks for Long Term Prediction of

Electrocardiograms”. Proceedings of the IEEE 2006 International World Congress of Computational Intelligence, IJCNN

2006”. Vancouver. Canada. July 2006

(C) P. Gómez Gil. INAOE 2008 13

Generadores armónicos en la

red HCNN1

Sine function

3-node fully

connected NN

1 10 19 28 37 46 55 64 73 82 91 100 109 118 127 136 145 154 163 172 181 190 199 208 217 226 235 244

Initial

condition

1. Gómez, P. Ramírez, J. ”Experiments with a Hybrid-Complex Neural Networks for Long Term Prediction of

Electrocardiograms”. Proceedings of the IEEE 2006 International World Congress of Computational Intelligence, IJCNN

2006”. Vancouver. Canada. July 2006

(C) P. Gómez Gil. INAOE 2008 14

Predicción de

electrocardiogramas 1 Prediction

-0.4

-0.2

0

0.2

0.4

0.6

0.8

1

1 89 177 265 353 441 529 617 705 793 881 969 105711451233132114091497158516731761184919372025

expected

predicted

1. Gómez, P. Ramírez, J. ”Experiments with a Hybrid-Complex Neural Networks for Long Term Prediction of

Electrocardiograms”. Proceedings of the IEEE 2006 International World Congress of Computational Intelligence, IJCNN

2006”. Vancouver. Canada. July 2006

RETROPROPAGACIÓN

A TRAVÉS DEL TIEMPO

REDES NEURONALES ARTIFICIALES

INSTRUCTORA: PILAR-GOMEZ GIL

(C) P. GOMEZ-GIL, INAOE 2013

INTRODUCTION

(C) P. GOMEZ-GIL,

INAOE 2013

Backpropagation through time (BPTT) is

an algorithm that attempts to minimize the

error obtained over a period of time

between the output of a neuron and the

desired value of such output.

It was originally proposed by Werbos

(1990).

ERROR

(C) P. GOMEZ-GIL,

INAOE 2013

The total error in an output neuron is

represented by:

OUTPUT NUERONS

(C) P. GOMEZ-GIL,

INAOE 2013

In a discrete form:

LEARNING

(C) P. GOMEZ-GIL,

INAOE 2013

Pearlmutter (1989) found that the

modification to the weights (learning) can

be described by the equation:

LEARNING (2)

(C) P. GOMEZ-GIL,

INAOE 2013

Using a discrete notation:

PEARLMUTTER’S ALGORITHM (1/5)

(C) P. GOMEZ-GIL,

INAOE 2013

Gómez-Gil, 1989

PEARLMUTTER’S ALGORITHM (2/5)

(C) P. GOMEZ-GIL,

INAOE 2013

PEARLMUTTER’S ALGORITHM (3/5)

(C) P. GOMEZ-GIL,

INAOE 2013

PEARLMUTTER’S ALGORITHM (4/5)

(C) P. GOMEZ-GIL,

INAOE 2013

PEARLMUTTER’S ALGORITHM (5/5)

(C) P. GOMEZ-GIL,

INAOE 2013

ALGORITHM TO PREDICT A

TRAJECTORY

(C) P. GOMEZ-GIL,

INAOE 2013

REFERENCES

(C) P. GOMEZ-GIL,

INAOE 2013

Gómez-Gil, P. “The effect of non-linear Dynamic Invariant in the Recurrent Neural Networks for Prediction of Electrocardiograms.” María del Pilar Gómez Gil. PhD dissertation in Computer Science, Texas Tech University. December 1998.

2011. Gómez-Gil P, Ramírez-Cortés JM, Pomares Hernández SE, Alarcón-Aquino V. “A Neural Network Scheme for Long-term Forecasting of Chaotic Time Series” Neural Proceesing Letters. Vol.33, No. 3, June 2011. pp 215-233. Published online: March 8, 2011. DOI: 10.1007/s11063-011-9174-0 (cited at JCR Science Edition—2009). (preliminary PDF)

Pearlmutter, B. (1990). Dynamic Recurrent Neural Networks. Technical Report CMU-CS-90-196. School of Computer Science, Carnegie Mellon University, Pittsburgh MA.

Werbos, P. (1990). Backpropagation Through Time: What it Does and How to Do it”. P IEEE , 74 (10), 1550-1560.