redes neuronales recurrentes - ccc.inaoep.mxpgomez/cursos/redes neuronales artificiales... ·...
Post on 30-Jan-2018
265 Views
Preview:
TRANSCRIPT
C261-69 Tópicos Avanzados:
Redes Neuronales Artificiales
Redes Recurrentes
Dra. Ma. del Pilar Gómez Gil
V:23-04-13
(C) P. Gómez Gil. INAOE 2008 2
Procesamiento Temporal
El algoritmo de Retro-propagación sólo puede
aprender relaciones ESTÁTICAS.
Una entrada X se asocia a una salida Y, esto
es, se asocian patrones espaciales
independientes del tiempo:
Perceptron de
Multi-niveles
estático
X Y
(C) P. Gómez Gil. INAOE 2008 3
Procesamiento Temporal (cont.)
También se puede usar BP para realizar predicciones no lineales de una serie de tiempo estacionaria.
Una serie de tiempo es estacionaria cuando su “estadística” no cambia con el tiempo. En este caso X se puede definir como:
X = [x(n-1), x(n-2),...,x(n-p)]T
Donde p es el orden de predicción, y la salida de la red es un escalar y(n) que se produce como respuesta a la entrada X, representando la "predicción de un paso" o predicción del siguiente valor de X.
(C) P. Gómez Gil. INAOE 2008 4
Predictor estático
P
R
E
D
I
C
T
O
R
z-1
z-1
x(n-1)
x(n-2)
x(n-p)
Y(p) = x(n)
(C) P. Gómez Gil. INAOE 2008 5
Procesamiento Temporal (cont.)
Aun así, esta red de perceptrones representaría un
modelo estático, cuyos parámetros tienen valores fijos
¿Cómo podemos representar el tiempo, esto es, proveer
de propiedades dinámicas a la red?
Para que una red sea dinámica, debe poseer
MEMORIA.
Hay básicamente 2 maneras de poner memoria en una
red neuronal: con retrasos y con recurrencia.
(C) P. Gómez Gil. INAOE 2008 6
Redes con retrasos
Incluyen memoria introduciendo retrasos de tiempo en
la estructura sináptica de la red y ajustando sus valores
durante el entrenamiento. (Se sabe que en el cerebro
se manejan señales retrasadas).
Un ejemplo de esta metodología es la red "Time Delay
Neural Network" (TDNN) descrita por Lang y Hinton en
1988 y por Waibel en 1989.
Es una red hacia delante de varios niveles cuyos
neurones escondidos y de salida se repiten a través
del tiempo.
(C) P. Gómez Gil. INAOE 2008 7
Redes Recurrentes
Hay dos metodologías básicas de entrenamiento de
redes recurrentes:
Retropropagación a través del tiempo. Creada originalmente en
la tesis de P. Werbos (1974), (1990). Redescubierta
independientemente por Rumelhart et al. (1986) y una variación
propuesta por Williams y Peng (1990).
Aprendizaje Recurrente al Tiempo Real (Real Time Recurrent
Learning). Descrito por Williams y Zipsen (1989), los orígenes
del algoritmo fueron dados por McBride y Nardendra (1965)
(C) P. Gómez Gil. INAOE 2008 8
Una red recurrente
I1
I2
I3
(C) P. Gómez Gil. INAOE 2008 9
Características de una red
recurrente
El cálculo de la salida yi, de cada neurón i, esta dado por:
donde: Xi representa la entrada total al i-ésimo neurón que viene de otros
neurones,
Ii es la entrada externa al neurón i,
Wji es la conexión del neurón i al neurón j y
es un función diferenciable cualquiera, normalmente una sigmoide:
iiii Ixyt
y
)(
j
jjii ywx
(C) P. Gómez Gil. INAOE 2008 10
Retro-propagación a través del
tiempo (BPTT)
BPTT intenta minimizar el error obtenido en un periodo de tiempo
entre la salida de un neurón y el valor deseado para esa salida.
El error total de un neurón está representado por:
Donde Y(t) es la "Salida real" obtenida por el neurón y d(t) es la
salida deseada.
Se busca la minimización de la raíz cuadrada de E.
it
t
dttdtyE
0
))()((
(C) P. Gómez Gil. INAOE 2008 11
Dinámica del neurón La dinámica del neurón puede expresarse usando
ecuaciones de recurrencia:
Hay varias soluciones a la minimización de E, (por ejemplo, ver
Pearlmutter B.A. "Learning State Space Trayectories in Recurrent
Neural Networks" Neural Computation, Vol. 1 pp. 263-269, 1989).
iiiii Ixty
t
tytty
)()(
)()(
])()([)()( iiiii Ixtyttytty
))()(()()( iiiii Ixtyttytty
(C) P. Gómez Gil. INAOE 2008 12
Ejemplo: predicción de ECG y
otras señales caóticas usando la
red HCNN1
s(t-5) s(t-4) s(t-3) s(t-2) s(t-1)
1. Gómez, P. Ramírez, J. ”Experiments with a Hybrid-Complex Neural Networks for Long Term Prediction of
Electrocardiograms”. Proceedings of the IEEE 2006 International World Congress of Computational Intelligence, IJCNN
2006”. Vancouver. Canada. July 2006
(C) P. Gómez Gil. INAOE 2008 13
Generadores armónicos en la
red HCNN1
Sine function
3-node fully
connected NN
1 10 19 28 37 46 55 64 73 82 91 100 109 118 127 136 145 154 163 172 181 190 199 208 217 226 235 244
Initial
condition
1. Gómez, P. Ramírez, J. ”Experiments with a Hybrid-Complex Neural Networks for Long Term Prediction of
Electrocardiograms”. Proceedings of the IEEE 2006 International World Congress of Computational Intelligence, IJCNN
2006”. Vancouver. Canada. July 2006
(C) P. Gómez Gil. INAOE 2008 14
Predicción de
electrocardiogramas 1 Prediction
-0.4
-0.2
0
0.2
0.4
0.6
0.8
1
1 89 177 265 353 441 529 617 705 793 881 969 105711451233132114091497158516731761184919372025
expected
predicted
1. Gómez, P. Ramírez, J. ”Experiments with a Hybrid-Complex Neural Networks for Long Term Prediction of
Electrocardiograms”. Proceedings of the IEEE 2006 International World Congress of Computational Intelligence, IJCNN
2006”. Vancouver. Canada. July 2006
RETROPROPAGACIÓN
A TRAVÉS DEL TIEMPO
REDES NEURONALES ARTIFICIALES
INSTRUCTORA: PILAR-GOMEZ GIL
(C) P. GOMEZ-GIL, INAOE 2013
INTRODUCTION
(C) P. GOMEZ-GIL,
INAOE 2013
Backpropagation through time (BPTT) is
an algorithm that attempts to minimize the
error obtained over a period of time
between the output of a neuron and the
desired value of such output.
It was originally proposed by Werbos
(1990).
ERROR
(C) P. GOMEZ-GIL,
INAOE 2013
The total error in an output neuron is
represented by:
OUTPUT NUERONS
(C) P. GOMEZ-GIL,
INAOE 2013
In a discrete form:
LEARNING
(C) P. GOMEZ-GIL,
INAOE 2013
Pearlmutter (1989) found that the
modification to the weights (learning) can
be described by the equation:
LEARNING (2)
(C) P. GOMEZ-GIL,
INAOE 2013
Using a discrete notation:
PEARLMUTTER’S ALGORITHM (1/5)
(C) P. GOMEZ-GIL,
INAOE 2013
Gómez-Gil, 1989
PEARLMUTTER’S ALGORITHM (2/5)
(C) P. GOMEZ-GIL,
INAOE 2013
PEARLMUTTER’S ALGORITHM (3/5)
(C) P. GOMEZ-GIL,
INAOE 2013
PEARLMUTTER’S ALGORITHM (4/5)
(C) P. GOMEZ-GIL,
INAOE 2013
PEARLMUTTER’S ALGORITHM (5/5)
(C) P. GOMEZ-GIL,
INAOE 2013
ALGORITHM TO PREDICT A
TRAJECTORY
(C) P. GOMEZ-GIL,
INAOE 2013
REFERENCES
(C) P. GOMEZ-GIL,
INAOE 2013
Gómez-Gil, P. “The effect of non-linear Dynamic Invariant in the Recurrent Neural Networks for Prediction of Electrocardiograms.” María del Pilar Gómez Gil. PhD dissertation in Computer Science, Texas Tech University. December 1998.
2011. Gómez-Gil P, Ramírez-Cortés JM, Pomares Hernández SE, Alarcón-Aquino V. “A Neural Network Scheme for Long-term Forecasting of Chaotic Time Series” Neural Proceesing Letters. Vol.33, No. 3, June 2011. pp 215-233. Published online: March 8, 2011. DOI: 10.1007/s11063-011-9174-0 (cited at JCR Science Edition—2009). (preliminary PDF)
Pearlmutter, B. (1990). Dynamic Recurrent Neural Networks. Technical Report CMU-CS-90-196. School of Computer Science, Carnegie Mellon University, Pittsburgh MA.
Werbos, P. (1990). Backpropagation Through Time: What it Does and How to Do it”. P IEEE , 74 (10), 1550-1560.
top related