MATEMATICAS II

Notas del curso

David GonzalezSanchez

Maestra en EconomaPrimavera 2011

CIDE

1

Indice

1. Introduccion a las ecuaciones diferenciales ordinarias 61.1. Un teorema de existencia y unicidad . . . . . . . . . . . . . . . . . . . 71.2. Ecuaciones diferenciales lineales con coeficientes constantes . . . . . 121.3. Ecuaciones diferenciales no lineales . . . . . . . . . . . . . . . . . . . 181.4. Sistemas de ecuaciones diferenciales ordinarias . . . . . . . . . . . . 221.5. Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

2. Optimizacion dinamica en tiempo discreto 262.1. Planteamiento de problemas dinamicos en tiempo discreto . . . . . . 262.2. El metodo de los multiplicadores de Lagrange . . . . . . . . . . . . . 272.3. Programacion dinamica. El Principio de optimalidad y la ecuacion

de Bellman . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282.4. Problemas con horizonte infinito . . . . . . . . . . . . . . . . . . . . . 322.5. El modelo de Brock y Mirman . . . . . . . . . . . . . . . . . . . . . . 382.6. Ecuaciones de Euler . . . . . . . . . . . . . . . . . . . . . . . . . . . . 412.7. Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

3. Optimizacion dinamica en tiempo continuo 533.1. Formulacion del PCO en tiempo continuo . . . . . . . . . . . . . . . . 533.2. La ecuacion de HamiltonJacobiBellman . . . . . . . . . . . . . . . . 543.3. Principio del maximo de Pontryagin . . . . . . . . . . . . . . . . . . . 573.4. Calculo de variaciones. Ecuacion de Euler . . . . . . . . . . . . . . . . 603.5. Algunas extensiones del PMP . . . . . . . . . . . . . . . . . . . . . . . 643.6. Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69

4. Apendice: Espacios metricos y correspondencias 774.1. Espacios metricos completos . . . . . . . . . . . . . . . . . . . . . . . 774.2. Correspondencias . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 794.3. Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80

Referencias 81

2

Notacion

El producto cartesiano de dos conjuntos se denota por

A B = {(a, b) | a A, b B} .

En general, si A1, A2, . . . , An son conjuntos no vacos

A1 A2 . . . An =n

i=1

Ai = {(a1, a2, . . . , an) | ai Ai, i = 1, 2, . . . , n} ,

cuando A1 = A2 = . . . = An = A se usa la notacion

An = {(a1, a2, . . . , an) | ai A, i = 1, 2, . . . , n} .

El complemento de B con respecto a A es el conjunto

A \ B = {x A | x / B} ,

se lee A menos B y tambien se usa la notacion A B. Si el conjunto Ase sobrentiende, solo se hace referencia al complemento de B y en lugar deA \ B se escribe Bc. En este caso al conjunto A se le llama conjunto universoo universal.1

R denota a los Numeros Reales.

Rn+ := {x = (x1, . . . , xn) | xi 0, para i = 1, . . . , n}. Rn++ := {x = (x1, . . . , xn) | xi > 0, para i = 1, . . . , n}. N = {1, 2, 3, . . .} es el conjunto de Numeros Naturales. Si A es una matriz, entonces A denota la transpuesta de A.

Los vectores son escritos como matrices columna:x = (x1, . . . , xn).

Si x, y son vectores, x y significa quexi yi para todo i.

El producto escalar de vectores x, y es denotado por x, y, por x y o xy.1Por ejemplo, si se esta trabajando con los numeros reales, a los elementos del conjunto Qc se

les conoce como numeros irracionales.

3

Dado un vector x = (x1, . . . , xn) y un numero real p 1, se denota la normap del vector x (vease la Definicion 4.7 y el Ejercicio 4.5) mediante

xp =(

n

i=1|xi|p

)1/p.

La norma euclidiana (cuando p = 2) se denota, simplemente, por x. Dada una funcion f : Rn R y un vector x = (x1, . . . , xn), las derivadas

parciales son denotadas por:

Dxi f = Di f = f /xi.

Dx f = D f (vector fila) denota al gradiente de f , y H f a la matriz de segundasderivadas parciales (la matriz Hessiana), es decir,

D f = (D1 f , . . . , Dn f ),

H f = ( fij).

Si f : Rn Rk es una funcion vectorial, D f = ( fi/xj) denota a la matrizJacobiana.

Si x : R Rn posee derivadas de orden 1, 2, . . . , k, estas se denotan mediante

x (t) =[

dx1dt

(t), . . . ,dxndt

(t)]

x (t) =[

d2x1dt2

(t), . . . ,d2xndt2

(t)]

x(k)(t) =

[dkx1dtk

(t), . . . ,dkxndtk

(t)

], k 3.

Si : R Rn es una funcion cuyas componentes son (Riemann) integrables,se define t

t0(s) ds =

[ tt01(s) ds, . . . ,

tt0n(s) ds

].

Smbolos y abreviaturas

4

E operador de esperanzaP medida de probabilidad:= igualdad por definicion para todo fin de una demostracion fin de un ejemplo u observacionED ecuacion diferencialEDs ecuaciones diferencialesEDH ecuacion diferencial homogeneaGAE globalmente asintoticamente estableHJB HamiltonJacobiBellmani.i.d. (variables aleatorias) independientes e identicamente distribuidasl.i. (vectores) linealmente independientesPCO problema de control optimoPCOs problemas de control optimoPD programacion dinamicaPMP Principio del maximo de PontryaginVA variable aleatoriaVAs variables aleatorias

5

1. Introduccion a las ecuaciones diferenciales ordina-rias

Una ecuacion cuya incognita es una funcion se conoce como ecuacion funcional.Por ejemplo, en la ecuacion de Bellman

V(k) = max0ck

{ln(c) + V(k c)}, (1.1)

donde , (0, 1), se tiene que encontrar una funcion V que cumpla (1.1). Esinmediato probar que la funcion

V(k) =

1 ln(k) +1

1 [

ln(1 ) + 1 ln()

], (1.2)

satisface la ecuacion funcional (1.1), vease el Ejercicio 1.1. La ecuacion de Bellmansera estudiada en la Seccion 2.4.

Una ecuacion funcional que involucra a las derivadas de la incognita se llamaecuacion diferencial (ED). Se puede hacer una primera clasificacion para las EDsde acuerdo con el numero de variables de la incognita. En una ecuacion diferencialparcial, o ecuacion en derivadas parciales, la incognita es una funcion de variasvariables. En una ecuacion diferencial ordinaria se busca una funcion de una solavariable.

La siguiente ED, conocida como ecuacion de HamiltonJacobiBellman (HJB),

0 = maxu{g(x, u) + DV(, x) + DxV(, x) f (x, u)}

es un ejemplo de una ecuacion en derivadas parciales. En esta ecuacion las fun-ciones f y g son conocidas, mientras que la incognita es una funcion V que de-pende de dos variables. La ecuacion de HJB esta asociada a cierto problema deoptimizacion dinamica, vease la Seccion 3.2.

En este curso se estudian ecuaciones diferenciales ordinarias. La unica ecuacionen derivadas parciales de la que se hablara es la de HJB.

Si y : I Rn (la incognita) es una funcion derivable, donde I es un intervalode numeros reales, la forma general de una ecuacion diferencial ordinaria es

G(t, y(t), y(t), . . . , y(k)(t)) = 0.

En la mayoria de las aplicaciones, la ecuacion anterior se puede reescribir en suforma normal

y(k)(t) = G(t, y(t), y(t), . . . , y(k1)(t)) (1.3)

Al numero k se le conoce como orden de la ED, es decir, k es la derivada masalta que aparece en la ecuacion.

6

En la Seccion 1.1 se demuestra un teorema de existencia y unicidad (Teorema1.5). Este teorema es cierto para EDs de la forma

x(t) = F(t, x(t)), (1.4)

donde x : I Rn, I R es un intervalo, y F : I Rn Rn es una funcion dada.Para simplificar la notacion, la ecuacion (1.4) tambien se escribe como x = F(t, x).

Observacion 1.1. Cuando n > 1 se dice que (1.4) es un sistema de ecuacionesdiferenciales. Por la naturaleza vectorial de la fucion F, cualquier ED de la forma(1.3) se puede expresar en la forma (1.4). Es decir, una ED de orden k es equivalentea un sistema de EDs de orden 1. Vease el Ejercicio 1.2.

En las Secciones 1.2 y 1.3 se estudian EDs de la forma (1.3). En particualr, en laSeccion 1.2 se trabaja con EDs que tienen cierta estructura lineal, para este tipode ecuaciones se pueden encontrar soluciones explcitas. En contraste, cuando talestructura lineal no se tiene, existen metodos de solucion para algunas EDs. En laSeccion 1.3 se resuelven algunas las EDs no lineales mas comunes. En la Seccion1.4 se estudian sistemas de ecuaciones diferenciales, es decir, EDs de la forma (1.4).

Los temas abordados en este captulo pueden consultarse, por ejemplo, enBrock y Malliaris [3], Coddington [6], Hartman [11], Lomel y Rumbos [14], Sanchez[17], Simonovits [20] y Sydster et al. [23].

1.1. Un teorema de existencia y unicidad

Ejemplo 1.2 (Una ED sin solucion). Considerese la ecuacion diferencial (1.4) conF(t, x) = h(t), donde h es la funcion de Dirichlet

h(t) ={

1 si t Q0 si t Qc.

Esta ED no tiene solucion. En efecto, si existe una solucion x, por el Teoremafundamental del calculo

x(t) x(t0) = t

t0h(s) ds,

sin embargo, la funcion de Dirichlet no es Riemann integrable. Ejemplo 1.3 (Condiciones iniciales). Considerese la ED

x(t) =[

x2(t) + 1x1(t) + 1

]. (1.5)

En el Ejercicio 1.3 se pide probar que la funcion x(t) = [x1(t), x2(t)], donde

x1(t) = c1et + c2et 1, (1.6)x2(t) = c1et c2et 1, (1.7)

7

es solucion de la ED (1.5) para cualesquiera c1, c2 R. Es decir, la ED (1.5) tiene unainfinidad de soluciones. Sin embargo, cuando se impone una condicion inicial, porejemplo x(0) = [4, 8], entonces la solucion es unica.

A partir del Ejemplo 1.2 se puede conjeturar que la funcion F debe ser continuapara que exista una solucion. Esta conjetura es cierta, vease el Teorema 1.4, abajo.Sin embargo, esta hipotesis no garantiza la unicidad de la solucion, como se vera enel siguiente ejemplo, aun cuando se impone una condicion inicial.

Ejemplo 1.4 (Multiples soluciones). Las funciones g(t) = t3, h(t) 0 son solucionesde la ED

x(t) = 3x2/3(t), x(0) = 0. (1.8)

El dominio de las funciones g y h es todo el conjunto de numeros reales. Es im-portante observar que la funcion F(t, x) = x2/3 es continua en R.

Teorema 1.5 (Existencia y unicidad). Sean I R un intervalo y B Rn un conjuntoconvexo, ambos abiertos y no vacos. Sea la ecuacion diferencial

x(t) = F(t, x(t)), x(t0) = x0, (1.9)

donde x : I Rn es la incognita, F : I B Rn es una funcion dada y (t0, x0) I B.Supongase que F es de clase C1 en I B. Entonces la ecuacion diferencial (1.9) tiene unaunica solucion (local) definida en algun intervalo que contiene a t0.

Demostracion. Sean a, b numeros positivos tales que el conjunto compacto

:= {(t, x) Rn+1 | |t t0| a, x x01 b}

esta contenido en I B. Puesto que F es de clase C1 en I B, y por lo tanto en ,entonces existen M, K R tales que

F(t, x)1 M (t, x) , (1.10)

y para cada i = 1, . . . , n

DxFi(t, x)1 K (t, x) . (1.11)

Sean (t, x), (t, y) dos elementos del conjunto . Por el Teorema del valor medio(vease Sundaram [22, Teorema 1.74, p. 63]), para cada i = 1, . . . , n, existe 0 < i < 1tal que

Fi(t, x) Fi(t, y) = DxF(t,ix + (1 i)y), x y . (1.12)

8

Entonces

F(t, x) F(t, y)1 =n

i=1|Fi(t, x) Fi(t, y)|

=n

i=1| DxFi(t,ix + (1 i)y), x y | [por (1.12)]

n

i=1DxFi(t,ix + (1 i)y)2 x y2

n

i=1DxFi(t,ix + (1 i)y)1 x y1

n

i=1

Kx y1 [por (1.11)]

= nKx y1. (1.13)

Escojase r > 0 tal que

r a (1.14a)rM b (1.14b)

rnK < 1 , (1.14c)

y defnase el siguiente subconjunto de

r := {(t, x) | |t t0| r, x x01 b}.

Sea Gr el conjunto de todas las funciones continuas en el intervalo [t0 r, t0 + r] ycuyas graficas estan contenidas en r, es decir,

Gr := { : [t0 r, t0 + r] Rn | es continua, (t) x01 b t}.

El conjunto Gr con la metrica

d(,) := sup{(t) (t)1 | t [t0 r, t0 + r]} (1.15)

forman un espacio metrico completo (vease la Seccion 4.1 y el Ejercicio 4.4).Defnase la transformacion T : Gr Gr, mediante

T[](t) := x0 + t

t0F(s,(s)) ds. (1.16)

Es importante verificar que T[] Gr. Claramente T[] es continua (mas aun, es

9

diferenciable) y

T[](t) x01 = tt0 F(s,(s)) ds

1

tt0 F(s,(s))1 ds

[Ejercicio 1.7] M|t t0| [por (1.10)] Mr b [por (1.14b)].

La transformacion T es una contraccion. En efecto, observese que

T[](t) T[](t)1 = tt0 [F(s, (s)) F(s,(s))] ds

1

tt0 F(s, (s)) F(s,(s))1 ds

[Ejercicio 1.7]

tt0 nK(s) (s)1 ds [por (1.13)]

nKr sup{(s) (s)1 | s [t0 r, t0 + r]}= nKr d(,). (1.17)

Luego

d(T[] T[]) = sup{T[](t) T[](t)1 | t [t0 r, t0 + r]} rnK d(,) [por (1.17)].

Por la condicion (1.14c), 0 < rnK < 1, T es una contraccion.Por el Teorema de Banach (Teorema 4.6), existe una unica funcion Gr tal

que = T[], es decir,

(t) = x0 + t

t0F(s, (s)) ds. (1.18)

Derivando con respecto a t, ambos lados de (1.18), y usando el Teorema funda-mental del calculo

(t) = F(t, (t)),

ademas, (t0) = x0. Esto demuestra que es la unica solucion de la ED (1.9)definida en el intervalo [t0 r, t0 + r].

En la demostracion anterior se ha usado un argumento de punto fijo, es decir,la solucion encontrada es un unto fijo del operador (1.16). Una prueba distintapuede consultarse en Brock y Malliaris [3, Lema 3.1, pp. 810].

10

Observacion 1.6. De la demostracion del Teorema 1.5 debe notarse lo siguiente.

(a) Una funcion es solucion de (1.9) si y solo si es el unico punto fijo deloperador T (dado por (1.16)).

(b) La demostracion del Teorema de Banach (Teorema 4.6) es constructiva, es decir,se demuestra que el punto fijo buscado es el lmite de la sucesion (4.4). Por lotanto, la solucion puede encontrarse usando el metodo de aproximacionessucesivas o metodo de Picard (vease la nota historica en Hartman [11, p. 23]).Este metodo consiste en construir la sucesion de funciones

0(t) x0,k(t) = x0 +

tt0

F(s,k1(s)) ds, k 1,

esta sucesion converge a con la metrica (1.15). La convergencia es uniforme(no solo puntual) en el intervalo [t0 r, t0 + r].

Ejemplo 1.7. Considerese la ecuacion diferencial

x = tx, x(0) = 1. (1.19)

A continuacion se encuantran las aproximaciones sucesivas de la Observacion1.6(b). La primera aproximacion esta dada por la condicion inicial

0(t) 1.Para n = 1 se tiene

1(t) = 1+ t

0s0(s) ds

= 1+ t

0s ds

= 1+t2

2.

Si n = 2, entonces

2(t) = 1+ t

0s1(s) ds

= 1+ t

0s(

1+s2

2

)ds

= 1+t2

2+

t4

2 4.Continuando con este proceso se puede conjeturar que

k(t) = 1+(

t2

2

)+

12!

(t2

2

)2+ . . . +

1k!

(t2

2

)k.

11

Recordando la expansion en serie de Taylor de la funcion exponencial se observaque

lmk

k(t) = et2/2.

La funcion (t) := et2/2 es un punto fijo de la transformacion (1.16)

T[](t) = 1+ t

0s(s) ds

= 1+ t

0ses

2/2 ds

= 1+ (et2/2 1)

= (t).

Por lo tanto (t) = et2/2 satisface la ED (1.19).

En el Teorema 1.5 se afirma que la solucion de la ED (1.9) existe de maneralocal, es decir, solo se afirma que esta definida en algun intervalo que coniene at0. Sin embargo, cuando F es lineal se puede saber cual es el intervalo maximode existencia. Ademas, bajo esta estructura lineal, se requieren hipotesis menosrestrictivas para garantizar la existencia y la unicidad de la solucion. Lo anteriorse establece de forma precisa en el siguiente teorema, su demostracion es similara la del Teorema 1.5 y puede consultarse en Sanchez [17, pp. 135136].

Teorema 1.8. Sea I R un intervalo abierto y no vaco. Sea la ecuacion diferencial lineal

x(t) = A(t)x(t) + B(t), x(t0) = x0 (1.20)

donde x : I Rn es la incognita, A : I Rnn, B : I Rn y (t0, x0) I Rn.Supongase que A, B son continuas en I. Entonces la ecuacion diferencial (1.20) tiene unaunica solucion definida en el intervalo I.

1.2. Ecuaciones diferenciales lineales con coeficientes constantes

En esta seccion se trabaja con ecuaciones diferenciales lineales, es decir, ecua-ciones de la forma

y(k) + ak1(t)y(k1) + . . . + a1(t)y + a0(t)y = b(t), (1.21)

donde y : I R es la incognita y las funciones b, aj : I R (j = 1, . . . , k) estandadas. Ademas, se imponen condiciones iniciales

y(t0) = y0, y(t0) = y1, . . . , y(k1)(t0) = yk1. (1.22)

12

Observacion 1.9. La mayora de las aplicaciones en economa involucran EDs deorden uno o dos y las funciones aj son constantes. Por esta razon, el estudio seconcentra en EDs del tipo

y + a1y + a0y = b(t), y(t0) = y0, y(t0) = y1. (1.23)

Sin embargo, con los cambios apropiados, los resultados de esta seccion se puedengeneralizar a EDs de orden mayor que dos y con coeficientes constantes.

La ED lineal de primer orden con coeficientes variables se analiza en el Ejercicio1.14.

La ED lineal homogenea

Teorema 1.10. Las soluciones de la ecuacion diferencial homogenea (EDH)

y + a1y + a0y = 0 (1.24)

forman un espacio vectorial de dimension dos.

Demostracion. Observese que en la ED (1.24) no se han impuesto condiciones ini-ciales. Es inmediato verificar que las soluciones de la ED (1.24) forman un espaciovectorial, vease el Ejercicio 1.11. Enseguida se demostrara que este espacio vecto-rial tiene dimension dos.

Mediante la sustitucion x1 = y, x2 = y, la ED (1.24) es equivalente al sistema[x1x2

]=[

0 1a0 a1

] [x1x2

], (1.25)

vease el Ejercicio 1.2. Sean t0 R y {e1, e2} la base canonica de R2. Entonces,por el Teorema 1.8, la ED (1.25) y por lo tanto (1.24) con la condicion inicialx(t0) = e1 posee una unica solucion 1 : R R2. Asimismo, si se impone lacondicion inicial x(t0) = e2, existe una unica 2 : R R2 que resuelve (1.25).Estas soluciones satisfacen lo siguiente.

(1) Las funciones 1, 2 son l.i. En efecto, si

c11(t) + c22(t) = 0, t R,entonces para t = t0 se tiene que c1e1 + c2e2 = 0, de donde c1 = c2 = 0.

(2) Cualquier solucion de (1.25) se puede escribir como una combinacion linealde 1 y 2. Sea : R R2 una solucion de (1.25) y sea x0 := (t0) =[1(t0),2(t0)]. Entonces la combinacion lineal

(t) := 1(t0)1(t) + 2(t0)2(t)

es solucion de (1.25), ademas (t0) = x0. Por la unicidad de la solucion, (t) =(t) para todo t R.

13

De (1) y (2) se tiene la conclusion deseada.

Lema 1.11. Sea C. Entonces ddt et = et.Demostracion. La igualdad es cierta si es un numero real. Cuando = a + ib

ddt

et =ddt[eateibt]

= eatddt[cos(bt) + i sen(bt)] + eibt

ddt

eat

= eat[b sen(bt) + ib cos(bt)] + eibtaeat= ibeateibt + aeibteat

= et.

Teorema 1.12. Sea un numero complejo. La funcion (t) = et es solucion de la ED(1.24) si y solo si es una raz de la ecuacion caracterstica

2 + a1+ a0 = 0.

Demostracion. Al sustituir en la EDH (1.24) se tiene

+ a1+ a0 =d2

dt2et + a1

ddt

et + a0et

= 2et + a1et + a0et

= et[2 + a1+ a0].

Entonces (t) = et es solucion de (1.24) si y solo si 2 + a1 + a0 = 0, ya queet 6= 0 para todo t C.

Hay tres casos para los numeros (complejos) que satisfacen la ecuacion carac-terstica 2 + a1+ a0 = 0. El mas sencillo es cuando hay dos races reales distintas.El segundo ocurre si las races son reales repetidas. El ultimo se presenta cuandolas dos races son complejas, en este caso tienen que ser conjugadas ya que loscoeficientes son reales. En la siguiente proposicion se presentan soluciones l.i. de(1.24), para cada uno de los tres casos.

Proposicion 1.13. Sean 1,2 las races de la ecuacion 2 + a1+ a0 = 0. Los siguientesconjuntos forman una base para las soluciones de (1.24).

(a) Si 1,2 R son distintas,{e1t, e2t}.

(b) Si := 1 = 2 R,{et, tet}.

14

(c) Si a + ib := 1 = 2 C,

{eat cos(bt), eat sen(bt)}.

Demostracion. En cada caso hay que verificar que las funciones dadas satisfacen laED (1.24) y ademas que son l.i.

(a) Si 1,2 R son distintas, las funciones e1t, e2t son soluciones de (1.24), porel Teorema 1.12. Para ver la independencia lineal, considerese la combinacionlineal

c1e1t + c2e2t = 0, t R. (1.26)Entonces, al derivar con respecto a t la igualdad anterior

c11e1t + c22e2t = 0, t R. (1.27)

Evaluando (1.26) y (1.27) en t = 0, se obtiene el sistema de ecuaciones

c1 + c2 = 01c1 + 2c2 = 0,

de donde c1 = c2 = 0.

(b) Supongase que := 1 = 2 R. Por el Teorema 1.12, et es solucion de (1.24).En este caso la unica raz es igual a a1/2, una simple sustitucion pruebaque tet tambien es solucion de (1.24). En el Ejercicio 1.12 se pide demostrarque et y tet son l.i.

(c) Sea a+ ib := 1 = 2 C. Por el Teorema 1.12, e(a+ib)t y e(aib)t son solucionesde (1.24) y por lo tanto cualquier combinacion lineal de estas funciones tambienes solucion. Observese que

eat cos(bt) =12

e(a+ib)t +12

e(aib)t

eat sen(bt) =12i

e(a+ib)t 12i

e(aib)t.

Entonces eat cos(bt) y eat sen(bt) son soluciones de (1.24) y, por el Ejercicio 1.13,son l.i.

La ED lineal no homogenea

15

En el siguiente teorema se caracterizan todas las soluciones de la ED no ho-mogenea

y + a1y + a0y = b(t), (1.28)

estas estan relacionadas con las soluciones de la ED homogenea asociada

y + a1y + a0y = 0.

Teorema 1.14. La solucion general de la ecuacion (1.28) esta dada por

y(t) = c11(t) + c22(t) + yp(t), (1.29)

donde 1, 2 son soluciones l.i. de la EDH asociada e yp es cualquier solucion de la ED nohomogenea (1.28).

Demostracion. Si 1, 2 son soluciones l.i. de la EDH asociada

y + a1y + a0y = 0,

y yp cualquier solucion de la ED no homogenea (1.28). Es claro que la funcion

c11(t) + c22(t) + yp(t)

es solucion de la ED (1.28).Recprocamente, si y es cualquier solucion de (1.28), es decir,

y + a1y + a0y = b(t),

y tambien yp es solucion

yp + a1yp + a0yp = b(t),

entonces(y yp) + a1(y yp) + a0(y yp) = b(t) b(t).

La igualdad anterior prueba que y yp es solucion de la EDH asociada y, por elTeorema 1.10, es combinacion lineal de 1 y 2. Luego

y yp = c11 + c22,

de donde se tiene la relacion (1.29).

En virtud del teorema anterior, para resolver la ED no homogenea (1.28) se tieneque buscar una solucion particular. Dependiendo de la forma funcional de b(t) sepropone una solucion yp(t) de acuerdo con la siguiente tabla. Esta forma de buscarsoluciones particulares se conoce como metodo de coeficientes indeterminados.

16

Tabla 1: Algunas soluciones particulares comunes

b(t) yp(t)b B

bktk + . . . + b1t + b0 Bktk + . . . + B1t + B0b1eb2t B1eb2t

b1 sen(b2t) B1 sen(b2t) + B2 cos(b2t)b1 cos(b2t) B1 sen(b2t) + B2 cos(b2t)

Ejemplo 1.15 (Sydster et al. [23]). Considerese la siguiente ecuacion diferencial

y 4y + 4y = 2 cos(2t).Por la Proposicion 1.13, las funciones e2t y te2t son soluciones l.i. de EDH asociada.De acuerdo con la Tabla 1, una solucion particular (de la ED no homogenea) es dela forma

yp(t) = B1 sen(2t) + B2 cos(2t).

Al sustituir esta expresion en la ED dada se encuentra que B1 = 1/4 y B2 = 0.Finalmente, por el Teorema 1.14, la solucion general esta dada por

y(t) = c1e2t + c2te2t 14 sen(2t).Si se imponen condiciones iniciales, se pueden determinar las constantes c1 y c2.

Estabilidad

Se ha visto como encontrar la solucion de la ED no homogenea

y + a1y + a0y = b(t), y(t0) = y0, y(t0) = y1,

esta solucion depende de las condiciones iniciales. Se dice que la ED

y + a1y + a0y = b(t)

es globalmente asintoticamente estable (GAE) si

lmt[c11(t) + c22(t)] = 0 c1, c2 R,

donde 1 y 2 son soluciones l.i. de la EDH asociada. En otras palabras, la ED esGAE si la solucion de la EDH asociada no depende de las condiciones inicialescuando t .Teorema 1.16. La ED (1.28) es GAE si y solo si las races, 1,2, de la ecuacion carac-terstica son tales que Re(1) < 0 y Re(2) < 0.

Demostracion. Se sigue de la Proposicion 1.13.

17

1.3. Ecuaciones diferenciales no lineales

En esta seccion se estudian las tecnicas para resolver algunas de las EDs (nolineales) de primer orden mas comunes.

Ecuaciones con variables separables

Si la funcion F en (1.9) es de la forma F(t, x) = f (t)g(x), se dice que (1.9) esuna ecuacion con variables separables o ecuacion separable (comparese con elEjercicio 1.9). Si, ademas, f y g son integrables y la funcion g no se anula, entonces t

t0

x() dg(x())

= t

t0f () d

mediante un cambio de variable (vease Bartle y Sherbert [1, Teorema 7.3.8, p. 279])se obtiene x(t)

x(t0)

dxg(x)

= t

t0f () d.

Ejemplo 1.17. Resolver la ED (1+ et)xx = et con la condicion inicial x(0) =

3.Solucion. Esta ED es separable y puede reescribirse como x(t)

3

x dx = t

0

e

1+ e, d.

Luego12[x2(t) 3] = ln(1+ et) ln(2),

de donde x(t) =

2 ln(1+ et) + 3 ln 4.

Ecuaciones exactas

Sean M, N : I B R, donde I, B son intervalos abiertos y no vacos. Una EDde primer orden escrita en la forma

M(t, x) + N(t, x)x = 0 (1.30)

es exacta en I B si existe una funcion F : I B R de clase C2 tal queFt(t, x) = M(t, x),

Fx(t, x) = N(t, x), (t, x) I B. (1.31)

En tal caso, la ecuacion (1.30) es equivalente a

Ft(t, x) +

Fx(t, x)x = 0.

18

Teorema 1.18. Sean : I B derivable y F : I B R que verifica (1.31). La funcion es solucion de (1.30) si y solo si satisface la relacion

F(t, (t)) = c (1.32)

donde c R es una constante.Demostracion. La funcion es una solucion de (1.30) si y solo si

Ft(t, (t)) +

Fx(t, (t))(t) = 0,

es decir,ddt

F(t, (t)) = 0,

si y solo si F(t, (t)) = c, para alguna constante c R.El teorema anterior afirma que si la ED (1.30) es exacta, entonces su solucion

esta dada (de manera implcita) por (1.32), la constante c se determina al imponeruna condicion inicial. El problema consiste en (i) determinar bajo que condiciones(impuestas sobre las funciones M y N) la ecuacion (1.30) es exacta y (ii) encontrarla funcion F. En la demostracion del Teorema 1.20, abajo, se construye la funcionF.

Lema 1.19. Sea f : I B R una funcion de clase C1. Entonces

x

tt0

f (, x) d = t

t0

fx(, x) d.

Demostracion. Ver Rudin [16, Teorema 9.42, pp. 236237].

Teorema 1.20. Sean M, N : I B R dos funciones de clase C1. La ecuacion (1.30) esexacta si y solo si

Mx

(t, x) =Nt

(t, x), (t, x) I B. (1.33)

Demostracion. Si la ED (1.30) es exacta, existe una funcion F de clase C2 que stisface(1.31), luego

Mx

(t, x) =2Fxt

(t, x)

=2Ftx

(t, x)

=Nt

(t, x)

para todo (t, x) I B.

19

Ahora supongase que se satisface (1.33). Defnase F : I B R

F(t, x) := t

t0M(, x) d +

xx0

N(t0, s) ds, (1.34)

donde (t0, x0) un punto arbitrario de I B. EntoncesFt(t, x) = M(t, x),

mas aun,

Fx(t, x) =

x

tt0

M(, x) d + N(t0, x)

= t

t0

Mx

(, x) d + N(t0, x) Lema 1.19

= t

t0

Nt

(, x) d + N(t0, x) por (1.33)

= N(t, x).

Por lo tanto la ecuacion (1.30) es exacta.

Los resultados sobre EDs exactas se pueden resumir en la siguiente obser-vacion.

Observacion 1.21. Una ED en la forma (1.30) es exacta si satisface (1.33). Si seimpone la condicion inicial x(t0) = x0, entonces la definicion (1.34) de F implicaque F(t0, x0) = 0. De esta manera, la solucion , que satisface la condicion inicial(t0) = x0, esta dada implcitamente por F(t, (t)) = 0.

Ejemplo 1.22. Resolver la ED x = (3t2 2tx)/(t2 2x).Solucion. La ED puede escribirse como 2tx 3t2 + (t2 2x)x = 0, la cual es exactaya que

x(2tx 3t2) =

t(t2 2x) = 2t.

De acuerdo con (1.34)

0 = t

t0(2x 32) d +

xx0(t20 2s) ds

= t2x t3 (t20x t30) + t20x x2 (t20x0 x20)= t2x t3 x2 (t30 + t20x0 x20).

La solucion esta dada implcitamente por

t2x t3 x2 = c,donde c = t30 + t20x0 x20.

20

Observacion 1.23. Otra forma de resolver una ED exacta se ilustra a continuacion.Puesto que se esta buscando una funcion F tal que F/t = M, entonces

F(t, x) =

M(t, x) dt + g(x)

ademas F/x = N, luego

x

M(t, x) dt +

dgdx(x) = N(t, x)

de donde se puede encontrar a la funcion g.

La ED del Ejemplo 1.22 puede resolverse usando la Observacion 1.23. En efecto,

F(t, x) =(2tx 3t2) dt + g(x)

= t2x t3 + g(x)

luego

t2 +dgdx(x) = t2 2x

de donde

g(x) =(t2 2x t2)dx

= x2.

De este modo se tiene que F(t, x) = t2x t3 x2, puesto que no hay una condicioninicial la solucion depende de una constante c, es decir,

t2x t3 x2 = c.

La ecuacion de Bernoulli

Una ecuacion de Bernoulli es una ED de la forma

x + a(t)x = b(t)xr, r R.

Cuando r = 0 se tiene una ED lineal de primer orden, vease Ejercicio 1.14. Si r = 1,entonces la ED es separable. En otro caso, la sustitucion y = x1r convierte la EDde Bernoulli en

y + (1 r)a(t)y = (1 r)b(t),la cual puede resolverse usando el Ejercicio 1.14.

La ecuacion de Riccati

21

Sean p, q, r funciones continuas en algun intervalo de numeros reales. Una EDescrita en la forma

x = p(t) + q(t)x + r(t)x2, k R.se conoce como ecuacion de Riccati. En general, este tipo de EDs no se puedenresolver explcitamente. Sin embargo, cuando se conoce una solucion particular ,se puede usar el cambio de variable

x = +1y

para transformar la ecuacion de Riccati en una ED lineal en la incognita y.

1.4. Sistemas de ecuaciones diferenciales ordinarias

1.5. Ejercicios

1.1 Probar que la funcion V, dada por (1.2), satisface la ecuacion funcional (1.1).

1.2 Considerese la ED (1.3), hacer la sustitucion x1 = y, x2 = y, . . . , xk = y(k1)para obtener una ecuacion de la forma (1.4). Demostrar que cada solucion de(1.3) induce una solucion para (1.4) y viceversa. Por esta razon se dice que (1.3)y (1.4) son equivalentes. Expresar el sistema de EDs

y1 = 6y1 7y2y2 = y1 + 34y2,

en la forma (1.4).

1.3 Verificar que las funciones (1.6) y (1.7) satisfacen la ecuacion (1.5). Determinarlas constantes c1, c2 para que se cumpla la condicion inicial x(0) = [4, 8].

1.4 Demostrar la afirmacion del Ejemplo 1.4. Sea c R+ y defnase c : R Rmediante

c(t) ={

0 si t (, c](t c)3 si t (c,).

Probar que c es solucion de la ED (1.8). Entonces (1.8) tiene una infinidad desoluciones.

1.5 Determinar si la funcion es solucion de la ecuacion diferencial correspondi-ente. La constante c R es arbitraria.(a) (t) = ln(c + et), x = etx,

(b) t = (t)ec(t)+1, x = xt(ln tln x) ,

22

(c) t = ln(c), x(t + x) = x,

(d) t(+ 1) = 2et, x = (t+1)(x+1)tx .

1.6 Mostrar que las funciones (t) = ct c2 (c R), (t) = t2/4, son solucionesde la ED x2 = tx x.

1.7 Sea f : I Rn una funcion integrable, donde I R es un intervalo. Cadacomponente fi (i = 1, . . . , n) satisface la desigualdad

| fi| fi | fi|,y puesto que la integral es monotona, se cumple

t

t0| fi(s)| ds

tt0

fi(s) ds t

t0| fi(s)| ds, t > t0.

Es decir, tt0 fi(s) ds tt0 | fi(s)| ds, t > t0. (1.35)

Que ocurre si t < t0? Usar la desigualdad (1.35) para demostrar que tt0 f (s) ds

1 tt0 f (s)1 ds

.1.8 Encontrar las primeras cuatro aproximaciones sucesivas k (k = 0, . . . , 3) para

la solucion de cada ED.

(a) x = 3x + 1, x(0) = 2,

(b) y = y2, y(0) = 1,

(c) y = y2 t, y(1) = 1,(d) x1 = x2, x2 = x1, x(0) = [0, 1],(e) x = t x, x(0) = 1, x(0) = 0.Se puede conjeturar la solucion en cada caso?

1.9 Supongase que la funcion F en (1.9) solo depende de t, es decir,

x = f (t).

Si f es integrable, probar que la funcion

(t) := t

t0f (s) ds + c,

satisface la ED anterior para cualquier constante c R. Cual debe ser el valorde la constante si x(t0) = x0?

23

1.10 Con base en el ejercicio anterior, encontrar la solucion de las siguientes EDs

(a) x = 3t + 1, x(0) = 2,

(b) y = 1t(1t) ,

(c) y = t2et, y(1) = 1,

(d) x = ct+d(ta)(tb) , a, b, c, d R,(e) x = 1et

1+et .

1.11 Demostrar que las soluciones de la ED (1.24) forman un espacio vectorial sobreR. Es cierto sobre C?

Sugerencia: Vease Pontriaguin [15, Seccion 1.5].

1.12 Probar que et y tet son l.i.

1.13 Probar que eat cos(bt) y eat sen(bt) son l.i.

1.14 En este ejercicio se considera la ED lineal de primer orden con coeficientesvariables

x + a(t)x = b(t), x(t0) = x0,

donde a, b son continuas en algun intervalo I R. Sea A : I R una funcionderivable tal que A = a.

(a) Demostrar queddt[x(t)eA(t)] = b(t)eA(t).

(b) Usar el inciso anterior para probar que la solucion de la ED puede es-cribirse como

x(t) = eA(t)[

x(t0)eA(t0) + t

t0b(s)eA(s) ds

].

A la funcion eA(t) se le conoce como factor integrante. Notese que A(t) esunica, salvo una constante aditiva.

(c) Identificar el factor integrante de la siguiente ED x+ 2tx = x. Encontrar susolucion si x(0) = 2.

(d) Resolver la ED x x tan(t) = esen(t) si t (0,pi/2).1.15 Considerar la ecuacion t2x + 2tx = 1 en el intervalo (0,).

(a) Demostrar que toda solucion tiende a cero cuando t .

24

(b) Encontrar la solucion que satisface (2) = 2(1)

1.16 Sea u : R R una de clase C2.(a) Si u es una funcion de utilidad, explicar por que se pide que u > 0 y u < 0.

(b) Se dice que u es una funcion de tipo CARA (constant absolute risk aver-sion) si

u(c)u(c)

= k,

donde k es una constante positiva. Encontrar la forma general de las fun-ciones u de tipo CARA y dar condiciones sobre los parametros para que usatisfaga las propiedades impuestas en (a).

(c) Se dice que u es de tipo HARA (hyperbolic absolute risk aversion) si

u(c)u(c)

=1

1c donde , son constantes. Encontrar la forma general de las funciones ude tipo HARA y dar condiciones sobre los parametros para que u satisfagalas propiedades impuestas en (a).

Sugerencia: Considerar dos casos = 1 y 6= 1.

(d) Se dice que u es de tipo CRRA (constant relative risk aversion) si

cu(c)u(c)

= ,

donde es una constante positiva. Encontrar la forma general de las fun-ciones u de tipo CRRA y dar condiciones sobre los parametros para que usatisfaga las propiedades impuestas en (a).

Sugerencia: Considerar dos casos = 1 y 6= 1.

25

2. Optimizacion dinamica en tiempo discreto

2.1. Planteamiento de problemas dinamicos en tiempo discreto

Las componentes de un problema de control optimo (PCO) en tiempo discreto ycon horizonte finito se especifican a continuacion.

(a) Un sistema dinamico, con espacio de estados X Rn y controles admisiblesU Rm, que satisface el sistema de ecuaciones en diferencias

xt+1 = f (t, xt, ut) para t = 0, 1, . . . , T 1, (2.1)

con estado inicial x0.

(b) Una funcion objetivo, que depende de la estrategia pi := {u0, u1, . . . , ut1} ydel estado inicial x0 = x (mismos que determinan la trayectoria de estados deacuerdo con (2.1)),

v(pi, x) :=T1t=0

R(t, xt, ut) + S(xT), (2.2)

donde las funciones R y S toman valores reales. Cada termino R(t, xt, ut) puedeinterpretarse como el costo (en el caso de minimizacion) o recompensa (si elproblema es de maximizacion) por etapa. La catidad S(xT) es conocida comovalor de salvamento.

El problema en cuestion es optimizar (ya sea maximizar o minimizar) la funcionobjetivo (2.2) sujeto al sistema dinamico (2.1) y la condicion inicial x0 = x, masespecficamente:

opt{

v(pi, x) =T1

t=0R(t, xt, ut) + S(xT)

}{ut}T1t=0

s. a : xt+1 = f (t, xt, ut) t = 0, 1, . . . , T 1,u0, . . . , uT1 U,x0 dado.

(2.3)

Si el PCO tiene horizonte infinito, el sistema dinamico adopta la forma

xt+1 = f (t, xt, ut) para todo t = 0, 1, 2, . . . ,

y la funcion objetivo es

t=0

R(t, xt, ut).

26

En este caso, a diferencia de (2.2), no se tiene una funcion de salvamento. El pro-blema puede sintetizarse como

opt{

v(pi, x) =

t=0R(t, xt, ut)

}{ut}t=0S. a : xt+1 = f (t, xt, ut) t = 0, 1, 2, . . . ,

ut U t = 0, 1, 2, . . . ,x0 dado.

En las Secciones 2.2 y 2.3 se estudian problemas con horizonte finito, mientrasque la Seccion 2.3 esta dedicada a aquellos con horizonte infinito.

2.2. El metodo de los multiplicadores de Lagrange

Considerese el PCO (2.3) en el caso especfico de maximizacion (si el problemaes de minimizacion, el Teorema 2.1 sigue siendo valido con los cambios adecua-dos). Para usar el metodo de los multiplicadores de Lagrange conviene escribirexplictamente cada una de las T restricciones

max{

v(pi, x0) =T1

t=0R(t, xt, ut) + S(xT)

}{ut}T1t=0

s. a : f (0, x0, u0) x1 = 0f (1, x1, u1) x2 = 0

...f (T 1, xT1, uT1) xT = 0.

(2.4)

Ahora defnase el Lagrangiano o funcion Lagragiana

L (pi, x,) :=T1t=0

R(t, xt, ut) + S(xT) +T1t=0

t [ f (t, xt, ut) xt+1]

donde, pi = {u0, u1, . . . , uT1}, x = {x1, x2, . . . , xT}, = {0,1, . . . ,T1} y x0dado. Suponiendo que las funciones R, S y f son continuamente diferenciables ylos conjuntos X, U son abiertos, las condiciones (necesarias) de Lagrange para unaestrategia optima son

0 =L

ut=

Rut

+ t fut

para t = 0, 1, . . . , T 1 (2.5)

0 =L

xt=

Rxt t1 + t f

xtpara t = 1, 2, . . . , T 1 (2.6)

0 =L

xT=

dSdxT T1 (2.7)

0 =L

t= f (t, xt, ut) xt+1 para t = 0, 1, . . . , T 1, (2.8)

27

la existencia de los multiplicadores en el sistema de ecuaciones esta garantizada porel Teorema de Lagrange, bajo la hipotesis adicional de que la matriz jacobiana delas restricciones sea de rango completo.

Teorema 2.1 (Principio del maximo de Pontryagin). Supongase que se cumplen lashipotesis del Teorema de Lagrange para el problema (2.3) y sea {u0 , u1 , . . . , uT1} uncontrol optimo junto con {x0 , x1 , . . . , xT} la trayectoria de estados correspondiente conestado inicial x0 = x0. Entonces existen vectores adjuntos {0 ,1 , . . . ,T1}, talesque el Hamiltoniano

H(t, x, u,) := R(t, x, u) + f (t, x, u),

satisface la ecuacion adjunta

t1 =Hx

(t, xt , ut ,t ) para t = 1, 2, . . . , T 1, (2.9)

con la condicion terminalT1 =

dSdx(xT), (2.10)

ademas, la condicion de maximizacion del Hamiltoniano

Hu

(t, xt , ut ,t ) = 0 para t = 0, 1, . . . , T 1, (2.11)

yxt+1 = f (t, x

t , ut ) para t = 0, 1, . . . , T 1 (2.12)

con el estado inicial x0 dado.

Demostracion. Las condiciones (2.9) y (2.10) se siguen de la definicion del Hamil-toniano y de las condiciones de Lagrange (2.6) y (2.7). Asimismo, las ecuaciones(2.11) y (2.12) son equivalentes a (2.5) y (2.8).

Observacion 2.2 (Condiciones suficientes). De los resultados de optimizacion estaticase sigue que si (pi, x,) satisfacen las condiciones (2.9)(2.12) y el Hamiltonianoes una funcion concava con respecto a (x, u), entonces (pi, x,) es optimo parael problema (2.4).

2.3. Programacion dinamica. El Principio de optimalidad y la e-cuacion de Bellman

En esta seccion se presenta otra tecnica para resolver un PCO se conoce comoprogramacion dinamica y esta basada en el Principio de optimalidad de Bellman.

28

Al igual que en la Seccion 2.2, solo se estudia el problema de maximizacion (el otrocaso es totalmente analogo)

max{

v(pi, x0) =T1

t=0R(t, xt, ut) + S(xT)

}{ut}T1t=0

s. a : xt+1 = f (t, xt, ut) t = 0, 1, . . . , T 1,u0, . . . , uT1 U,x0 dado.

(2.13)

Proposicion 2.3 (Principio de optimalidad de Bellman). Sea pi = {u0 , u1 , . . . , uT1}una estrategia optima para el problema (2.13) y {x0 , x1 , . . . , xT} la trayectoria de estadoscorrespondiente, en particular, x0 = x0. Entonces, para cualquier tiempo s {0, 1, . . . , T1}, la estrategia truncada

pis = {us , . . . , uT1}es optima para el subproblema

max{

v(pi, xs ) =T1

t=sR(t, xt, ut) + S(xT)

}{ut}T1t=ss. a : xt+1 = f (t, xt, ut) t = s, . . . , T 1,

us, . . . , uT1 U,xs dado.

(2.14)

Demostracion. Supongamos que la estrategia pis no es optima para el problema(2.14), entonces existen otros controles, digamos

a = {as , . . . , aT1},que resuelven (2.14), es decir,

v(pis , xs ) < v(a, xs ).

Construimos ahora la estrategia

pi = {u0 , . . . , us1, as , . . . , aT1}y notemos que {u0 , . . . , us1} lleva el sistema del estado inicial x0 al estado xs , porlo que pi es un control optimo de (2.13), i.e.

v(pi, x) < v(pi, x)

lo cual es una contradiccion.

Las ecuaciones (2.15) y (2.16), del siguiente teorema, se conocen como algorit-mo de programacion dinamica; si no hay una funcion de salvamento S solo setiene (2.16), que tambien es llamada ecuacion de Bellman.

29

Teorema 2.4. Sean JT, JT1, . . . , J0 las funciones sobre X, definidas como

JT(xT) = S(xT) (2.15)

y para s = T 1, T 2, . . . , 0,Js(xs) = maxus

{R(s, xs, us) + Js+1[ f (s, xs, us)]}. (2.16)Si para cada s = 0, 1, . . . , T 1, existe una funcion us : X U que alcanza el maximoen el lado derecho de (2.26) para todo x X, entonces la estrategia

pi = {u0 , u1 , . . . , uT1}es optima y la funcion de valor

V(x, s) := maxpi{v(pi, xs) | xs = x} = max

{ut}T1t=s

{T1t=s

R(t, xt, ut) + S(xT) xs = x}

coincide con Js, i.e.V(x, s) = Js(x) 0 s T, x X.

Demostracion. La demostracion consta de tres pasos.

Paso 1. Si cada uno de los problemas en la siguiente igualdad tiene solucion, en-tonces

maxyA, zB

{g(y) + h(y, z)} = maxyA{g(y) +max

zB{h(y, z)}}.

En efecto, notemos que

maxyA, zB

{g(y) + h(y, z)} g(y) + h(y, z) y A, z B

en particular,

maxyA, zB

{g(y) + h(y, z)} g(y) +maxzB{h(y, z)} y A

de donde

maxyA, zB

{g(y) + h(y, z)} maxyA{g(y) +max

zB{h(y, z)}}. (2.17)

Por otro lado

g(y) + h(y, z) g(y) +maxzB{h(y, z)} y A, z B

maxyA{g(y) +max

zB{h(y, z)}} y A, z B,

luego,

maxyA, zB

{g(y) + h(y, z)} maxyA{g(y) +max

zB{h(y, z)}}. (2.18)

La igualdad requerida se sigue de las desigualdades (2.17) y (2.18).

30

Paso 2. Para cualesquiera j, r {0, 1, . . . , T 1} con j < r, se verifica que xr de-pende unicamente del estado xj y de los controles ut para j t r 1.Este hecho se sigue de la ecuacion (2.1)

xr = f (r 1, xr1, ur1)=: g1(xr1, ur1)= g1[ f (r 2, xr2, ur2), ur1]=: g2(xr2, ur2, ur1)...=: grj(xj, uj, . . . , ur2, ur1).

Paso 3. Usando los Pasos 1 y 2, la funcion de valor V(x, 0) se puede escribir como

V(x, 0) = max{ut}T1t=0

{T1

t=0R(t, xt, ut) + S(xT)

}

= maxu0

{R(0, x0, u0) +maxu1

{R(1, x1, u1) + . . .+

maxuT1{R(T 1, xT1, uT1) + S(xT)}

}},

sujeto a la dinamica

xt+1 = f (t, xt, ut) para todo t = 0, 1, . . . , T 1,y estado inicial x0.

DefinimosJT(xT) = S(xT),

JT1(xT1) = maxuT1{R(T 1, xT1, uT1) + JT(xT)}

con la condicion xT = f (T 1xT1, uT1), y as sucesivamente, hastaJ1(x1) = maxu1

{R(1, x1, u1) + J2(x2)}

donde x2 = f (1, x1, u1), finalmente,

J0(x0) = maxu0{R(0, x0, u0) + J1(x1)}

con x1 = f (0, x0, u0).

Las igualdades

V(x, s) = Js(x) 0 s T, x X,son consecuencia del Principio de optimalidad de Bellman.

31

Observacion 2.5. Al resolver un PCO usando el Principio del maximo de Pontrya-gin (Teorema 2.1) se obtienen estrategias de lazo abierto (openloop), es decir, loscontroles dependen unicamente del parametro temporal

ut = (t),

mientras que al usar programacion dinamica (Teorema 2.4) se encuentran estrate-gias de retroalimentacion (feedback), tambien llamadas estrategias de lazo cerra-do (closed loop) o estrategias markovianas y son de la forma

ut = (t, xt),

si ademas la funcion no depende del tiempo t (unicamente del estado), se diceque la estrategia es estacionaria.

2.4. Problemas con horizonte infinito

En esta seccion se considera una clase particular de problemas con horizonte in-finito, llamados problemas estacionarios con descuento ya que la funcion de re-compensa por etapa es de la forma

R(t, x, u) = tr(x, u).

Las funciones r y f solo dependen del estado x y del control u, pero no dependendel tiempo t, por lo cual se dice que el PCO es estacionario. El problema que sequiere estudiar es de la forma

max{

v(pi, x0) =

t=0r(xt, ut)

}{ut}t=0s. a : xt+1 = f (xt, ut) t = 0, 1, 2, . . . ,

ut (xt) U t = 0, 1, 2, . . . ,x0 dado,

(2.19)

donde

(a) X Rm es el espacio de estados,(b) U Rn es el espacio de controles,(c) el numero real 0 < < 1 es un factor de descuento,

(d) r : XU R es la funcion de recompensa por etapa,(e) f : XU X es la funcion de transicion, y

32

(f) : X U es una correspondencia tal que (x) 6= para todo x X.El punto x0 se conoce como estado inicial.

Una sucesion pi = {ut}t=0 U es una poltica, desde el estado inicial x0, siut (xt),

donde {xt}t=0 es tal que xt+1 = f (xt, ut) para todo t = 0, 1, . . .. Es importante notarque a cada poltica pi = {ut}t=0 le corresponde una unica trayectoria de estados{xt}t=0. Al conjunto de todas las polticas desde x0 lo denotamos por(x0). Puestoque (x) 6= para todo x X, tenemos que el conjunto de polticas (x0) es novaco para cualquier estado inicial x0.

Hipotesis 2.6. Para cada poltica pi (x0), existe el

lmT

T

t=0

tr(xt, ut), (2.20)

y puede ser o .Dado un numero real h, se denotan su parte positiva y su parte negativa,

medianteh+ := max{0, h}, h := max{0,h},

respectivamente. De este modo, h = h+ h. Sea pi (x0) una poltica arbitraria.Si

lmT

T

t=0

tr+(xt, ut) < ,

o

lmT

T

t=0

tr(xt, ut) < ,

o ambos, entonces existe el lmite en (2.20) (aunque puede ser o ).En virtud de la Hipotesis 2.6, tiene sentido definir la funcion

v(pi, x0) :=

t=0

tr(xt, ut)

para cada poltica pi. Asimismo, definimos la funcion de valor

V(x0) := sup{v(pi, x0) | pi (x0)}. (2.21)El supremo en (2.21) siempre existe (aunque puede ser o ). El problema esencontrar condiciones para que exista una poltica pi (x0) que alcance dichosupremo, es decir,

sup{v(pi, x0) | pi (x0)} =

t=0

tr(xt , ut ),

equivalentemente, V(x0) = v(pi, x0).

33

Observacion 2.7. La funcion de valor V satisface las siguientes propiedades.

(a) Si |V(x0)| < , entoncesv(pi, x0) V(x0) pi (x0), (2.22)

y para cada > 0, existe pi (x0) tal queV(x0) < v(pi, x0). (2.23)

(b) Si V(x0) = , entonces existe una sucesion de polticas, pin (x0) (n =1, 2 . . .), tal que

lmn v(pin, x0) = .

(c) Si V(x0) = , entoncesv(pi, x0) = pi (x0).

La ecuacion de Bellman

Sea pi (x0) una poltica arbitraria. Observese quev(pi, x0) = r(x0, u0) + v(pi, x1), (2.24)

donde v(pi, x1) := r(x1, u1) + (x2, u2) + 2r(x3, u3) + . . ..Los Teoremas 2.7 y 2.8 muestran la relacion que hay entre la siguiente ecuacion

funcional, conocida como ecuacion de Bellman,

W(x) = supy(x)

{r(x, y) + W[ f (x, y)]} x X, (2.25)

y la funcion de valor V.

Teorema 2.8 (Bellman). La funcion de valor satisface la ecuacion de Bellman.

Demostracion. Sean x0 X y pi (x0) arbitrarios. Supongase que V(x0) es finito.De (2.22) y (2.24) se tiene

V(x0) r(x0, u0) v(pi, x1) pi (x1), u0 (x0).Entonces

V(x0) r(x0, x1) + V(x1) u0 (x0). (2.26)De (2.23) y (2.24) se sigue que para todo > 0 existe u0 (x0) tal que

V(x0) < r(x0, u0) + V(x1). (2.27)

34

Por (2.26) y (2.27) se concluye que V satisface la ecuacion de Bellman, es decir, secumple la igualdad

V(x) = supy(x)

{r(x, y) + V[ f (x, y)]} x X.

Si V(x0) es igual a o , usando la Observacion 2.7(b)(c), se prueba que Vsatisface la ecuacion de Bellman.

Teorema 2.9 (Bellman). Sea W : X R una funcion acotada. Si W es una solucion dela ecuacion de Bellman, entonces W = V.

Demostracion. Sean W una funcion acotada que satisface (2.25) y x0 X arbitrario.Hay que demostrar que

W(x0) = sup{v(pi, x0) | pi (x0)}.Es decir, W(x0) debe satisfacer las siguientes dos condiciones

v(pi, x0) W(x0) pi (x0), (2.28)y para cada > 0 existe una poltica pi (x0) tal que

W(x0) < v(pi, x0). (2.29)Notese que

W(x0) r(x0, u0) + W[ f (x0, u0)] u0 (x0).Mas aun, para todo ut (xt) (t = 0, 1, . . . , T), se cumple

W(x0) T

t=0

tr(xt, ut) + T+1W[ f (xT, uT)],

de donde se tiene (2.28).Por otro lado, para > 0 arbitrario se tienen las siguientes desigualdades

W(x0) /2 < r(x0, u0) + W[ f (x0, u0)] para algun u0 (x0)W(x1) /22 < r(x1, u1) + W[ f (x1, u1)] para algun u1 (x1)

...

W(xt) /2t+1 < r(xt, ut) + W[ f (xt, ut)] para algun ut (xt).Esta construccion define una poltica {ut} desde el estado inicial x0 y la corres-

pondiente trayectoria de estados {xt}. Para cualquier numero natural T

W(x0) 2T

t=0

(/2)t 0 dado,

(2.37)

donde 0 < < 1. La variable de control ct representa el consumo y la variable deestado kt representa el capital, ambas en el perodo t = 0, 1, . . ..

Proposicion 2.18. El problema de crecimiento optimo (2.37) satisface la Hipotesis 2.6.

Demostracion. De acuerdo con las restricciones del problema (2.37)

kt = kt1 ct1 kt1 t N.

Luego

r(xt, ut) = ln(ct)= ln(kt kt+1) ln(kt )= ln(kt). (2.38)

38

Por otro lado

ln(kt) ln(kt1) 2 ln(kt2)...

t ln(k0). (2.39)

Entonces, por (2.38) y (2.39),

lmT

T

t=0

tr+(xt, ut) lmT

T

t=0

tt+1| ln(k0)|

=

1 | ln(k0)|.

Por lo que existe el lmite (2.20) y puede ser .Puesto que el modelo de Brock y Mirman no satisface la Hipotesis 2.13, no es

posible usar el Teorema 2.16 para garantizar la existencia de soluciones.

Teorema 2.19. Considerese el problema (2.19). Sea x0 X y L el operador dado por (2.35).Supongase que existe una funcion V : X R tal que para cualquier poltica pi (x0)y su correspondiente trayectoria de estados {xt}(a) L[V] V,(b) lm

t tV(xt) 0,

(c) v(pi, x0) V(x0).Si la funcion W, dada por

W(x) := lmt L

t[V](x), x X, (2.40)

es solucion de la ecuacion de Bellman, entonces W = V.

Demostracion. Por la condicion (a), se tiene que Lt+1[V] Lt[V] para todo t N.Entonces, para cada x X, la sucesion {Lt[V](x)} es decreciente, por lo que ellmite en (2.40) existe (aunque puede ser ).

De esta forma, la funcion W esta bien definida y W V. Mas aun, por (b) setiene

lmt

tW(xt) 0,y, en virtud de la Observacion 2.10,

W V. (2.41)

39

Por otro lado, a partir de (c) se tiene que V V. Recuerdese que L cumplelas Condiciones de Blackwell, en particular, L[V] L[V]. Por el Teorema 2.8, lafuncion de valor satisface la ecuacion de Bellman, i.e., L[V] = V. Entonces V L(V), de donde, V = L[V] L2[V], en general,

V Lt[V] t N.Puesto que {Lt[V]} es decreciente se debe cumplir la desigualdad

V W. (2.42)La conclusion se tiene de (2.41) y (2.42).

Proposicion 2.20. Considerese el Modelo de Brock y Mirman. La funcion

V(k) :=

1 ln(k)

satisface las condiciones (a)(c) del Teorema 2.19.

Demostracion. Sea pi = {ct} (k0) una poltica y {kt} la trayectoria de estadosasociada. Notese que

L[V](k) = maxc[0,k]

{ln(c) + V(k c)}

= maxc[0,k]

{ln(c) +

1 ln(k c)

}(2.43)

= V(k) + a1, (2.44)

dondea1 :=

1 ln() + ln(1 ).

El maximo en el lado derecho de (2.43) se alcanza cuando c = (1 )k. Puestoque a1 < 0, se tiene (a).

La condicion (b) es una consecuencia inmediata de la desigualdad (2.39).Finalmente, por las desigualdades (2.38) y (2.39)

v(pi, k0) = lmT

T

t=0

t ln(ct)

lmT

T

t=0

tt+1 ln(k0)

=

1 ln(k0)= V(k0).

Es decir, se cumple (c).

40

Para resolver el Modelo de Brock y Mirman, se tiene que encontrar la funcionW dada por (2.40). De (2.44) se sigue que

L2[V](k) = V(k) + a1 + a1,

en general,Lt[V](k) = V(k) + a1(1+ + . . . + t1).

Luego

W(k) := lmt L

t[V](k)

= V(k) +a1

1 =

1 ln(k) +1

1 [

1 ln() + ln(1 )]

.

Por el Ejercicio 1.1, la funcion W satisface la equacion de Bellman. Mas aun, porel Teorema 2.19, W es la funcion de valor asociada al Modelo de Brock y Mirman.Usando las Proposiciones 2.11 y 2.12 se puede calcular la poltica optima. A partirde (2.32), la poltica optima {ct } y la trayectoria de estados {kt} satisfacen

V(kt) +a1

1 = ln(ct ) + V(k

t ct ) +

a11

= maxct

{ln(ct) + V(kt ct) +

a11

},

de donde se encuentra la estrategia markoviana ct = (1 )kt para t = 0, 1, . . ..

2.6. Ecuaciones de Euler

En algunos modelos hay que encontrar una sucesion {xt}Tt=1 que maximize unafuncion objetivo de la forma

T1t=0

F(t, xt, xt+1), x0 dado. (2.45)

Observacion 2.21. En el problema anterior no aparece explcitamente la variablede control, sin embargo, este se puede replantear de manera equivalente usando laformulacion (2.13).

Si la funcion F es diferenciable y los valores {xt }Tt=0 son optimos e interiores,entonces deben satisfacer las ecuaciones de Euler

Dxt F(t 1, xt1, xt) + Dxt F(t, xt, xt+1) = 0, t = 1, . . . , T 1,DxT F(T 1, xT1, xT) = 0.

(2.46)

Cuando el horizonte del problema es infinito las ecuaciones de Euler se reducen a

Dxt F(t 1, xt1, xt) + Dxt F(t, xt, xt+1) = 0, t = 1, 2, . . . . (2.47)

41

Teorema 2.22. Considerese el problema

max{xt+1}t=0X

{

t=0

tF(xt, xt+1) x0 = x dado

}, (2.48)

donde

(a) el espacio de estados X es un subconjunto abierto de Rn++,

(b) para cada y, la funcion F(, y) es creciente en cada una de sus primeras n variables,(c) F(, ) es concava.Si {xt }t=0 (en particular, x0 = x) satisface las ecuaciones de Euler

Dxt F(xt1, xt) + Dxt F(xt, xt+1) = 0, t = 1, 2, . . . , (2.49)

y la condicion de tranversalidad

lmt

tDxt F(xt , xt+1) xt = 0, (2.50)

entonces {xt+1}t=0 es optimo para el problema (2.35).Demostracion. Sea {xt+1}t=0 cualquier sucesion en X, con x0 = x. Puesto que F esconcava

F(xt , xt+1) F(xt, xt+1) Dxt F(xt , xt+1) (xt xt)+Dxt+1 F(xt , xt+1) (xt+1 xt+1).Defnase T := T1t=0

t[F(xt , xt+1) F(xt, xt+1)], entonces

T T1t=0

t[Dxt F(xt , xt+1) (xt xt) + Dxt+1 F(xt , xt+1) (xt+1 xt+1)]

T1t=1

t1[Dxt F(xt1, x

t ) + Dxt F(x

t , xt+1)] (xt xt)

+T1DxT F(xT1, x

T) (xT xT)

= 0+ T1[DxT F(xT, xT+1)] (xT xT) por (2.36)= TDxT F(x

T, xT+1) xT TDxT F(xT, xT+1) xT

TDxT F(xT, xT+1) xT por (a) y (b).

Por la condicion de transversalidad lmT T 0, es decir,

t=0

tF(xt , xt+1)

t=0

tF(xt, xt+1).

42

2.7. Ejercicios

2.1 Sea xt la riqueza de un individuo en el tiempo t. En cada etapa t, el individuodecide la proporcion ut de xt para consumir, dejando la proporcion restante1 ut para ahorrar. Suponga que la riqueza gana intereses a una tasa 1 > 0y que la riqueza inicial x0 esta dada.

(a) Explique economicamente la relacion

xt+1 = (1 ut)xt, t = 0, 1, . . . , T 1.

(b) Suponga que el individuo desea maximizar su utilidad total dada porTt=0 U(t, utxt). Escriba el correspondiente problema dinamico, con las res-tricciones adecuadas, e identifique las variables de estado y de control.

2.2 Suponga que se tiene una cantidad C de un recurso que se debe repartir (to-talmente) entre N actividades. Si a la actividad k se le asigna una cantidaduk, se obtiene un beneficio b(k, uk). Si se quiere determinar la distribucion delrecurso que maximiza los beneficios agregados, exprese esta situacion comoun PCO.

2.3 Se dispone de una cantidad x0 de un bien. En cada uno de los T proximosperodos (iniciando en t = 0 hasta t = T 1) se puede anadir la cantidadque se desee del bien, que se va acumulando. Transcurridos los T perodos, sevendera la cantidad total del bien a un precio unitario p. Si en el perodo t seanade la cantidad ut, se incurre en un costo de cu2t . Suponiendo que hay unfactor de descuento temporal 0 < < 1, describa esta situacion mediante unPCO.

2.4 Resuelva el problema del Ejercicio 2.2, usando el Principio del maximo dePontryagin, si b(k, u) =

u (el beneficio no depende de la actividad, solo de

la cantidad asignada).

2.5 El gestor de una mina debe determinar el plan optimo de extraccion de mineralut, para t = 0, 1, 2, 3, 4, 5, 6. La mina debe abandonarse en t = 7. Se supone quetodo el mineral que se extrae se vende al precio p = 1. El coste de extracciones

c(ut, xt) =u2txt

, (2.51)

donde xt representa la cantidad de mineral al comienzo del perodo t.

(a) Calcule las derivadas parciales del coste en (2.51) e interprete los signos delas mismas.

43

(b) Suponga que la tasa de interes es de 0.04. Explique por que la funcionobjetivo es de la forma

6

t=0

0.96t(

ut u2t

xt

).

(c) Escriba el sistema dinamico asociado y resuelva el problema, usando elprincipio del maximo de Pontryagin, si x0 = 1250.

Respuesta: (u0, u1, u2, u3, u4, u5, u6, u7) = (262.5, 227.1, 190.1, 154, 129, 109.2, 89.1).

2.6 Sea xt el valor de los activos de un inversionista en el tiempo t, y sea ut elconsumo en el mismo perodo. Suponga que los activos en el tiempo t + 1 sonproporcionales al ahorro xt ut hecho en t,

xt+1 = at(xt ut), at > 0, t = 0, 1, . . . , T 1.Asuma que los activos iniciales x0 > 0 y los parametros at estan dados. Supon-ga que la recompensa por etapa es

R(t, x, u) = tu1,

donde , (0, 1). Si al final del horizonte temporal el inversionista tiene unautilidad S(xT) = T Ax

1T

(a) formule el correspondiente PCO,

(b) resuelvalo usando programacion dinamica.

2.7 Resuelva el siguiente problema usando programacion dinamica

max

{3

t=0

(1+ xt u2t ) xt+1 = xt + ut, x0 = 0

}.

Encuentre ademas las funciones Js (s = 4, 3, 2, 1, 0) dadas por (2.15)(2.16).

Sugerencia: Considere S(x4) = 0.

Respuesta: (u0, u1, u2, u3) = ( 32 , 1,12 , 0).

2.8 Resuelva el problema anterior usando el principio del maximo de Pontryagin.

2.9 Encuentre las estrategias markovianas y las de lazo abierto que resuelven elsiguiente problema

max

{T1t=0

(2

3utxt

)+ ln(xT)

xt+1 = xt(1+ utxt), x0 > 0, ut 0}

.

44

Sugerencia: Observe que JTk(x) = ln x + kC, k = 0, 1, . . . , T, donde C es una constante.

Respuesta: ut (xt) = 12xt , ut = (2x0)1( 23 )

t.

2.10 En el Ejercicio 2.1 considere la funcion de recompensa por etapa

U(t, utxt) = (1+ r)t

utxt, r > 0.

Calcule us (x) para s = T, T 1, T 2.2.11 Sustituya la funcion objetivo del Ejercicio 2.1 por Tt=0(1+ r)tutxt.

(a) Calcule uT(x), uT1(x).

(b) Muestre que existen constantes Ps (que dependen de , r) tales que Js(x) =Psx para s = 0, 1, . . . , T. Encuentre J0(x) y los valores optimos de uo, . . . , uT

Sugerencia: Considere dos casos < 1 y 1.

2.12 Resuelva el siguiente problema usando programacion dinamica

maxut[0,1]

{T

t=0

(3 ut)x2t xt+1 = xtut, x0 dado

}.

2.13 Considere el problema

maxutR

{T1t=0

(eut) exT xt+1 = 2xt ut, x0 dado

}.

(a) Calcule JT(x), JT1(x), JT2(x).

(b) Muestre que Jt(x) = tex y encuentre una ecuacion en diferencias parat.

2.14 Resuelva el Ejercicio 2.10 cuando r = 0.

2.15 Considere el siguiente problema de crecimieto economico

max

{

t=0

t ln ct

kt+1 = Akt ct, k0 dado}

,

donde , (0, 1), A > 0 y ct [0, kt ] para t = 0, 1, 2, . . ..(a) Interprete economicamente este problema.

(b) Suponga que existe una solucion y encuentrela. Sugerencia: Suponga que la funcionde valor es de la forma V(k) = E ln(k) + F. Use la ecuacion de Bellman para encontrar las

constantes E, F.

45

(c) Pruebe que la sucesion {kt} es convergente.(d) Encuentre el punto de equilibrio del capital y determine si es estable.

2.16 Suponga que el siguiente PCO tiene solucion y encuentrela usando la ecuacionde Bellman (2.20)

maxut(0,1)

{

t=0

t(utxt)1 xt+1 = a(1 ut)xt, x0 dado

},

donde a es un parametro positivo, , (0, 1) y a1 < 1.

Sugerencia: Suponga que V(x) = kx1, para alguna constante k.

2.17 Resuelva el siguiente problema asumiendo que tiene solucion

maxutR

{

t=0

t(eut 1

2ext

) xt+1 = 2xt ut, x0 dado}

,

donde (0, 1).

Sugerencia: Suponga que V(x) = ex, para alguna constante positiva .

2.18 (CruzSuarez y MontesdeOca (2008)) Considere el problema de maximizacion

max{ f (x, ) | x A()},

donde A : Rm es una correspondencia con valores convexos, Rn yf : H R, con

H := {(x, ) | x A(), }.Suponga que se cumplen las siguientes hipotesis

(S1) f C2(int(H)), ademas, Dxx f (, ) es definida negativa para cada ,(S2) hay una funcion h : Rm tal que h() int(A()), y

V() := max{ f (x, ) | x A()} = f (h(), ) . (2.52)

Para cada int(), demuestre lo siguiente:(a) Dx f (h(), ) = 0,

(b) la matriz Dxx f (, ) es invertible,(c) la funcion h es diferenciable y Dh() = Dx f (h(), )[Dxx f (h(), )]1,(d) la funcion V es diferenciable y V() = Dx f (h(), ) Dh()+D f (h(), ),

46

(e) de hecho, V() = D f (h(), ).

Concluya que V C2(int()) y encuentre una expresion para V.

Sugerencia: En el inciso (c) use el Teorema de la funcion implcita.

V() = Dx f (h(), ) Dh() + D f (h(), ).

2.19 (CruzSuarez y MontesdeOca (2008)) Sean {Vn} las funciones definidas por(2.36), correspondientes al problema de crecimiento economico del Ejercicio2.15, con A = 1.

(a) Use el problema anterior para demostrar que

Vn(k) =

k

n1t=0

()t n = 1, 2, . . . .

(b) Del inciso (a) concluya que

Vn(k) = An ln k + Mn, n(k) =k

An+1, n = 1, 2, . . . ,

donde An = n1t=0 ()t y Mn es una constante de integracion.

(c) Use (2.36) para probar que

Mn Mn1 = ln An + An1 ln(

An 1An

), n = 1, 2, . . . .

(d) Por que la sucesion {Mn} es convergente?(e) Encuentre lmn Mn y lmn An.

(f) Determine la funcion de valor V(k), as como la poltica estacionaria (k).

2.20 Considere el problema

max

{

t=0

tU(ct) xt+1 = (xt + yt ct), x0 dado

}, (2.53)

donde U es una funcion de utilidad estrictamente concava y de clase C2, {yt}son constantes dadas.

(a) Use las ecuaciones de Euler para deducir la siguiente relacion

U(ct1)U(ct)

= .

47

(b) De esta igualdad concluya que el consumo es constante si = 1, crecientecuando > 1 y decreciente en el caso < 1.

2.21 Considere el problema de crecimiento economico

max

{

t=0

tU(ct) kt+1 = f (kt) ct, k0 dado

},

donde U es una funcion de utilidad que satisface U(c) > 0, U(c) < 0 ylmc0+ = ; mientras que la funcion de produccion f satisface f (k) > 0 yf (k) < 0. Demuestre que se cumple la relacion

U(ct+1)

U(ct)f (kt+1) = 1.

2.22 (Programacion dinamica estocastica) El objetivo de este ejercicio es generalizarel Teorema 2.4 al caso estocastico. Suponga que el estado del sistema evolu-ciona de acuerdo con

xt+1 = f (t, xt, ut, t), t = 0, 1, . . . , T 1, (2.54)donde {t} es una sucesion de variables aleatorias independientes y cada ttiene una distribucion de probabilidad

Pt( | xt, ut)que no depende de las perturbaciones anteriores t1, . . . , 0. La funcion obje-tivo, que depende de la poltica (markoviana) pi := {u0(x0), . . . , ut1(xt1)} ydel estado inicial x0 = x, es de la forma

v(pi, x) := E

[T1t=0

R(t, xt, ut, t) + S(xT)

]. (2.55)

El problema es encontrar una poltica pi que maximice (2.55) sujeto a (2.54) yla condicion inicial x0. Bosqueje la demostracion del siguiente resultado:

Teorema 2.23. Sean JT, JT1, . . . , J0 funciones definidas mediante

JT(xT) = S(xT) (2.56)

y para s = T 1, T 2, . . . , 0,Js(xs) = maxus

E{R(s, xs, us, s) + Js+1[ f (s, xs, us, s)]}, (2.57)donde la esperanza se calcula con respecto a la distribucion de probabilidad de s,que puede depender de xs y us. Si para cada s = 0, 1, . . . , T 1, existe una funcionus : X U que alcanza el maximo en el lado derecho de (2.57), entonces la estrategia

pi = {u0 , u1 , . . . , uT1}es optima.

48

Observacion 2.24. Si el problema es de horizonte infinito, con funcion objetivo

v(pi, x0) = E

t=0

tr(xt, ut),

y ley de movimiento xt+1 = f (xt, ut, t), bajo ciertas hipotesis (ver Stokey yLucas (1989) o HernandezLerma y Lasserre (1996)), la ecuacion de Bellmanadopta la forma (compare con (2.25))

V(x) = maxu{r(x, u) + EV( f (x, u, ))}. (2.58)

La funcion V es igual al lmn Vn, donde {Vn} esta dada por V0 0 y paran = 1, 2, . . . ,

Vn(x) = maxu {r(x, u) + EVn1[ f (x, u, )]}. (2.59)

2.23 (Problemas LQ) Un problema LQ consiste de un sistema lineal con una recom-pensa por etapa cuadratica, tambien se conoce como problema del reguladorlineal. Suponga que el sistema dinamico evoluciona de acuerdo con la ecuacion

xt+1 = xt + ut + t, t = 0, 1, . . . ,

con , R, la funcion de costo esta dada por

E

[T1t=0

(qx2t + ru2t ) + qTX

2T

], (2.60)

donde q, qN 0 y r > 0 son constantes dadas. Las perturbaciones {t} sonvariables aleatorias i.i.d., no dependen del estado ni de la variable de control,con media cero y varianza finita, i.e.,

E(0) = 0, y 2 := E(20) < .

Si se quiere minimizar el costo (2.60), demuestre que las funciones de polticaoptima estan dadas por

s(x) = Gsx, con Gs := (r + Ks+12)1Ks+1

donde las constantes Ks estan dadas recursivamente por KT = qT y para s =T 1, . . . , 0,

Ks = [1 (r + Ks+12)1Ks+12]Ks+12 + q.Cual es la forma de las funciones Js? En particular, cual es el costo optimo?

49

2.24 Resuelva el Ejercicio 2.6 pero suponiendo que los activos cambian de acuerdocon la siguiente ecuacion

xt+1 = t(xt ut), at > 0, t = 0, 1, . . . , T 1,

donde {t} son variables aleatorias i.i.d. con valores positivos. Suponga queexisten constantes at tales que a

1t = E[

1t ], compare con los resultados del

Ejercicio 2.6.

2.25 En el siguiente PCO estocastico, los controles ut toman valores en R y , sonconstantes positivas

max{E

[ T1t=0

(eut) exT] xt+1 = 2xt ut + t, x0 dado}.

Las variables aleatorias {t} son i.i.d. y existe una constante k = E[et ].(a) Muestre que las funciones Jt son de la forma Jt(x) = tex,(b) encuentre una ecuacion en diferencias para t,

(c) determine la condicion de frontera T.

2.26 Resuelva el siguiente PCO estocastico. El objetivo es maximizar la funcion

E

[T1t=0

2u1/2t + axT

]

con a > 0 y ut 0. El estado del sistema xt+1 toma sus valores en el con-junto {0, xt ut} cada uno con probabilidad 1/2. La condicion inicial x0 > 0esta dada.

2.27 Considere el PCO estocastico

max

{E

t=0

t(xtut)1 xt+1 = t(1 ut)xt, k0, 0 = s0 dados

},

donde , (0, 1), ut (0, 1) para t = 0, 1, 2, . . . y {t} es una sucesion deVAs no negativas i.i.d. tales que := E(1) < .

(a) Asuma que el problema tiene solucion y escriba la correspondiente ecuacionde Bellman.

(b) Suponga que la funcion de valor es de la forma V(x) = Fx1. Encuentrela poltica markoviana optima.

Respuesta: ut = 11+[F]1/ , donde F = [1 ()1/].

50

2.28 Considere el PCO estocastico

max

{E

t=0

t(x2t u2t ) xt+1 = ut + xt + t, k0, 0 = s0 dados

},

donde (0, 1), ut R para t = 0, 1, 2, . . . y {t} es una sucesion de VAs nonegativas i.i.d. tales que E() = 0 y E(2) = 2.

Suponga que la funcion de valor es de la forma V(x) = Ax2 + B. Encuentre lapoltica markoviana optima y las constantes A, B.

Respuesta: ut =Axt

1A , donde A =12

1+42

2 y B =A21 .

2.29 (Brock y Mirman (1972)) Considere el siguiente problema de crecimiento economi-co estocastico

max{ct}

{E

t=0

t ln ct

kt+1 = Atkt ct, k0, 0 = s0 dados}

,

donde , (0, 1), A > 0, ct [0, kt ] para t = 0, 1, 2, . . . y {ln(t)} es unasucesion de VAs normales i.i.d. con media cero y varianza 2. En este modelo,a diferencia de los problemas anteriores, el control ct es escoge despues de quese ha realizado el ruido t = st.

(a) Defina el estado del sistema como el par (kt, st) donde st es el valor quetoma la VA t. Escriba la correspondiente ecuacion de Bellman.

Sugerencia: Ver Sargent [18, Seccion 1.7, pp. 3536].

(b) Suponga que la funcion de valor es de la forma

V(k, s) = F ln(k) + G ln(s) + H.

Encuentre las constantes F, G, H, as como la poltica markoviana optima.

2.30 Considere el Modelo de Brock y Mirman del Ejercicio 2.15, con A = 1.

(a) Muestre que la ecuacion de Euler puede escribirse como

zt11 zt1 +

11 zt = 0 t = 1, 2 . . . , (2.61)

donde zt := kt+1/kt .

(b) Demuestre que el cambio de variable zt = xt+1/xt permite escribir (2.61)en la forma

xt+1 (1+ )xt + xt1 = 0 t = 1, 2 . . . . (2.62)

51

(c) Resuelva (2.62) y pruebe que

zt =c1 + c2()t+1

c1 + c2()t, (2.63)

para algunas constantes c1, c2 R.(d) Use (2.63) y la condicion de transversalidad (2.50) para demostrar que c1 =

0.

(e) Encuentre la poltica markoviana optima y demuestre que {kt} es conver-gente.

52

3. Optimizacion dinamica en tiempo continuo

3.1. Formulacion del PCO en tiempo continuo

Supongase que el estado de un sistema en el instante t puede ser descrito por unsistema de ecuaciones diferenciales de la forma

x(t) = f (t, x(t), u(t)), para t [0, T], x(0) = x0 dado, (3.1)

donde x(t) X y u(t) U(t, x(t)) representan a las variables de estado y con-trol, respectivamente (al igual que en la Seccion 2.1, se asume que X Rn yU(t, x(t)) Rm). Se supone tambien que f (, , ) C1.

El numero real T > 0 representa el horizonte o tiempo terminal; si el horizontetemporal es infinito, el intervalo [0, T] es reemplazado por [0,).

Adicionalmente, el sistema puede tener alguna restriccion terminal, por ejem-plo, x(T) = xT o lmt x(t) 0.Definicion 3.1. Un par de funciones (x(), u()) : [0, T] Rn Rm es un par admi-sible si

(a) u(t) U(t, x(t)) para todo t [0, T], u() es continua a trozos,(b) x() es continua, diferenciable a trozos y con derivada continua (siempre que exista),(c) x(), u() satisfacen la ecuacion diferencial (3.1) para los valores de t en los cuales u()

es continua y x() es diferenciable, y(d) se satisface la restriccion terminal (si la hay).

La funcion x() se conoce como trayectoria de estado, mientras que u() es la trayectoriade control o control admisible.

En estas notas, un PCO en tiempo continuo consiste en encontrar un controladmisible u() que optimice un funcional de la forma T

0g(t, x(t), u(t)) dt + S(T, x(T)), (3.2)

donde g(, , ) : RRn Rm R es una funcion integrable tal que sus dervadasparciales con respecto a x y u son continuas, S(, ) es de clase C1 y representa unvalor de salvamento.

53

3.2. La ecuacion de HamiltonJacobiBellman

En esta seccion se deriva (de manera heurstica) la ecuacion de HamiltonJacobiBellman (HJB) para problemas en tiempo continuo y es analoga a la ecuacionde Bellman en tiempo discreto. La idea principal es hacer una aproximacion disc-reta del problema y usar la tecnica de programacion dinamica desarrollada en laSeccion 2.3.

Por simplicidad, primero se considera el caso autonomo, es decir, cuando lasfunciones f y g no dependen explcitamente de t. En este caso el sistema dinamico(3.1) se reduce a

x(t) = f (x(t), u(t)), para t [0, T], x(0) = x0 dado, (3.3)

mientras que el funcional objetivo adquiere la forma T0

g(x(t), u(t)) dt + S(x(T)). (3.4)

Si se divide el horizonte temporal [0, T] en N subintervalos de longitud igual a

:=TN

,

se tienen las variables discretas

xk := x(k), k = 0, 1, . . . , N,uk := u(k), k = 0, 1, . . . , N.

Con estas variables se tiene la siguiente aproximacion del sistema dinamico

xk+1 = xk + f (xk, uk), k = 0, 1, . . . , N 1,

y la funcion objetivoN1k=0

g(xk, uk) + S(xN).

Defnanse

J(, x) := maxu()

{ T

g(x(t), u(t)) dt + S(x(T)) x() = x},

J(s, x) := maxuk

{ N1k=s

g(xk, uk) + S(xN) xs = x}.

Usando el algoritmo de PD se tiene, para s = N

J(N, x) = S(x),

54

y para s = N 1, N 2, . . . , 0

J(s, x) = maxu {g(x, u)+ J((s + 1), x + f (x, u))}.

Suponiendo que = s, la igualdad anterior se puede reescribir como

J(, x) = maxu {g(x, u)+ J( + , x + f (x, u))}. (3.5)

Considerese la expansion de Taylor2 (de primer orden) para J alrededor del punto(, x)

J( + , x + f (x, u)) = J(, x) + D J(, x) + Dx J(, x) f (x, u) + o(),

donde o() es tal que lm0o() = 0, sustituyendo esta ultima expresion en (3.5)

se obtiene

0 = maxu{g(x, u) + D Jd(, x) + Dx Jd(, x) f (x, u) + o()/}.

Tomando el lmite cuando 0 y suponiendo que lm0 J(, x) = J(, x), sededuce la ecuacion de HamiltonJacobiBellman

0 = maxu{g(x, u) + D J(, x) + Dx J(, x) f (x, u)},

con la condicion de fronteraJ(T, x) = S(x).

Teorema 3.2. Supongase que V : [0, T] X R satisface la ecuacion de HJB

0 = maxu{g(x, u) + DV(, x) + DxV(, x) f (x, u)}, (3.6)

y la condicion de fronteraV(T, x) = S(x). (3.7)

Supongase tambien que u = (, x) maximiza el lado derecho de (3.6), sea x la corre-spondiente trayectoria de estado, i.e.,

x(t) = f (x(t), (t, x(t))), t [0, T], x(0) = x0.

Entonces u maximiza (3.4), sujeto a (3.3), mas aun

V(, x) = J(, x) , x. (3.8)2Ver Sundaram (1996), Teorema 1.75, p. 64.

55

Demostracion. Sea (x(), u()) cualquier par admisible, entonces

0 g(x(), u()) + DV(, x()) + DxV(, x()) f (x(), u()) por (3.6)= g(x(), u()) +

dd

V(, x()) por (3.3).

Integrando ambos lados de la desigualdad anterior y usando el Teorema funda-mental del calculo

0 T

0g(x(), u()) d +V(T, x(T))V(0, x(0)).

Luego, por la condicion de frontera (3.7)

V(0, x(0)) T

0g(x(), u()) d + S(x(T)). (3.9)

Si ahora se hace el mismo analisis para el par admisible (x, u) la desigualdadanterior se convierte en la igualdad

V(0, x(0)) = T

0g(x(), u()) d + S(x(T)). (3.10)

De las ecuaciones (3.9) y (3.10) se concluye que u es optimo y, ademas,

V(0, x(0)) = J(0, x(0)).

La igualdad (3.8) se demuestra repitiendo los pasos anteriores para un tiempoinicial [0, T] y un estado x X cualesquiera.Corolario 3.3. Supongase que V : [0, T] X R satisface la ecuacion de HJB

0 = maxu{g(, x, u) + DV(, x) + DxV(, x) f (, x, u)}, (3.11)

y la condicion de fronteraV(T, x) = S(T, x). (3.12)

Supongase tambien que u = (, x) maximiza el lado derecho de (3.11), sea x lacorrespondiente trayectoria de estado, i.e.,

x(t) = f (t, x(t), (t, x(t))), t [0, T], x(0) = x0.

Entonces u maximiza (3.2), sujeto a (3.1), mas aun

V(, x) = J(, x) , x. (3.13)

Demostracion. Ejercicio 3.1.

56

3.3. Principio del maximo de Pontryagin

En esta seccion se estudia una tecnica muy usada para resolver un PCO: elPrincipio del Maximo de Pontryagin3 (PMP). Considerese el PCO descrito en laSeccion 3.1

maxu

{ T0

g(t, x(t), u(t)) dt + S(T, x(T))}

(3.14)

s. a x(t) = f (t, x(t), u(t)), x(0) = x0

se define el Hamiltoniano, H : RRn Rm Rn R, medianteH(t, x, u,) := g(t, x, u) + , f (t, x, u) . (3.15)

Por razones de consistencia en la notacion, se asume que es un vector fila, adiferencia del resto de vectores y funciones.

Teorema 3.4 (Principio del maximo de Pontryagin). Sea (x(), u()) una soluciondel PCO (3.14). Entonces existe una funcion : [0, T] Rn continua, diferenciable atrozos y con derivada continua que satisface la ecuacion adjunta

(t) = DxH(t, x(t), u(t),(t)) (3.16)junto con la condicion de frontera

(T) = DxS(x(T), T), (3.17)

y la maximizacion del Hamiltoniano

H(t, x(t), u(t),(t)) = maxuU(t,x(t))

{H(t, x(t), u,(t))}. (3.18)

Las ecuaciones (3.16) y (3.18) se satisfacen para casi todo t [0, T].Observacion 3.5. En la siguiente demostracion del PMP se supone que la funcionde valor

V(, x) := maxu()

{ T

g(t, x(t), u(t)) dt + S(T, x(T)) x() = x} (3.19)

es de clase C2. Se asume, ademas, que en el lado derecho de la ecuacion de HJBse puede usar algun teorema de la envolvente (ver Ejercicio 2.18). Estos supuestosno siempre se cumplen, por ejemplo, en el Ejercicio 3.4 se pide demostrar quela funcion de valor no es diferenciable. Una demostracion mas general del PMPpuede encontrarse en Fleming y Rishel (1975) [Cap. 2] o Gamkrelidze (1978).

3El nombre viene de la ecuacion (3.18)

57

Demostracion. Por el Corolario 3.3, la ecuacion de HJB

DtV(t, x) = maxu {g(t, x, u) + DxV(t, x) f (t, x, u)} (3.20)

y la condicion de frontera V(T, x) = S(T, x) se satisfacen para el par optimo(x(), u()). Defnase

(t) := DxV(t, x(t)), (3.21)

entonces se cumple la condicion de frontera (3.17) y la maximizacion del Hamilto-niano (3.18). Derivando ambos lados de (3.20) con respecto a x y usando el Ejercicio2.18 se obtiene que

Dt[DxV(t, x)] = Dx[g(t, x, u()) + DxV(t, x) f (t, x, u())],

en particular, para x = x(t) esta igualdad se reduce a

(t) = DxH(t, x(t), u(t),(t)).

Condiciones suficientes para la optimalidad

El PMP da condiciones necesarias para la optimalidad, sin embargo, bajo hi-potesis de concavidad y convexidad el PMP es suficiente para encontrar controlesoptimos.

Teorema 3.6 (Mangasarian). Sean (x(), u()), () un par admisible y una funcionque satisfacen el PMP. Supongase que U(x, t) es convexo para todo (x, t),H es una funcionconcava en (x, u) y S es concava en x. Entonces (x(), u()) es optimo para el problema(3.14).

Demostracion. Sea (x(), u()) cualquier par admisible, para simplificar la notaciondefnanse

:= T

0g(t, x(t), u(t)) dt + S(T, x(T))

T0

g(t, x(t), u(t)) dt + S(T, x(T)),

H := H(t, x, u,), H := H(t, x, u,),S := S(T, x(T)), S := S(T, x(T)).

Por la concavidad de H y S

H H DxH(x x) + DuH(u u) DxH(x x) por (3.18)= (x x) por (3.16), (3.22)

58

ademas,S S DxS (x(T) x(T)). (3.23)

Luego,

= T

0(H H) +

T0(x x) + S S

T

0(x x) +

T0(x x) + S S por (3.22)

T

0D[(x x)] + DxS(x(T) x(T)) por (3.23)

(T)(x(T) x(T)) 0+ (T)(x(T) x(T)) por (3.17)= 0

Definicion 3.7. Para el PCO (3.14) se define el Hamiltoniano maximizado, H : RRn Rn R, mediante

H(t, x,) := maxuU(t,x)

{H(t, x, u,)}.

Con la notacion introducida en la demostracion del Teorema 3.6 y suponiendoque se satisfacen las condiciones necesarias del PMP, se cumple que

H(t, x,) = H(t, x, u,) = H.Si el Hamiltoniano maximizado H es una funcion concava en x y se supone que

DxH(t, x,) = Dx[H(t, x, u(x),)], (3.24)entonces la desigualdad (3.22) puede demostrarse de forma alternativa

H H H(t, x,) H(t, x,) DxH(t, x,) (x x)= Dx[H(t, x, u,)] (x x) por (3.25)= (x x) por (3.17).

Con esta ultima desigualdad y bajo la hipotesis hecha en (3.24) se demuestra elsiguiente teorema.

Teorema 3.8 (Arrow). Sean (x(), u()), () un par admisible y una funcion que satis-facen el PMP. Supongase que H y S son funciones concavas en x. Entonces (x(), u())es optimo para el problema (3.14).

El bosquejo de la demostracion del Teorema 3.8 esta basado en (3.24), donde seasume implcitamente que u es interior. Una demostracion alternativa, pero queasume que x es interior, se puede encontrar en Grass et al. (2008) [Teorema 3.30,p.121].

59

3.4. Calculo de variaciones. Ecuacion de Euler

El problema mas sencillo del calculo de variaciones es de la forma

maxx()

{ t1t0

F(t, x(t), x(t)) dt x(t0) = x0, x(t1) = x1}. (3.25)

donde x() : [t0, t1] Rn, F : [t0, t1]Rn Rn R. Por simplicidad se asumeque x, F son de clase C2.Lema 3.9 (Formula de Leibniz). Sea f : [a, b] [c, d] R una funcion de clase C2.Entonces

dd

ba

f (t, ) dt = b

a

f(t, ) dt.

Demostracion. Ver Rudin (1976) [Teorema 9.42, pp. 236237].

Teorema 3.10. Si x() es solucion del problema (3.25), entonces satisface la ecuacion deEuler

Fx(t, x(t), x(t)) d

dtFx

(t, x(t), x(t)) = 0. (3.26)

Demostracion. Sea h : [t0, t1] Rn cualquier funcion de clase C2 tal que h(t0) =h(t1) = 0. Defnase

x(t) := x(t) + h(t), R,esta funcion satisface que x(t0) = x0 y x(t1) = x1, es decir, x() es admisible parael problema (3.25). Defnase tambien J : R R, mediante

J() := t1

t0F(t, x(t) + h(t), x(t) + h(t)) dt.

Dado que x() es optimo, se verifica la desigualdad J() J(0), es decir, la funcionJ tiene un maximo (interior) en = 0 por lo que su derivada se anula en este punto.

Por la Formula de Leibniz

dJd() =

t1t0

F(t, x(t) + h(t), x(t) + h(t)) dt,

luego

dJd(0) =

t1t0

[Fx(t, x(t), x(t)) h(t) + F

x(t, x(t), x(t)) h(t)

]dt = 0. (3.27)

Si se integra por partes el segundo termino del integrando t1t0

Fx

(t, x(t), x(t)) h(t) dt = t1

t0

[ddtFx

(t, x(t), x(t))]

h(t) dt,

60

donde se ha usado la condicion h(t0) = h(t1) = 0. Volviendo a (3.27) t1t0

[Fx(t, x(t), x(t)) d

dtFx

(t, x(t), x(t))]

h(t)dt = 0,

puesto que la funcion h es arbitraria, por el Ejercicio 3.13, se cumple que

Fx(t, x(t), x(t)) d

dtFx

(t, x(t), x(t)) 0.

Teorema 3.11. Si x() satisface la ecuacion de Euler y F es concava en (x, x), entoncesx() es una solucion para el problema (3.25).Demostracion. Ejercicio 3.14.

Otras condiciones terminales

Teorema 3.12. Si x() es solucion del problema

maxx()

{ t1t0

F(t, x(t), x(t)) dt x(t0) = x0, x(t1) libre}, (3.28)

entonces satisface la ecuacion de Euler

Fx(t, x(t), x(t)) d

dtFx

(t, x(t), x(t)) = 0

y la condicion de transversalidad

Fx

(t1, x(t1), x(t1)) = 0. (3.29)

Demostracion. Defnase x1 := x(t1), de este modo el problema (3.28) es de la forma(3.25) y se puede usar el Teorema 3.10 por lo que se debe satisfacer la ecuacion deEuler.

La condicion de transversalidad (3.29) se demuestra de una forma similar a lademostracion del Teorema 3.10. Considerense funciones de la forma

x(t) := x(t) + h(t), R,donde h es de clase C2 y h(t0) = 0; de este modo x(t0) = x0 y x(t1) no esta re-stringido. Como x() es un maximo se cumple (3.27), sin embargo, la integracionpor partes da como resultado t1

t0

Fx

(t, x(t), x(t)) h(t) dt = Fx(t1, x(t1), x(t1))h(t1)

t1

t0

[ddtFx

(t, x(t), x(t))]

h(t) dt.

61

Sustituyendo en (3.27) y usando la ecuacion de Euler, se llega a

Fx(t1, x(t1), x(t1))h(t1) = 0,

por ser h arbitraria se puede escoger de tal forma que h(t1) 6= 0 y por lo tantoFx(t1, x(t1), x(t1)) = 0.

Observacion 3.13. El problema (3.28) es una caso particular de un PCO (3.14) y,por lo tanto, es posible deducir la ecuacion de Euler a partir del PMP (siempre queu sea interior).

En efecto, solo hay que hacer T = t1, x(t) = u(t), g(t, x(t), u(t)) = F(t, x(t), x(t))y S(T, x(T)) 0. Usando el PMP, la ecuacion (3.16) se convierte en

= Fx

, (3.30)

mientras que la maximizacion del Hamiltoniano satisface la condicion necesaria

Fu

+ = 0. (3.31)

Al tomar la derivada con respecto a t en (3.31) y combinando con (3.30) se tiene laecuacion de Euler.

Mas aun, en el caso escalar (cuando n = 1 en el problema (3.25)) supongaseque H cumple la condicion de segundo orden DuuH 0. Entonces F satisface otracondicion necesaria

DxxF(t, x(t), x(t)) 0,llamada condicion de Legendre, ver Cerda Tena (2001) [Teorema 2.2, pp. 4142] oKamien y Schwartz (1991) [Seccion 6, pp. 4145].

Teorema 3.14. Si x() es solucion del problema

maxx()

{ t1t0

F(t, x(t), x(t)) dt x(t0) = x0, x(t1) a}, (3.32)

entonces satisface la ecuacion de Euler

Fx(t, x(t), x(t)) d

dtFx

(t, x(t), x(t)) = 0

y la condicion de transversalidad

Fx(t1, x(t1), x(t1)) 0, con igualdad si x(t1) > a. (3.33)

62

Demostracion. Defnase x1 := x(t1) a, as el problema (3.32) es de la forma(3.25); la ecuacion de Euler se sigue del Teorema 3.10.

Para verificar la condicion (3.33), considerense funciones x(t) := x(t) + h(t),tales que

x(t1) + h(t1) a (3.34)donde h es de clase C2 y h(t0) = 0; de este modo x(t0) = x0 y x(t1) a. Con lamisma notacion que se uso en la demostracion del Teorema 3.12 se tiene que

dJd(0) =

Fx(t1, x(t1), x(t1))h(t1). (3.35)

Puesto que x(t1) a, se distinguen dos casos: x(t1) > a y x(t1) = a.Caso 1. Supongase que x(t1) > a. La condicion de factibilidad (3.34) se cumple

para cualquier valor no negativo de h(t1), mientras que si h(t1) es negati-vo, entonces se debe escoger || suficientemente pequeno. La optimalidadde x(t1) implica la desigualdad J(0) J() en alguna vecindad del 0, esdecir, J tiene un maximo local en = 0, por lo que la derivada de J debeanularse en = 0, i. e.,

Fx(t1, x(t1), x(t1))h(t1) = 0.

La funcion h puede tomar valores positivos o negativos en t1, luego

Fx(t1, x(t1), x(t1)) = 0.

Caso 2. Cuando x(t1) = a, la condicion de factibilidad (3.34) se cumple siempreque h(t1) 0. Si la funcion h es tal que h(t1) > 0, entonces J() J(0)para todo > 0; luego

dJd(0) =

Fx(t1, x(t1), x(t1))h(t1) 0,

de dondeFx(t1, x(t1), x(t1)) 0.

En contraparte, si h(t1) < 0, entonces tiene lugar la desigualdad J() J(0) para todo < 0; luego

dJd(0) =

Fx(t1, x(t1), x(t1))h(t1) 0,

por lo queFx(t1, x(t1), x(t1)) 0.

63

Como conclusion de ambos casos se tiene que

Fx(t1, x(t1), x(t1)) 0,

y, ademas, la igualdad se satisface cuando x(t1) > a (Caso 1).

Funcional objetivo con valor de salvamento

Teorema 3.15. Si x() es solucion del problema

maxx()

{ t1t0

F(t, x(t), x(t)) dt + S(t1, x(t1)) x(t0) = x0, x(t1) a}, (3.36)

entonces satisface la ecuacion de Euler

Fx(t, x(t), x(t)) d

dtFx

(t, x(t), x(t)) = 0

y la condicion de transversalidad

Fx(t1, x(t1), x(t1)) +

Sx(t1, x(t1)) 0, con igualdad si x(t1) > a. (3.37)

Demostracion. La conclusion del teorema se sigue de la igualdad

S(t1, x(t1)) + t1

t0F = S(t0, x(t0)) +

t1t0

[F +

St

+ xSx

]y del Teorema 3.14.

3.5. Algunas extensiones del PMP

Restricciones terminales multiples

Observacion 3.16. En el PCO estandar (3.14) el estado terminal x(T) esta libre, unapregunta natural es que sucede con el PMP cuando x(T) = x1? Para responderesta pregunta observese que las funciones

V(, x) := maxu()

{ T

g(x(t), u(t)) dt + S(x(T)) x() = x},

V(, x) := maxu()

{ T

g(x(t), u(t)) dt + S(x(T)) x() = x, x(T) = xT},

(ambos problemas sujetos a la dinamica (3.1)) son distintas, de hecho, V(, x) V(,