processos estocasticos, notas de auladcm.ffclrp.usp.br/~rrosales/aulas/processos2018.pdf · notas...

Notas de aula em Processos Estocasticos

Rafael A. RosalesDepartamento de Computacao e Matematica, FFCLRP

Universidade de Sao Paulo

9 de outubro de 2018

Sumario

Prefacio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

1. Tempo discreto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31. Cadeias de Markov . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32. Classes de comunicacao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113. Tempos do primeiro retorno e da primeira chegada . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144. Propriedade forte de Markov . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 255. Recorrencia e transitoriedade . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265.1. Recorrencia e transitoriedade de passeios aleatorios simples. 326. Distribuicao invariante . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 357. Convergencia ao equilıbrio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 428. Reversibilidade . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 479. Teorema ergodico . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4810. Aplicacoes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5210.1. Processos de ramificacao� 5210.2. Martingais e Opcoes 55

2. Tempo contınuo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 571. Processos a tempo contınuo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 572. Matriz Q . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 593. Propriedades da distribuicao exponencial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 634. Processo de Poisson . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 675. Processos de Markov . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 725.1. Cadeia de transicao e tempos de permanencia 725.2. Equacoes de Forward e Backward 746. Estrutura de classe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 767. Tempos da primeira chegada e probabilidades de absorcao . . . . . . . . . . . . . . . . . . . . . . . . . 778. Recorrencia e transitoriedade . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78

vii

viii Sumario

9. Distribuicao invariante . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7910. Convergencia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8011. Teorema Ergodico . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81

Apendice A. 831. Relacoes de Recorrencia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 831.1. Forma matricial 85

Apendice B. Sugestoes para alguns dos exercıcios 91

Apendice. Bibliografia 93

Indice Remissivo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95

Prefacio

Um processo estocastico e uma sequencia de variaveis aleatorias X D .Xt/, t 2 T , ondeparametro t usualmente representa o tempo. O processo X geralmente e utilizado com o propositode representar a evolucao aleatoria de um fenomeno fısico. Neste caso o conjunto dos ındicesT e identificado com N ou RC. Durante o curso so serao consideradas sequencias de variaveisaleatorias Xt definidas sobre o mesmo espaco de probabilidade, todas com valores no conjuntoS o qual supomos finito ou infinitamente enumeravel. Seguindo a convencao usual utilizamos anotacao t para os ındices contınuos e n para o caso discreto1.

A apresentacao segue de perto os livros de J. Norris, [7] e Grimmett, Stirzacker, [5]. Emparticular, a primeira parte dedicada ao estudo de processos em tempo discreto, inclui boa parte

1 Xt e realmente uma funcao X.!; t/ onde ! e um evento elementar do espaco � das trajetorias do processo. Ao considerara sequencia .Xt / estamos portanto considerando um espaco de funcoes aleatorias. A fim de entender isto melhor, lembramosalgumas nocoes de teoria de probabilidade. Dado um espaco de probabilidade .�;A;P/, uma variavel aleatoria e uma funcao� W .�;A/! .R;B/, tal que

��1.B/ D f! 2 � W �.!/ 2 Bg 2 A

para todo B 2 B, onde B e a menor sigma algebra gerada pelos conjuntos abertos de R. Seja agora

�.�/ D ��1.B/ D f��1.B/ W B 2 Bg � A;

a sigma algebra gerada pela variavel aleatoria �, i.e. intuitivamente �.�/ denota a ‘porcao da informacao’ contida no espaco deprobabilidade inerente a �. A distribuicao de probabilidade, P , de � e definida como

P .� 2 B/ D Pf��1.B/g:

Observamos que esta definicao permite determinar a probabilidade de qualquer evento associado a �, desde que esta inclui asprobabilidades de todos os conjuntos ��1.B/ D �.�/ � A. A fim de generalizar estes conceitos para processo X , suponhamosque existe um espaco de probabilidade .�;A;P/ tal que �.X / � A. Neste caso se X e um processo com ındices discretos evalores em S temos que

X W .�;A/! .S1; �.S1//;

sendo �.S1/ a sigma algebra gerada pelos conjuntos abertos de S. Se S D C , o espaco das funcoes continuas em Œ0;1/, entaoX e um processo com trajetorias continuas. A suposicao, nada trivial, de que os eventos definidos sobre os espaco dos caminhosde um processo, �, podem ser medidos por uma funcao de probabilidade P representa um dos problemas mais fundamentais dateoria dos processos estocasticos. Durante o curso, nos suporemos que isto e possıvel e nao faremos mais referncia a este assunto.Os interessados nos detalhes podem consultar o apendice em [7] ou os textos mais avancados tais como [1], e [9], procurandopelas secoes referentes aos �-sistemas. Estas classes de conjuntos tambem sao conhecidos em teoria de probabilidade como ossistemas �-�, seguindo a nomenclatura introduzida por Eugene B. Dynkin. As referencias mencionadas aqui e no decorrer dasnotas podem guiar o estudo posterior e mais profundo da teoria dos processos estocasticos.

1

2 Prefacio

dos capıtulos 1.1-1.10 de [7]. A segunda parte a qual representa uma introducao aos processos atempo contınuo esta inspirada nos capıtulos 2.1-3.8 em [7] e os capıtulos 6.8-6.12 em [5]. Supoe-se um conhecimento da teoria de probabilidade a nıvel de graduacao assim como conhecimentosbasicos sobre equacoes diferenciais e em diferenca, e finalmente tambem alguns rudimentos dealgebra linear.

Estas notas foram preparadas para a materia titulada Introducao a Processos Estocasticos,ministrada durante o segundo semestre dos anos 2016, 2017 e 2018, aos alunos do curso deMatematica Aplicada a Negocios da USP.

Capıtulo 1

Tempo discreto

1. Cadeias de MarkovOs seguintes dois exemplos introduzem de maneira informal a propriedade que define uma amplavariedade de processos conhecidos como cadeias de Markov. O objetivo e desenvolver a intuicaoe motivar a teoria.

Exemplo 1 (Sapo).

v1

v2

v3v4

v5

v6

v7 v8

v9

Um sapo que habita num lago pode pular em procura de alimento entrenove vitorias regias1 v1, : : :, v9, dispostas circularmente. No instante n D 0o sapo encontra-se na planta v1. Com probabilidade p, 0 < p < 1, este podepular a planta v2 e com q D 1�p a planta v9. As mesmas regras determinamos pulos a partir de vi para viC1 ou vi�1, i D 1; : : : ; 9 (se i D 9 entaoiC1 D 1, e se i D 1 entao i�1 D 9). Denotamos por Xn 2 fv1; v2; : : : ; v9g

a posicao do sapo no instante n, n 2 N. A sequencia de variaveis aleatorias .Xn/, n � 0, quecorrespondem as posicoes do sapo formam um processo aleatorio. Segundo as regras quedeterminam os movimentos do sapo temos que P.X0 D v1/ D 1, P.X1 D v2 jX0 D v1/ D pe P.X1 D v9 jX0 D v1/ D q. Supondo que seja conhecido o percurso v1 ! v2 ! v3 ! v4,utilizando probabilidade condicional, podemos tambem calcular a probabilidade de que o sapo seencontre na planta v5 no quarto pulo,

P.Xn D v5jXn�1 D v4; : : : ;X0 D v1/ D P.Xn D v5jXn�1 D v4/ D p

o qual e consequencia imediata das regras que determinam os movimentos do sapo. Esta equacaoe um caso particular do fato no qual a distribuicao de Xn dado .X0, : : :, Xn�1/ so depende deXn�1. Esta unica simplificacao fornece a estrutura necessaria para desenvolver a maior parte dateoria. Em particular, esta permite responder uma ampla gama de questoes relevantes ao processo.Xn/, n � 0. Por exemplo: (i) Qual a distribuicao de Xn?, (ii) Qual a distribuicao do eventofXn jX0 D v1g? (iii) Sera possıvel calcular a distribuicao de Xn no limite n!1? (iv) Qual eo numero esperado de pulos realizados pelo sapo ate voltar pela primeira vez a planta v1? (v)Se a planta v6 e realmente a cabeca de um jacare faminto, qual e o numero de pulos em mediarealizados pelo sapo antes de ser devorado?

1Victoria amazonica, uma planta aquatica da famılia das Nymphaeaceae.

3

4 1. Tempo discreto

Exemplo 2 (Ruına do jogador). Suponha que voce entra num cassino com i reais, i 2 N. Emcada aposta voce pode ganhar um real com probabilidade p, 0 < p < 1, ou perder um real comprobabilidade q D 1�p. Xn, n � 1, representa a sua fortuna depois da n-esima aposta e X0 D x0

a sua fortuna inicial. Suponha que o cassino apresenta uma fonte ilimitada de dinheiro, portantonao existe em principio um limite superior para a quantidade da sua fortuna. Claramente Xn

asome valores no conjunto N (ou Z caso o casino permita que o jogador fique devendo dinheiro).A Figura 1 apresenta tres trajetorias tıpicas deste processo para n D 100, p D q D 1

2, e X0 D 10.

Nas trajetorias associadas com !1 e !2, voce ainda possue dinheiro suficiente para continuarjogando apos das primeiras 100 apostas. No terceiro percurso o dinheiro tudo e perdido na aposta64. Dentre as questoes importantes neste problema mencionamos o calculo da probabilidade daeventual ruına e do numero esperado de apostas para a ruına em funcao de p e X0. Analogamenteao exemplo anterior, neste caso consideramos a seguinte condicao de independecia condicional

P.Xn D xn�1 C 1jXn�1 D xn�1; : : : ;X0 D x0/ D P.Xn D xn�1 C 1jXn�1 D xn�1/ D p

P.Xn D xn�1 � 1jXn�1 D xn�1; : : : ;X0 D x0/ D P.Xn D xn�1 � 1jXn�1 D xn�1/ D q

a qual e de fato consequencia da independencia entre os resultados de cada aposta. Este exemplorelativemente simples e instrumental na modelagem de mercados financeiros a tempo discreto ecom valores discretos, veja por exemplo [8].

n

Xn.!/

!3

!2

!1

-10

010

2030

Figura 1. Tres possıveis caminhos do processo da ruına descrito no Exemplo 2.

1.1. Propriedade de Markov. Seja S um conjunto enumeravel. Um elemento i 2 S e chamadode estado e S o espaco de estados. Seja � D .�i W i 2 S/ uma distribuicao de probabilidade emS, isto e,

0 � �i � 1;Xi2S

�i D 1:

Definicao 1. A distribuicao inicial do processo X e a distribuicao de probabilidade

�i D P.X0 D i/ D P�f! 2 � W X0.w/ D ig

�; i 2 S:

Definicao 2. Uma matriz P D .pij W i; j 2 S/ e estocastica se cada linha .pij W j 2 S/ e umadistribuicao em S.

1. Cadeias de Markov 5

Um grafo G D .V;E/ e determinado por um conjunto enumeravel de vetices V e um conjuntoassociado de elos E � V � V . Cada elemento de E e determinado por um par de vertices vi ,vj o qual denotamos hvi; vj i. Os vertices vi e vj estao conectados por um elo e D hvi; vj i see 2 E. Suponhamos que seja possıvel atribuir um numero positivo a cada elo e 2 E. Nesse casochamamos o grafo G de rede e a denotamos por R. Existe uma correspondencia um-a-um entreuma matriz estocastica e uma rede R com vertices V D S. Por exemplo, para S D fv1; v2; v3g,suponhamos que seja dada a seguinte rede e a matriz P ,

v1

v2 v3

a

a

b

b

c

c

b

ac

P D

v1 v2 v3 !b a c v1

a c b v2

c b a v3

onde a � 0, b � 0, e c � 0, sao constantes tais que a C b C c D 1. A correspondencia edeterminada ao considerarmos a ordem entre os vertices de R utilizada para dispormos os estadosnas filas e colunas de P . Claramente e D hvi; vj i 2 E se e somente se pvi ;vj

> 0. Salvo sejaindicado o contrario, utilizamos a ordem lexicografica dos elementos em S.

Definimos a seguir um processo conhecido como cadeia de Markov. O resto desta secao estadestinado a mostrar que a estrutura basica deste processo e determinada em sua totalidade poruma matriz estocastica P e uma distribuicao inicial �.

Definicao 3 (cadeia de Markov). X D .Xn/; n 2 N, e uma cadeia de Markov com distribuicaoinicial � e matriz de probabilidade de transicao P , se P e estocastica e

(i) X0 tem distribuicao �,

(ii) Para quaisquer n � 0, e .i0; i1; : : : ; inC2/ 2 SnC1,

P.XnC1 D inC1 jX0 D i0; : : : ;Xn D in/ D P.XnC1 D inC1 jXn D in/ D pininC1:(1)

A relacao em (1) e conhecida como a propriedade de Markov. Intuitivamente esta relacaoindica que o processo nao apresenta memoria dos lugares visitados no passado. Se o processoX D .Xn/; n 2 N, satisfaz as condicoes (i) e (ii) diremos que X e Markov(�;P ) ou simplesmenteuma cadeia de Markov. Chamamos o grafo G e a Rede R induzidos por P respectivamente degrafo e rede de transicao da cadeia.

Teorema 1. X e uma cadeia de Markov.�;P / se, e somente se para toda sequencia i0; i1; : : : ; iN 2

SNC1,

P.X0 D i0;X1 D i1; : : : ;XN D iN / D �i0pi0i1

pi1i2� � �piN�1iN

com pikjk, k D 0; : : : ;N � 1, tais que

Pjk2S pikjk

D 1.

6 1. Tempo discreto

Demonstracao. Seja X Markov.�;P /, entao

P.X0 D i0;X1 D i1; : : : ;XN D iN /

DP.XN D iN jX0 D i0; : : : ;XN�1 D iN�1/

P.XN�1 D iN�1 jX0 D i0; : : : ;XN�2 D iN�2/

� � � P.X1 D i1 jX0 D i0/P.X0 D i0/

D �i0pi0i1


;

onde a ultima igualdade segue (i) e (ii) da Definicao 3, utilizando-se como hipotese que X eMarkov .�;P /. Para verificar a equivalencia no sentido oposto somamos iN sobre todo S aambos lados da igualdade no enunciado do Teorema,X

iN2S

P.X0 D i0; : : : ;XN D iN / DX

iN2S

�i0pi0i1


;

o qual implica em

P.X0 D i0; : : : ;XN�1 D iN�1/ D �i0pi0i1

pi1i2� � �piN�2iN�1

;

uma vez que P.X0 D i0; : : : ;XN D iN / e a distribuicao conjunta de X0, : : :, XN�1, XN , ePiN2S piN�1iN

D 1, se supomos que P e estocastica. Utilizando inducao deduzimos que paracada n em 1; : : : ;N � 1,

P.X0 D i0; : : : ;Xn D in/ D �i0pi0i1� � �pin�1in

;

e em particular que P.X0 D i0/ D �i0. Assim, para n D 0; 1; : : : ;N � 1,

P.XnC1 D inC1 jX0 D i0; : : : ;Xn D in/ DP.X0 D i0; : : : ;XnC1 D inC1/

P.X0 D i0; : : : ;Xn D in/

D�i0

pi0i1� � �pininC1

�i0pi0i1� � �pin�1in

D pininC1;

o qual mostra que X e Markov .�;P /. �

O seguinte resultado fornece uma interpretacao crucial da propriedade referida anteriormentecomo “perda de memoria”. Seja ıi D .ıij W j 2 S/, uma distribuicao de probabilidadeconcentrada em i , ou seja ıij D 1 se i D j e ıij D 0 se i ¤ j .

Teorema 2 (Propriedade fraca de Markov). Seja X Markov(�;P ). Dado o evento Xm D i , oprocesso XmCn, n 2 ZC, e Markov(ıi;P ) e independente de X0, : : :, Xm.

Demonstracao. A prova consiste em mostrar que a seguinte igualdade

P�fXm D im; : : : ;XmCn D imCng \AjXm D i

�D ıiim

pimimC1� � �pimCn�1imCn

P.AjXm D i/

e valida para qualquer evento A determinado pelas variaveis aleatorias X0, : : :, Xm. Isto econsequencia da nocao de independencia (condicional) de eventos da forma fXm, : : :, XmCng e A.Segue imediatamente desta igualdade e do Teorema 1 que XmCn, n 2 N e Markov.ıi;P /.

1. Cadeias de Markov 7

Consideramos primeiro o caso particular A D fX0 D i0; : : : ;Xm D img de tal forma que

P.Xm D im; : : : ;XmCn D imCn \A jXm D i/

DP.Xm D im; : : : ;XmCn D imCn;A; fim D ig/

P.Xm D i/;

mas o numerador e dado por

P.Xm D im; : : : ;XmCn D imCn;A; im D i/

D P.A; im D i/P.Xm D im; : : : ;XmCn D imCn jA; im D i/

D P.A; im D i/P.Xm D im; : : : ;XmCn D imCn jXm D i/

D P.A;Xm D im/ıiimpimimC1

� � �pimCn�1imCn;

A segunda e a terceira igualdade sao consequencia do Teorema 1.No caso geral temos que qualquer evento A pode ser representado como A D

Sk Ak , onde

Ak sao eventos elementares disjuntos determinados pelas variaveis aleatorias X0, X1, : : :, Xm�1 efXm D ig. O resultado neste caso segue utilizando o mesmo argumento mas somando sobre oseventos Ak . �

1.2. Probabilidades de n passos. Voltamos agora a uma das perguntas inicialmente formuladasno Exemplo 1 que e a de como calcular as distribuicoes condicionais e nao condicionais doprocesso no instante n � 1, isto e

P.Xn D j jX0 D i/ e P.Xn D i/ i; j 2 S:

A propriedade de Markov e as operacoes basicas do produto matricial permitem obter estasprobabilidades de maneira eficiente. Se representamos a distribuicao inicial como um vetor (fila)em S, temos

.�P /j DP

i2S �ipij DP

i2S P.X0 D i/P.X1 D j jX0 D i/

D P.X esta em j no instante 1/

Utilizando o produto matricial introduzimos agora a seguinte notacao,

.PP /ij D .P2/ij ; i; j 2 S

isto e,

.P 2/ij DP

k2S pikpkj D p2ij D

Pk2S P.X2 D j jX1 D k/P.X1 D k jX0 D i/

D P.X realiza uma transicao de i a j em dois passos/:

Definicao 4. Seja P n, n � 1, a composicao da matriz P consigo mesma n vezes. Para quaisqueri; j 2 S, denotamos por pn

ij a .i; j /-esima entrada da matriz P n. No caso n D 0 definimosP 0 D I , sendo I a matriz identidade. Denotamos por �n, n � 1, a distribuicao de X no instanten, isto e, �n D .�n

i W i 2 S/ onde �ni D P.Xn D i/:

Definicao 5. Seja X uma cadeia de Markov. X e temporalmente homogenea se para quaisqueri; j 2 S e m; n, P.XmCn D j jXm D i/ D P.Xn D j jX0 D i/.

Salvo seja indicado o contrario, todos os processos considerados adiante sao temporalmentehomogeneos.

8 1. Tempo discreto

Teorema 3. Seja X Markov(�;P ). Para todo n;m � 0 tem-se

(i ) P.Xn D j / D .�P n/j D �nj .

(i i ) Pi.Xn D j / D P.XmCn D j jXm D i/ D P.Xn D j jX0 D i/ D pnij .

Demonstracao. Do Teorema 1 e da Definicao 4 resulta

P.Xn D j / DXio2S

� � �

Xin�12S

P.X0 D i0; : : : ;Xn�1 D in�1;Xn D j /

D

Xio2S

� � �

Xin�12S

�i0pi0i1� � �pin�1j D .�P

n/j ;

o qual termina a prova do primeiro item. Seguindo a propriedade de Markov exposta no Teorema 2,condicionando pelo evento fXm D ig, obtemos que .XmCn/ e Markov.ıi;P /. E portantosuficiente considerar � D ıi no primeiro item, ou seja Pi.Xn D j / D .ıiP

n/j D pnij . �

Observamos que P 1 D P e P 0 D I , onde I denota a matriz identidade.

Teorema 4 (Chapman-Kolmogorov). Seja X uma cadeia de Markov com matriz de transicao P .Para quaisquer m; n 2 N, P mCn D P mP n.

Antes de proceder com a demostracao observamos que este resultado e uma generalizacao de.PP /ij D

Pk pikpkj para o caso .P mP n/ij D

Pk pm

ikpn

kj.

Demonstracao. Sejam i; j 2 S, dois estados quaisquer, logo

pmCnij D Pi.XmCn D j / D

Xk2S

P.XmCn D j ;Xm D k jX0 D i/

D

Xk2S

P.XmCn D j jXm D k;X0 D i/P.Xm D k jX0 D i/

D

Xk2S

P.Xn D j jX0 D k/P.Xm D k jX0 D i/ DXk2S

pmikpn

kj : �

Exercıcios 9

Exercıcios

Para resolver alguns dos exercıcios desta parte resulta util lembrar que se P e diagonizavel, ouseja se existir uma matriz diagonal D tal que P D NDN �1, entao P n D NDnN �1.

Exercıcio 1. Determine a rede e a matriz de transicao dos processos descritos no Exemplo 1 e noExemplo 2.

Exercıcio 2. (i) Mostre que .�P / e uma distribuicao de probabilidade em S. (ii) Mostre que P n

e uma matriz estocastica em S para qualquer n � 0. (iii) Mostre que .�P n/ e uma distribuicao deprobabilidade em S.

Exercıcio 3. Seja .Xn/n�0 uma sequencia de v.a. independentes e identicamente distribuıdas esejam2

.a/ Sn DPn

iD1 Xi; .b/ Mn D X1 ^X2 ^ : : : ^Xn;

.c/ Ln D X1 _X2 _ : : : _Xn; .d/ Kn D Xn CXn�1:

(i) Quais das sequencias Xn, Sn, Mn, Ln e Kn e Markov? (ii) Encontre a matriz de probabilidadede transicao para as sequencias que sao cadeias de Markov.

Exercıcio 4. Suponha que os movimentos da BOVESPA podam ser modelados por uma cadeiade Markov com valores em S D f�;+g, onde “� ” representa um dia onde a bolsa fecha emvalor negativo e “+” um dia com fechamento positivo. Neste caso, a evolucao dia a dia daBOVESPA e determinada pelas probabilidades de transicao P.Xn D �jXn�1 D �/ D 1 � ˛,P.Xn D +jXn�1 D �/ D ˛, P.Xn D �jXn�1 D +/ D ˇ e P.Xn D +jXn�1 D +/ D 1 � ˇ, para0 < ˛ < 1 e 0 < ˇ < 1. (i) Se a cadeia comeca num dia do tipo �, e ˛ D ˇ D 3

4, mostre que

�nD�P.Xn D �/;P.Xn D +/

�D

�1

2.1C 2�n/;

1

2.1 � 2�n/

�(�n e a distribuicao do processo apos n dias de ter iniciado em �, isto e a probabilidade de que aBOVESPA feche em “�” ou “+” depois de n dias, dada a distribuicao inicial �0 D .1; 0/). (ii)Interpretar limn!1 �

n. (iii) Calcular pn++ D P.Xn D +jX0 D +/ no caso geral para qualquer

0 < ˛ � 1 e 0 < ˇ � 1.

Exercıcio 5. Seja .Xn/n�0 uma cadeia de Markov com valores em S D fv1; v2; v3g, definidapela seguinte rede e matriz de probabilidade de transicao

v1

v2 v3

12

12

1

P D

0@0 0 112

12

0

0 12

12

1A ;

As filas e as colunas de P estao dispostas de acordo a ordem .v1; v2; v3/. Encontre uma equacaogeral para pn

v1v1.

2Para a; b 2 R, a _ b D maximofa; bg e a ^ b D mınimofa; bg.

10 1. Tempo discreto

Exercıcio 6. Uma consultora financeira classifica emprestamos de carros em quatro categorias: oemprestimo foi pago em sua totalidade (F ), o contrato encontra-se em boas condicoes sendo quetodos os juros estao ao dia (G), a conta esta em situacao irregular com um ou mais pagamentospendentes (A), ou a conta se encontra em pessimas condicoes e foi vendida a uma agencia decolecao do credito (B). O historico indica que cada mes 10% dos contratos do tipo G paga emsua totalidade os juros, 80% permanecem em G, e 10% viram do tipo B. Logo 10% das contas dotipo A pagam os juros totalmente, 40% viram do tipo G, 40% permanecem em A, e 10% viramdo tipo B. (i) Calcule a proporcao de contratos do tipo B que pagarao a sua divida totalmente nofuturo. (ii) Qual sera a proporcao de contratos de tipo G que num futuro serao do tipo B.

Exercıcio 7. Suponha que Z0;Z1; : : : sao variaveis aleatorias independentes e identicamentedistribuıdas tais que Zi D 1 com probabilidade p e Zi D 0 com probabilidade 1 � p. SejaS0 D 0 e Sn D Z1 C : : :CZn. Em cada um dos seguintes casos determine se .Xn/n�0 e umacadeia de Markov:(a) Xn D Zn, (b) Xn D Sn, (c) Xn D S0 C : : :C Sn, (d) Xn D .Sn;S0 C : : :C Sn/.Encontre o espaco de estados e a matriz de probabilidade de transicao nos casos em nos quais.Xn/n�0 e uma cadeia de Markov.

Exercıcio 8. Seja .Xn/n�0 Markov .�;P /. Se Yn D Xkn, mostrar que .Yn/n�0 e Markov .�;P k/.Em geral, a amostragem de .Xn/n�0 a intervalos constantes de comprimento k gera uma cadeiachamada o k-esqueleto de .Xn/n�0.

Exercıcio 9. Uma pulga pula sobre os vertices de um triangulo de maneira que qualquer pulotem a mesma probabilidade. Encontrar a probabilidade de que depois de n pulos a pulga esteja devolta no lugar de partida. Uma segunda pulga tambem decide pular sobre os vertices do triangulo,mas a probabilidade de pular no sentido horario e duas vezes a probabilidade no sentido contrario.Qual a probabilidade de que apos de n pulos esta ultima esteja no mesmo lugar onde iniciou.[Observe que e˙i�=6 D

p3=2˙ i=2.]

Exercıcio 10. Seja .Xn/n�0 uma cadeia de Markov em S, e seja I W Sn ! f0; 1g. Mostre quea distribuicao condicional de Xn;XnC1; : : : dado o evento fI.X1; : : : ;Xn/ D 1 \ fXn D igg eidentica a distribuicao de Xn;XnC1; : : : dado fXm D ig.

Exercıcio 11. Seja .Xn/n�0 uma cadeia de Markov com espaco de estados S, e suponha queh W S! T e bijetiva. Mostre que Yn D h.Xn/ define uma cadeia de Markov em T . h tem queser bijetiva?

Exercıcio 12.| O seguinte exercıcio mostra como trabalhar com uma cadeia de Markov quandoso se tem informacao sobre algumas das transicoes do processo. Seja J � S e seja a seguinteparticao da matriz de probabilidade de transicao P ,

J Jc

P DJJc

�A BC D

�

2. Classes de comunicacao 11

Suponhamos que so seja possıvel registrar as entradas a J, e neste caso e observada uma cadeiade Markov . QXn/ restrita ao conjunto de estados J. (i) Mostre que a matriz de transicao de QXn e

QP D AC BXn�0

DnC D AC B.I �D/�1C:

(ii) O Dr. P. Silva fica a maior parte do seu tempo em Ribeirao Preto no trabalho (T ), no seu flat(F ), em uma boate (B), ou com uma amante (A). Cada hora, ele muda de um destes possıveisestados de acordo com uma matriz de probabilidade de transicao P . A mulher do Silva, quedesconhece da existencia da amante, acredita que as mudancas estao determinadas pela matrizP E ,

T F B A

P D

TFBA

0BB@1=3 1=3 1=3 00 1=3 1=3 1=3

1=3 0 1=3 1=31=3 1=3 0 1=3

1CCA ;T F B

P ED

TFB

0@1=3 1=3 1=31=3 1=3 1=31=3 1=3 1=3

1A :As pessoas so encontram com o Dr. Silva quando esta se encontra em J D fT;F;Bg. (ii) Calculea matriz QP que aparentemente controla os movimentos do Dr. Silva. As aventuras do Dr. Silvaserao continuadas no Exercıcio 48.

Exercıcio 13.| Seja X0 uma v.a. com valores no conjunto enumeravel S. Seja U1;U2; : : : umasequencia de v.as. independentes e com distribuicao uniforme em [0,1]. Sejam as funcoes

� W S � Œ0; 1�! S; W Œ0; 1�! S

tais que

Xn D

(�.Xn�1;Un/; se n � 1;

.U0/; se n D 0:

(i) Mostre que .Xn/n�0 e uma cadeia de Markov e encontre a matriz de probabilidade de transicaoP em termos de �. Escreva a distribuicao inicial � em termos de . (ii) E possıvel construirqualquer cadeia desta forma? O programa markov.R (na linguagem R), implementa as ideiasdeste exercıcio e pode ser utilizado para resolver alguns exercıcios propostos adiante. Inicie R edesde a linha de comando digitesource("http://dcm.ffclrp.usp.br/˜rrosales/aulas/markov.R")

Esta instrucao fornece a funcao markov. O codigo fonte em markov.R fornece alguns exemplosde como trabalhar com esta funcao.

2. Classes de comunicacaoIniciamos a continuacao o estudo de grupos de estados que apresentam certas caracterısticas emcomum. Um dos objetivos e o de restringir o estudo do processo definido em S a partes maissimples tais que juntas estas permitam fornecer uma visao geral do processo em S.

Definicao 6. Sejam i e j dois pontos quaisquer em S. O estado i conduz a j , denotado i ! j ,se existe n > 0 tal que pn

ij > 0. Utilizamos a notacao i 9 j para indicar que i nao conduz a j .

http://dcm.ffclrp.usp.br/~rrosales/aulas/markov.R

http://dcm.ffclrp.usp.br/~rrosales/aulas/markov.R


Definicao 7. O estado i comunica com o estado j , denotado i $ j , se i ! j e j ! i .Utilizamos a notacao i = j para indicar i 9 j ou j 9 i , ou i 9 j e j 9 i .

Ressaltamos que na ultima definicao o numero de passos necesarios para estabelecer acomunicacao de i ate j nao e necessariamente igual ao numero de passos no sentido contrario.

Teorema 5. Para quaisquer dois estados i; j 2 S, i ¤ j , as seguintes afirmacoes sao equivalen-tes.

(i) i ! j .(ii) pi0i1

pi1i2� � �pin�1in

> 0 para uma seqencia de estados i0; i1; : : : ; in com i0 D i ein D j .

(iii) pnij > 0 para algum n � 0.

Demonstracao. Observamos primeiro que

pnij � Pi.Xn D j para alguns n � 0/ �

1XnD0

pnij ;

ja que

fXn D j jX0 D ig �[

alguns k � n

fXk D j jX0 D ig �

1[k�n

fXk D j jX0 D ig

demonstrando a equivalencia entre (i) e (iii). Segue-se do Teorema 4 que

pnij D

Xi1;i2;:::;in�1

pii1pi1i2

: : :pin�1j ;

o qual mostra a equivalencia entre (ii) e (iii). �

E simples verificar que relacao$ e uma relacao de equivalencia em S. A relacao$ podeser utilizada para classificar os elementos de S, uma vez que esta induz una particao de S. Osconjuntos desta particao sao conhecidas como as classes de comunicacao de S .

Definicao 8. Uma classe de comunicacao C e fechada se i 2 C W i ! j ) j 2 C: A classefechada relacionada a i sera denotada por C.i/ D fj 2 S W i ! j g. Uma classe sera chamadade aberta se esta nao e fechada.

Uma classe fechada e uma classe sem saıda ja que se em algum instante X atinge um estadoda classe fechada, entao X nao consegue se comunicar com um estado de outra classe.

Definicao 9. Um estado i 2 S e chamado de estado absorvente se o conjunto fig e uma classefechada.

Definicao 10. X e uma cadeia de Markov irredutıvel se S e a unica classe de comunicacaoinduzida por$.

Segundo a Definicao 9 uma classe de comunicacao fechada e uma classe absorvente. Se X eirredutıvel entao diremos que P e uma matriz irredutıvel, ou equivalentemente que S e irredutıvel.

Exercıcios 13

Exemplo 3. A procura das classes de comunicacao e simplificada ao achar o grafo G associado amatriz de probabilidade de transicao P . Para a seguinte matriz de probabilidade de transicao

P D

0BBBBB@1=2 1=2 0 0 0 00 0 1 0 0 0

1=3 0 0 1=3 1=3 00 0 0 1=2 1=2 00 0 0 0 0 10 0 0 0 1 0

1CCCCCA :

Consideramos os estados v1, v2, : : :, v6, e os associamos nesta ordem as filas e as colunas de P , oqual imediatamente iduz o grafo

v3

v1

v2

v4

v5 v6

Diretamente do grafo deduzimos que esta cadeia apresenta as classes de comunicacao fv1; v2; v3g,fv4g e fv5; v6g. A classe fv5; v6g e fechada pois se X entra neste conjunto de estados X nao podemais sair destes. Os estados fv1; v2; v3g formam uma classe pois v1 ! v2 e v1 ! v3, v2 ! v1

e v2 ! v3, e finalmente v3 ! v1, v3 ! v2. Observamos tambem que fv4g … fv1; v2; v3g jaque v4 9 v1 (e tambem v4 9 v2 e v4 9 v3). As classes fv1; v2; v3g e fv4g sao classes abertasdesde que estas comunicam com estados de outras classes. Isto conclui a descricao das classes decomunicacao de S.

Exercıcios

Exercıcio 14. Seja X uma cadeia de Markov com grafo de transicao

c

a edb

(i) Encontre as classes de estados fechadas. (ii) Diga se X e irredutıvel.

Exercıcio 15. Classifique os estados para o processo no Exemplo 1 e no Exemplo 2. Diga se Xem cada um destes casos e irredutıvel.

Exercıcio 16. Mostre que$ e uma relacao de equivalencia em S.


3. Tempos do primeiro retorno e da primeirachegada

Uma parte significativa dos problemas encontrados no estudo das cadeias de Markov pode serreduzida ao estudo de duas variaveis aleatorias conhecidas como o primeiro tempo de retorno e oprimeiro tempo de chegada.

Definicao 11. Seja X Markov(�;P ) com valores em S. O primeiro tempo de chegada aoconjunto A � S e a variavel aleatoria HA W �! ZC [ fC1g dada por

HA.!/ D inffn � 0 W Xn.!/ 2 Ag:

(sendo inff∅g D 1.) . O primeiro tempo de retorno a A � S e a variavel aleatoria TA W �!

N [ fC1g definida como

TA.!/ D inffn � 1 W Xn.!/ 2 Ag:

Segue diretamente desta definicao que TA D HA1fX0…Ag quase certamente3. Condicionandopelo evento inicial fX0 D ig, a probabilidade de que X eventualmente chegue ate A e denotadapor

hAi D Pi.HA <1/ D

Xn�0

Pi.HA D n/:

O tempo esperado para chegar ate A a partir de i e denotado por

kAi D Ei ŒHA� D

Xn�0

nPi.HA D n/C1Pi.HA D1/:

Definicao 12. Se A e uma classe fechada. Para qualquer i 2 S , hAi e chamada de probabilidade

de absorcao em A e kAi e o tempo medio ate a absorcao em A.

Exemplo 4. O seguinte exemplo ilustra o calculo de hAi e kA

i num caso elementar. Seja X umacadeia com valores em S D f1; 2; 3; 4g e a seguinte rede de transicao

1 2 3 412

12

12

12

Se X e iniciada no estado 2, qual a probabilidade de X ser absorvida em 4? Quanto tempo demoraX para ser absorvida em 1 ou em 4? Seja A D f1; 4g, claramente das definicoes de hi e ki temos

h41 D 0; h4

4 D 1; kA1 D kA

4 D 0:

3A afirmacao ' sobre uma variavel aleatoria se diz quase certa se Pf! W ' nao e verdadeirag D 0, ou equivalentemente sePf! W ' e verdadeirag D 1.

3. Tempos do primeiro retorno e da primeira chegada 15

Suponhamos agora que X0 D 2 e a seguir consideramos as possibilidades apos da primeiratransicao, isto e, com probabilidade 1

2pulamos de 2 a 1 e com 1

2de 2 a 3, logo

h42 D

1

2h4

1 C1

2h4

3;(a)

kA2 D 1C

1

2kA

1 C1

2kA

3 :(b)

A justificativa destas equacoes esta baseada essencialmente na propriedade de Markov. Para (a),seja E D fX e absorvida em 4g, logo

h42 D P.E jX0 D 2/ D

Xk2SP.E;X1 D k jX0 D 2/

D P.E;X1 D 1 jX0 D 2/C P.E;X1 D 3 jX0 D 2/

D P.E jX1 D 1;X0 D 2/P.X1 D 1 jX0 D 2/

C P.E jX1 D 3;X0 D 2/P.X1 D 3 jX0 D 2/

D P.E jX1 D 1/p21 C P.E jX1 D 3/p23:

A ultima linha segue do Teorema 1. Um argumento similar pode ser utilizado para comprovar (b),mais a justificativa formal sera deixada para o Teorema 7 adiante. Com probabilidade p21 D

12

ocorre a primeira transicao ao estado 1, logo temos que considerar k41 como o valor esperado dos

passos ate a absorcao. A outra possibilidade, a qual corresponde a transicao de 2 a 3 inclui asquantidades p23 D

12

e h43. Utilizando exatamente este mesmo procedimento agora obtemos h4

3 ekA

3 ,

h43 D

1

2h2 C

1

2h4

4(c)

kA3 D 1C

1

2kA

2 C1

2kA

4(d )

Substituindo (c) em (a) e lembrando que h41 D 0, h4

4 D 1, obtemos

h42 D

1

2

�1

2h4

2 C1

2

�; logo h4

2 D1

3:

Finalmente, de (d ) em (b) e kA1 D kA

4 D 0,

kA2 D 1C

1

2

�1C

1

2kA

2

�; entao kA

2 D 2:

Este exemplo tem por objetivo mostrar o argumento central baseado na decomposicao asso-ciada a primeira transicao. Dependendo da simetria inerente ao grafo de transicao, sucessivasdecomposicoes podem levar diretamente a resposta final. Em geral este metodo permite construiruma equacao em diferenca a qual pode ser resolvida utilizando diversas tecnicas. O apendicea estas notas apresenta um metodo geral para resolver este tipo de equacoes. Em geral temos oseguinte resultado.

Teorema 6 (probabilidade da primeira chegada). O vetor da probabilidade dos tempos da primeirachegada ao conjunto A � S, hA D .hA

i W i 2 S/, e a solucao nao negativa mınima ao sistema


linear

(2) hAi D

(1; se i 2 A;P

j2S pijhAj ; se i … A:

Observamos que h e a solucao mınima se para uma outra solucao g D .gi W i 2 S/ tal quegi � 0, entao pontualmente gi � hi .

Demonstracao. Mostraremos primeiro que hAi e uma solucao ao sistema indicado. Trivialmente,

se X0 D i 2 A entao HA D 0 implica hAi D 1. Se X0 D i … A, entao HA � 1 e seguindo a

propriedade de Markov,

Pi.HA <1jX1 D j / D P.HA <1jX1 D j ;X0/ D P.HA <1jX1 D j /

D Pj .HA <1/ D hAj ;

logo,

hAi D

Xj2S

Pi.HA <1;X1 D j / DXj2S

Pi.HA <1jX1 D j /Pi.X1 D j / DXj2S

pijhAj :

Mostramos agora que hA e a solucao mınima. Suponhamos que g D .gi W i 2 S/ e uma outrasolucao qualquer portanto se i 2 A entao gi D 1 D hA

i . Porem, se i … A entao

gi D

Xj2S

pijgj D

Xj2A

pij C

Xj…A

pijgj :

Substituindo da mesma maneira mais uma vez para gj ,

gi D

Xj2A

pij C

Xj…A

pij

�Xk2A

pjk C

Xk…A

pjkgk

�D Pi.X1 2 A/C Pi.X1 … A;X2 2 A/C

Xj…A;k…A

pijpjkgk :

Repetindo este argumento por inducao tem-se

gj D Pi.X1 2 A/C : : :C Pi.X1 … A; : : : ;Xn�1 … A;Xn 2 A/

C

Xj1…A:::jn…A

pij1pj1j2

: : :pjn�1jngjn:

Se g e nao negativa entao o ultimo termo da equacao acima e nao negativo. Por outro lado, ostermos restantes tem soma igual a Pi.HA � n/, portanto para cada n � 1, gi � Pi.HA � n/.Passando ao limite n!1 obtemos

gi � limn!1

Pi.HA � n/ D Pi

�lim

n!1

n[kD1

fHA � kg

�D Pi.HA <1/ D hi;

pois a sequencia de eventos En D f! W HA.!/ � ng e monotona crescente, isto e En � EnC1,n � 1. �


Este Teorema quando aplicado ao Exemplo 4 leva diretamente ao seguinte sistema

h44 D 1; h4

2 D1

2h4

1 C1

2h4

3; h43 D

1

2h4

2 C1

2h4

4;

o qual expressa h42 em terminos do valor desconhecido h4

1. Da minimalidade da solucao podemosconsiderar h4

1 D 0, o qual leva ao valor h42 D

13.

Apresentamos a continuacao dois exemplos classicos da aplicacao do principio de decomposicaoda primeira transicao. Cada um destes resulta em uma equacao em diferenca particular.

Exemplo 5 (Ruına do jogador). Seja X Markov.�;P / com valores em ZC e probabilidadesde transicao p0;0 D 1, pi;i�1 D q, pi;iC1 D p para 0 < p < 1, q D 1 � p. O processodeterminado por estas probabilidades de transicao corresponde ao modelo descrito informalmenteno Exemplo 2. Desejamos calcular a probabilidade da ruına, ou seja de que Xn D 0 dado queX0 D i , i 2 N. Nao e difıcil chegar a seguinte resposta

Pi.Xn chega a 0/ D Pi.H0 <1/ D h0i :

Da decomposicao da primeira transicao obtemos entao que

(3) h00 D 1; e h0

i D ph0iC1 C qh0

i�1; i � 1:

Um metodo geral para resolvermos a equacao em diferenca de segunda ordem e apresentado noapendice. Apresentamos a seguir um outro metodo parecido com o metodo utilizado para resolverequacoes diferenciais ordinarias lineares, o qual consiste em encontrar duas solucoes, ˛1 e ˛2,linearmente independentes tais que

h0i D c1.˛1/

iC c2.˛2/

i :

Propomos primeiro uma solucao da forma h0i D ˛i , e assim a recorrencia em (3) toma a

forma ˛i D p˛iC1 C q˛i�1, i � 1. Em particular para i D 1 temos a equacao caracterısticap˛2 � ˛ C q D 0, com raızes

˛� D1 �

p1 � 4pq

2p; ˛C D

1Cp

1 � 4pq

2p:

Duas situacoes sao possıveis, A: 1 � 4pq D 0 (quando p D q D 12), e B: 1 � 4pq ¤ 0.

Analisamos cada caso separadamente. Caso A. Se p D q entao temos ˛� D ˛C D ˛ D 1. Logopropomos mais uma solucao (linearmente independente de ˛i) da forma i˛i e entao em geralobtemos

h0i D c1.˛/

iC c2i.˛/i D c1 C c2i:

Esta solucao necessariamente deve ser valida para todo i � 0, o qual forca c2 D 0 e desta formano limite i !1, h0

i ainda satisfaze h0i � 1. A solucao agora apresenta a forma h0

i D c1, massegundo a condicao inicial do problema h0

0 D 1 D c1 C c2 inferimos que c1 D 1, logo finalmenteh0

i D 1. Mesmo quando o cassino e honesto e independentemente da fortuna inicial, com certezasempre acabaremos arruinados. Caso B. Se p ¤ q, entao

˛� D1 �

p1 � 4p.1 � p/

2pD

1 �p.2p � 1/2

2pD

q

p


e

˛C D1C

p.2p � 1/2

2pD 1:

Neste caso a solucao geral ja toma a forma desejada

h0i D c1.1/

iC c2

� q

p

�i

;

porem ainda fica por ser determinados os valores de c1 e c2. Observamos que se p < q, entao nolimite i !1 temos que .q=p/i diverge, portanto seguindo o mesmo argumento empregado nocaso A concluımos que h0

i D 1 para i � 1. Isto e, se a chance de perder cada aposta e maior quea chance de ganhar, entao com certeza tambem acabaremos arruinados! Finalmente se p > q,utilizando a condicao inicial na solucao geral temos

h0i D c1 C .1 � c1/

� q

p

�i

D

� q

p

�i

C c1

�1 �

� q

p

�i�:

Sendo p > q, necessariamente 1 � .q=p/i > 0, o qual implica que c1 � 0 e entao h0i � 0.

Utilizamos a propriedade minimal de h0i demonstrada no Teorema 6 para justificar a escolha

c1 D 0. A solucao neste caso e portanto

h0i D

� q

p

�i

:

Concluımos que com probabilidade positiva podemos perder todo o nosso dinheiro mas a mesmadiminui geometricamente com i , isto e, a medida que entramos com mais dinheiro no cassino. Sono limite i !1 podemos garantir que a probabilidade de nao ficar arruinados seja 1.

Exemplo 6 (Cadeia de nascimento e morte simples). Seja X uma cadeia de Markov com valoresem ZC e probabilidades de transicao p0;1 D 0, pi;iC1 D pi , e pi;i�1 D qi . A rede de transicaopara este processo e portanto

0 1 2 3 � � � i iC1 � � �1q1

p1

q2

p2

q3

pi

qiC1

Este processo e muito parecido com o processo que descreve a ruına do jogador, mas agoraas probabilidades de transicao em cada instante dependem do estado atual do processo. Acadeia assim definida pode ser utilizada para modelar o crescimento de uma populacao a qualno instante n apresenta i indivıduos, i.e., Xn D i . Uma quantidade importante nesta aplicacaoe a probabilidade de extincao da populacao. Dado que a populacao apresenta inicialmente iindivıduos temos

Pi

˚eventual extincao da populacao

D Pi.H0 <1/ D h0

i :

Utilizando a decomposicao da primeira transicao temos que esta probabilidade satisfaz a seguinterelacao de recorrencia

h0i D pih

0iC1 C qih

0i�1; i D 1; 2; : : :


Observamos que, a diferenca do Exemplo 2, a equacao em diferenca que descreve h0i agora nao

e homogenea pois os coeficientes qi , pi dependem do estado atual do processo. Mesmo assim,neste caso ainda e possıvel encontrar a solucao diretamente. Seja

ıi D h0i�1 � h0

i ;

logo

piıiC1 D pih0i � pih

0iC1 D pih

0i � .h

0i � qih

0i�1/

D �h0i .1 � pi/C qih

0i�1 D qi.h

0i�1 � h0

i / D qiıi;

e portanto

ıiC1 Dqi

pi

ıi :

Desta forma, utilizando inducao em i obtemos

ıiC1 Dqi

pi

qi�1

pi�1

� � �q1

p1

ı1:

Se i DQi

kD1 qk=pk , para i � 1, entao ıiC1 D iı1. Por outro lado observamos que

ı1 C ı2 C : : :C ıi D h00 � h0

i :

Combinando estes dois resultados temos a forma geral para a probabilidade de extincao obtemos

h0i D 1 � ı1

i�1XjD0

j :

Para obtermos h0i , ainda temos que calcular ı1. Consideramos a tal fim separadamente os seguintes

casos, A:P1

iD0 i D 1, e B:P1

iD0 i <1. Caso A. Para termos h0i � 1, i � 1, e necessario

que ı1 D 0. Neste caso, com probabilidade 1, a populacao sera extinta para qualquer numeroinicial de indivıduos. Caso B. Se

P1iD0 i <1, entao deve existir um ındice k <1 tal que

qkCn � � � q1

pkCn � � �p1

D 0;

para todo n � 0. Portanto e possıvel considerar ı1 > 0 sempre e quando ı1. 0C : : :C i�1/ < 1,para i � 1. Utilizando o Teorema 6 escolhemos

ı1 D

� 1XiD0

i

��1

;

ja que neste caso obtemos a solucao mınima para h0i . Esta escolha satisfaze ı1. 0C: : :C i�1/ < 1,

e portanto da expressao geral para h0i temos

h0i D 1 �

Pi�1jD0 jP1jD0 j

D

P1jDi jP1jD0 j

< 1; i � 1:

Concluımos que para qualquer quantidade inicial de indivıduos, i � 1, a probabilidade de extincaoh0

i < 1, ou equivalentemente Pi.sobrevivencia/ D 1 � h0i > 0.


Este exemplo e o anterior mostra como a condicao de minimalidade e util na solucao deequacoes em diferenca para calcular hA

i , em especial quando S nao e finito pois neste casousualmente nao temos uma das condicoes de contorno necessarias.

Voltamos agora a considerar os tempos esperados da primeira chegada a um conjunto A � S,isto e kA

i . Para esta quantidade apresentamos o seguinte resultado geral.

Teorema 7 (tempo esperado da primeira chegada). Seja A � S. O vetor de tempos esperados dechegada kA D .kA

i W i 2 S/, e a solucao mınima, nao-negativa ao sistema linear

kAi D

(0; se i 2 A;

1CP

j…A pijkAj ; se i … A:

Demonstracao. Mostramos primeiro que kA D .Ei ŒHA� W i 2 S/ satisfaz este sistema. SeX0 D i 2 A entao HA D 0, logo Ei ŒHA� D Ei Œ0� D 0. Se X0 D i … A entao HA � 1.Observamos primeiro que

Ei ŒHA jX1 D j � D Ei ŒHA jX1 D j ;X0 D i �

D Eh

infnfn � 0 W Xn 2 Ag jX1 D j ;X0 D i

iD E

hinfnfn � 1 W Xn 2 Ag jX1 D j

iD 1C E

hinfnfn � 0 W Xn 2 Ag jX0 D j

iD 1C Ej ŒHA�

sendo que a primeira e a terceira igualdade seguem da propriedade de Markov. A terceira tambemutiliza X0 D i … A, e a quarta e consequencia da homogeneidade (temporal) do processo. Agora

kAi D Ei ŒHA� D

Xj2S

Ei

�HA1fX1Djg

�D

Xj2S

X!

HA.!/1fX1Djg.!/Pi.!/

D

Xj2S

Xn

nPi.HA.!/ D n;X1.!/ D j /

D

Xj2S

Xn

nPi.HA.!/ D n jX1 D j /Pi.X1 D j /

D

Xj2S

Ei ŒHA jX1 D j �pij ;

e portanto da primeira parte da prova

kAi D

Xj2S

.1C Ej ŒHA�/pij D 1CXj2S

Ej ŒHA�pij D 1CXj…A

pijkAj :

A restricao do somatorio ao complemento de A e devida a que kAj D 0 para j 2 A. Mostramos

agora que .kAi W i 2 S/ e de fato a solucao mınima. Suponhamos que r D .ri W i 2 S/ e qualquer

outra solucao ao sistema. Entao kAi D ri D 0 para qualquer i 2 A. Se i … A, dado que ri satisfaz


o sistema,

ri D 1CXj…A

pijrj D 1CXj…A

pij

�1C

Xk…A

pjkrk

�D 1C

Xj…A

pij C

Xj…A;k…A

pijpjkrk

D Pi.HA � 1/C Pi.HA � 2/CX

j…A;k…A

pijpjkrk

Utilizando inducao

ri D

nXkD1

Pi.HA � k/CX

j1…A;:::;jn…A

pij1pj1j2

� � �pjn�1jnrjn:

Se r e nao negativa, entao necessariamente

ri �

nXkD1

Pi.HA � k/;

o qual e valido para todo n � 1. No limite portante tem-se

ri �

1XkD1

Pi.HA � k/ D Ei ŒHA� D kAi :

Nesta ultima linha utilizamos a identidade EŒ�� DP

k�0 P.� > k/, valida para qualqer variavelaleatoria nao negativa, � � 0. �

Existe uma outra maneira para calcular os valores esperados do primeiro tempo de retorno,baseada no metodo da funcao geradora.

Definicao 13. Seja � uma variavel aleatoria com valores no conjunto enumeravel S. A funcaogeradora de probabilidade de � e definida por

G.z/ D EŒz� � DXi2S

ziP .� D i/;

para tudo jzj � 1 pertencente ao raio de convergencia da serie de potencia a direita da ultimaigualdade.

O seguinte Lema apresenta algumas das propriedades basicas destas funcoes. A sua demonstracaoe deixada como um exercıcio.

Lema 1. Se � tem funcao geradora G.z/, entao .i/ G.1/ D 1, .ii/ G.0/ D P .� D 0/, e .iii/

EŒ�� D G 0.1/ DdG.z/

dz

ˇzD1:


Seja hji .n/ a distribuicao do primeiro tempo de retorno de i a j , isto e, h

ji .n/ D Pi.Tj D n/,

n � 1. Consideramos agora as seguintes funcoes geradoras

Gij .z/ D1X

nD0

znpnij ; Hi.z/ D

1XnD0

znhii.n/

lembrando que p0ij D 1 se i D j , p0

ij D 0 se i ¤ j e hji .0/ D 0 para tudo i e j 2 S.

Lema 2. Seja X uma cadeia de Markov e i 2 S em estado qualquer. Neste caso, Gii.z/ D1CHi.z/Gii.z/ e Gij .z/ D Hi.z/Gjj .z/ se i ¤ j .

Demonstracao. Veja o Teorema 6.2.3 em [5], pagina 221. �

Estes resultados podem ser utilizados para calcular o tempo medio do primeiro retorno. DoLema 2 temos que Hi.z/ D 1 � .Gii.z//�1, o qual combinado com o Lema 1 resulta em

kii D Ei ŒHi � D H 0i .z/

ˇzD1D

1 �

1

Gii.z/

!0 ˇˇzD1

:

Exemplo 7. Duas cadeias de Markov estao definidas pelas seguintes matrizes de probabilidadede transicao

.a/

0@1 � 2p 2p 0p 1 � 2p p0 2p 1 � 2p

1A ; .b/

0BB@0 p 0 1 � p

1 � p 0 p 00 1 � p 0 pp 0 1 � p 0

1CCA :Calculamos a seguir os tempos de recorrencia esperados para cada um dos possıveis estados em(a) e (b). Para (a) encontramos primeiramente a funcao geradora Gii.z/, para o qual calculamosP n D NDnN �1. Da equacao caracterıstica associada obtemos os tres autovalores 1, .1 � 2p/, e.1 � 4p/, logo

N D

0@1 1 11 0 �11 �1 1

1A ; N �1D

0@1=4 1=2 1=41=2 0 �1=21=4 �1=2 1=4

1ADnD

0@1 0 00 .1 � 2p/n 00 0 .1 � 4p/n

1Ae entao calculando o produto NDnN �1 obtemos os elementos da diagonal

pn11 D

1

4C

1

2.1 � 2p/n C

1

4.1 � 4p/n; pn

22 D1

2C

1

4.1 � 4p/n; pn

33 D pn11:

Assim

G11.z/ DXn�0

zn�1

4C

1

2.1 � 2p/n C

1

4.1 � 4p/n

�D

1

4.1 � z/C

1

2.1 � z.1 � 2p//C

1

4.1 � z.1 � 4p//:

Exercıcios 23

Segundo o Lema 2 temos

k11 D H 01.z/

ˇzD1D

16p4

4p4D 4;

o qual tambem e o valor de k33 . Analogamente para pn

22, temos

G22.z/ DXn�0

zn�1

2C

1

2.1 � 4p/n

�D

1

2.1 � z/C

1

2.1 � z.1 � 4p//;

portanto

k22 D H 02.z/

ˇzD1D

8p2

4p2D 2:

Para a cadeia definida por (b) procedemos da mesma forma. Neste caso os autovalores sao �1,1,i.2p � 1/, e �i.2p � 1/, logo

pnjj D

1

4

�1C .�1/n C .i.2p � 1//n C .�i.2p � 1//n

�;

para qualquer j D 1; 2; 3; 4; e entao finalmente do Lema 2,

k11 D k2

2 D k33 D k4

4 D 4:

Exercıcios

Exercıcio 17. Uma cadeia de Markov com espaco de estados f1; 2; 3g apresenta a seguinte matrizde probabilidade de transicao

P D

0@ 13

13

13

0 12

12

0 0 1

1A :Mostre que o estado 3 e absorvente. Dado que X0 D 1, encontre o tempo esperado ate absorcao.

Exercıcio 18. Uma moeda honesta e lancada repetidas vezes. Calcule o numero esperado delancamentos ate aparecer a sequencia fcara, coroa, carag pela primeira vez.

Exercıcio 19. Seja X uma cadeia de Markov em ZC e probabilidades de transicao

p01 D 1; pi;iC1 C pi;i�1 D 1; pi;iC1 D

� i C 1

i

�2

pi;i�1; i � 1:

Mostre que se X0 D 0 entao a probabilidade de que Xn � 1 para todo n � 1 e 6=�2.

Exercıcio 20. (i) Calcule a probabilidade da sua ruına sendo que o seu capital inicial e i , isto ecalcule h0

i , mas agora suponha que voce se encontra jogando contra uma outra pessoa com capitalinicial j D a � i . (ii) Calcule a probabilidade da ruına do seu oponente.

Exercıcio 21. Responda a pergunta (vii) formulada no Exemplo 1.

Exercıcio 22. Considere o enunciado do Exercıcio 20 e neste caso (i) calcule o tempo esperadoda sua ruına. (ii) Calcule o tempo esperado da ruına do seu oponente.


Exercıcio 23. Este exercıcio e uma continuacao do exercıcio Exercıcio 6. Qual e o numero mediode meses no qual uma conta do tipo A permanecera no sistema? (isto e, o numero de meses emmedia para que esta vire do tipo F ou B.)

Exercıcio 24.

b

a Uma cutia e introduzida em um labirinto no vertice a segundo o grafoao lado. Ela percorre aleatoriamente pelo labirinto ate atingir o vertice b.Em cada vertice, ela escolhe mover-se para um dos vertices vizinhos comigual probabilidade, independentemente de todas as outras opcoes. Encontreo numero medio de movimentos necessarios para a cutia alcancar o vertice b.Suponha agora que a cutia seja inteligente, pois quando chegar a um vertice,

ela nao retornara imediatamente ao vertice do qual acabou de chegar, escolhendo com igualprobabilidade todos os outros vertices vizinhos. Expresse o movimento da cutia em termos deuma cadeia de Markov cujos estados e probabilidades de transicao voce deve especificar. Encontreo numero medio de movimentos ate que a cutia inteligente atinja o vertice b. Compare com suaresposta a primeira parte e comente brevemente.

Exercıcio 25 (Serpentes e escadas4). Um tabuleiro de 3 � 3 quadros apresenta duas escadas eduas cobras. A primiera escada inicia no quadro 2 e termina no quadro 7 e outra vai do quadro 3ate o quadro 5. A cauda da primiera cobra esta no quadro 1 e a sua cabec no quadro 6, e a caudada segunda cobra esta em 4 e a sua cabeca em 8. Suponha que voce inicia o jogo no quadro 1,e logo em cada turno voce joga uma moeda (honesta) de tal maneira que se o resultado e caraentao voce avanca dois quadros, mas se o resultado e coroa voce avanca so um quadro. Se vocese encontra com o pe de uma escada voce imediatamente sobe ate o final dela, mas se voce seencontra com a cabeca de uma cobra voce desce ate o final da cauda. (i) Quantas turnos saonecessarios em media para chegar ate o quadro 9? (ii) Qual a probabilidade de que um jogadorque tenha chegado ate ao quadro 5 consiga chegar ate o 9 sem voltar ate o quadro 1? (iii) Calculea quantidade de turnos esperados se em lugar de uma moeda agora e utilizado um dado de talforma que voce avanca n quadros quando a face superior e n.

Exercıcio 26.

v1

a

v3 v4

b

Duas pulgas pulam independentemente uma da outra sobre os verices do grafomostrado abaixo. Suponha que as pulgas iniciam o seu percurso nos verices a e be que cada pulga pode pular a um vertice vizinho ou ficar no mesmo verice comprobabilidade 1

3. (i) Encontre a matriz de probabilidade de transicao associada

ao processo correspondente a posicao relativa das duas pulgas em cada instante.(ii) Determine o tempo esperado no qual as duas pulgas se encontram sobre o mesmo verice pelaprimeira vez.

Exercıcio 27. Demonstre o Lema 1.

4Este jogo, popular na Inglaterra Victoriana ao rededor de 1890, esta relacionado a um jogo da India de nome Moksha-Patamu,possıvelmente originado em 200 A.C. O Tabuleiro considerado neste exercıcio e uma versao simplificada do verdadeiro jogo,o qual possue 10 � 10 quadros, e escadas e cobras dispostas da seguinte forma: escadasD f.1, 38);(4, 14);(9, 31);(21, 42);(28,84);(36, 44);(51, 67);(71, 91);(80, 100/g, cobrasD f(16, 6), (47, 26), (49, 11), (56, 53), (62, 19), (64, 60), (87, 24), (93, 73), (95,75), (98, 78)g.

4. Propriedade forte de Markov 25

Exercıcio 28. Considere novamente as questoes (i) e (ii) do Exercıcio 6. Observe porem queos estados B e F sao absorventes logo, a resposta a (i) e (ii) pode ser obtida ao considerarrespectivamente uma equacao de recorrencia.

Exercıcio 29. || Seja .Xn/n�0 Markov em f0; 1; 2; : : :g com matriz de transicao definida por

p0j D aj se j � 0; pii D r; pi;i�1 D 1 � r se i � 1:

Encontre o valor esperado dos tempos de retorno.

Exercıcio 30. Suponha que j 2 S seja absorvente. Mostre que Pi.Tj � n/ D pnij . A distribuicao

do primeiro tempo de retorno a j pode ser calculada como

hji .n/ D Pi.Tj � n/ � Pi.Ti � n � 1/ D pn

ij � pn�1ij ; n � 1:

4. Propriedade forte de MarkovUm avanco significativo na teoria e conseguido ao considerar eventos do tipo

fXTC1; : : :XTCn jXT D i; : : : ;X0 D ig

para o instante aleatorio T .!/, em lugar de

fXmC1; : : :XmCn jXm D i; : : : ;X0 D ig

onde m e um instante fixo determinado a priori. Precisamos porem da seguinte restricao parapoder condicionar por um instante aleatorio.

Definicao 14. A variavel aleatoria T W � ! f0; 1; : : :g [ f1g e um tempo de parada para oprocesso X , se o evento fT D mg so depende de X0; : : : ;Xm.

Exemplo 8. Seja X um processo aleatorio com valores em S. (i) O primeiro tempo de retornoao estado i , Ti , e um tempo de parada para X uma vez que

fTi D ng D fX0 ¤ i;X1 ¤ i; : : : ;Xn�1 ¤ i;Xn D ig:

(ii) O primeiro tempo de chegada a i , Hi , tambem e um tempo de parada para X . (iii) O ultimotempo de saıda de A � S,

UA D supfn � 0 W Xn 2 Ag

nao e um tempo de parada para X , ja que fUA D ng claramente depende do evento fXnCm 2 A Wm � 1g.

A propriedade de Markov ainda e valida se a variavel aleatoria T e um tempo de parada. Oponto crucial e observar que se B e um evento determinado por X0; : : : ;XT , entao B \ fT D mgesta determinado por X0; : : : ;Xm.

Teorema 8 (Propriedade forte de Markov). Seja X Markov.�;P / e T um tempo de parada paraX . Sob o evento fT <1;XT D ig, o processo .XTCn/, n � 0, e Markov.ıi;P / e independentede X0; : : : ;XT .


Demonstracao. Seja B um evento definido pelas variaveis aleatorias X0; : : : ;XT , logo o eventoB \ fT D mg esta determinado pelas variaveis X0; : : : ;Xm. Agora

P.fXT D j0; : : : ;XTCn D jng \ fB;T <1;XT D ig/

D

Xm�0

P.fXT D j0; : : : ;XTCn D jng \ fB;T D m;XT D ig/;

portanto

P.XT D j0; : : : ;XTCn D jn;B jT <1;XT D i/

D

Xm�0

nP.XT D j0; : : : ;XTCn D jn;B;T D m;XT D i/

�P.T D m;XT D i/P.T D m;XT D i/

��1o;

mas se T D m, entao XT D Xm. Desta forma temos queXm�0

P.Xm D j0; : : : ;XmCn D jn;X0; : : : ;Xm;T D m;Xm D i/P.T D m;Xm D i/�1

D

Xm�0

˚P.Xm D j0; : : : ;XmCn D jn jX0; : : : ;Xm;Xm D i;T D m/

P.X0; : : : ;Xm;Xm D i;T D m/P.T D m;Xm D i/�1;

assim, da propriedade fraca de Markov, a expressao a direita da ultima igualdade eXm�0

P.Xm D j0; : : : ;XmCn D jn jXm D i/P.X0; : : : ;Xm jT D m;Xm D i/:

Da homogeneidade do processo, concluımos portanto que

Pi.X0 D j0; : : : ;Xn D jn/Xm�0

P.X0; : : : ;Xm jT D m;Xm D i/

D Pi.X0 D j0; : : : ;Xn D jn/P.B jT <1;XT D i/: �

5. Recorrencia e transitoriedadeExiste uma outra maneira de classificar os estados em S de acordo a se estes podem ser visitadosum numero infinito de vezes ou nao. Veremos que esta classificacao e essencial para estudaras propriedades de Xn no limite n ! 1. Baseamos a exposicao das nocoes de recorrenciae transitoriedade nos tempos do primeiro retorno TA. Posteriormente veremos que existemcaracterizacoes alternativas.

Definicao 15. Seja X Markov.�;P / com valores no conjunto enumeravel S. O estado i 2 Se recorrente5 se Pi.Xn D i para infinitos n/ D 1. O estado i 2 S e transitorio se Pi.Xn D

i para infinitos n/ D 0: A cadeia e recorrente se S e recorrente.

5as vezes tambem denominado persistente

5. Recorrencia e transitoriedade 27

i

�1i

Xn.!/

E1i E2

i E3i

E5i E6

i

�2i �3

i �5i�0

i

Figura 2. tempos de excursao e do primeiro retorno ao estado i .

Um estado e recorrente se este e visitado infinitas vezes, caso contrario este e transitorio. Seum estado e transitorio entao eventualmente existe um instante a partir do qual a cadeia nao visitamas este estado. Mostraremos que S pode ser particionado em classes de estados recorrentese transitorias, porem mais importante-mente desenvolveremos varios criterios de recorrencia etransitoriedade equivalentes.

Seja Ti o primeiro tempo de retorno a i . Se T 0i � 0, e T 1

i � Ti , entao o k-esimo tempo deretorno a i e definido indutivamente para k D 0; 1; : : : como

T kC1i .!/ D inffn � T k

i .!/C 1 W Xn.!/ D ig

Logo a duracao da k-esima excursao i e

Eki D

(T k

i � T k�1i ; se T k�1

i <1;

0; caso contrario:

A relacao entre T ki e Ek

i e apresentada na Figura 2.A primeira caracterizacao das nocoes de recorrencia e transitoriedade a ser descrita estara

baseada na distribuicao conjunta da duracao dos tempos de excursao. Com este propositoapresentamos dois resultados preliminares.

Lema 3. Para k D 2; 3; : : :, dado T k�1i <1, Ek

i e independente de fXm W m � T k�1i g, e

P.Eki D n jT k�1

i <1/ D Pi.Ti D n/:

Demonstracao. A prova consiste em mostrar as seguintes duas igualdades

P�Ek

i D n; fXm W m � T k�1i g jT k�1

i <1�

D P�Ek

i D n jT k�1i <1

�P�fXm W m � T k�1

i g jT k�1i <1

�(4)

D P.Ti D n jX0 D i/P�fXm W m � T k�1

i g jT k�1i <1

�:(5)

Seja T D T k�1i . Da definicao de Ek

i e utilizando probabilidade condicional obtemos

P�fEk

i D ng\ fXm W m � T g jT <1�

D P�fT k

i � T D ng \ fXm W m � T g jT <1�

D P.XT ; : : : ;XTCn D i;X0; : : : ;XT jT <1/:


Embora, no instante T a cadeia esta em i , portanto a probabilidade da expressao a direita daultima igualdade e de fato igual a

P.XT ; : : : ;XTCn;X0; : : : ;XT jXT D i;T <1/

D P.XT : : : ;XTCn jXT D i;T <1/P.X0; : : : ;XT jXT D i;T <1/

D P.Eki D n jT k�1

i <1/P.X0; : : : ;XT jTk�1i <1/:

A segunda igualdade segue diretamente ao aplicarmos o Teorema 8 para o tempo de parada T .Isto culmina a prova de (4). Para (5) e suficiente observar que .XTCn/, n � 0 e Markov.ıi;P /,portanto

Eki D inf

˚n � 1 W XTCn D i

e o primeiro tempo de retorno a i do processo .XTCn/, n � 0. O primeiro tempo de retorno a ido processo .XTCn/ e de fato o primeiro tempo de retorno de .Xn/ a i , pois sob fX0 D ig, .Xn/

tambem e Markov(ıi;P ). �

Consideramos agora a variavel aleatoria Vi W �! N [ fC1g, definida por

Vi.!/ D

1XnD0

1fXnDig.!/;

isto e, Vi denota o numero de vezes nas quais X passa pelo estado i . Observamos que

Ei ŒVi � D Ei

h 1XnD0

1fXnDig

iD

1XnD0

Ei Œ1fXnDig� D

1XnD0

Pi.Xn D i/ D

1XnD0

pnii :

A matriz G com entradas .G/ij D Ei ŒVj �, i; j 2 S, e conhecida como a matriz de potencial dacadeia X .

Definicao 16. Para qualquer i 2 S, denotamos por fi a probabilidade de que X eventualmenteretorne a i dado que inicialmente o processo esta em i , isto e fi D Pi.Ti <1/:

Mostramos a continuacao que e possıvel calcular a distribuicao de Vi a partir da probabilidadedo primeiro retorno a i , fi . Utilizamos f k

i para denotar ŒPi.Ti <1/�k , o qual devido ao Lemma 3

corresponde a probabilidade de que X eventualmente retorne k vezes ao estado i .

Lema 4. Para k � 0, tem-se Pi.Vi > k/ D f ki .

Demonstracao. Observamos primeiro que a igualdade e valida para k D 0. Se X0 D i entaofVi > 0g D fT 0

i < 1g, ja que neste caso Vi D 1 e por definicao T 0 D 0. O resultado segueutilizando inducao em k. Dado o evento fX0 D ig, suponhamos que para um determinado k > 0,fVi > k j X0 D ig D fT k

i <1 j X0 D ig. Como T ki � T k�1

i D Eki , entao T k

i D Eki C T k�1

i

e assim

Pi.Vi > k/ D Pi.Eki <1;T

k�1i <1/

D Pi.Eki <1jT

k�1i <1/Pi.T

k�1i <1/:

5. Recorrencia e transitoriedade 29

Do Lema 3, o primeiro termo a direta da ultima igualdade e Pi.Ti <1/. Desta forma

Pi.Vi > k/ D Pi.Ti <1/Pi.Tk�1i <1/ D fif

k�1i D f k

i : �

Exercıcio 31. Suponha que V e uma variavel aleatoria com valores em ZC. Mostre que EŒV � DP1kD0 P.V > k/. (Esta relacao e conhecida como a formula telescopica para a esperanca.)

Mostramos agora que a recorrencia de um estado pode ser caracterizada utilizando as probabi-lidades do primeiro retorno fi ou os n-esimos iterados da matriz de probabilidade.

Teorema 9 (recorrencia-transitoriedade). Seja X Markov com valores em S, e i 2 S.

(i) Se Pi.Ti <1/ D 1 entao i e recorrente eP

n�0 pnii D1.

(ii) Se Pi.Ti <1/ < 1 entao i e transitorio eP

n�0 pnii <1.

Demonstracao. Se Pi.Ti <1/ D fi D 1, entao f ki D 1 para tudo k 2 N. Passando ao limite

k !1 e utilizando o Lema 4 obtemos

1 D limk!1

f ki D lim

k!1Pi.Vi > k/ D Pi

�lim

k!1

\k

fVi > kg

�D Pi.Vi D1/;

isto e, com probabilidade um, Xn visita o estado i infinitas vezes. O estado i e portanto recorrente.Observe que a terceira igualdade segue da continuidade da funcao de probabilidade. Agora, sef k

i D 1, para k � 0, entao tambem obtemosXk�0

pkii D Ei ŒVi � D

Xk�0

Pi.Vi > k/ D1:

Suponhamos agora que fi < 1. Neste casoXk�0

pkii D

Xk�0

Pi.Vi > k/ DXk�0

f ki D

1

1 � fi

<1;

e tambem Pi.Vi D1/ D limn!1 fk

i D 0, ou seja, a probabilidade de que X pase por i infinitasvezes e zero por tanto i e transitorio. �

Observamos que recorrencia ou a transitoriedade sao propriedades de solidariedade no sentidode que estas sao compartilhadas pelos membros de uma classe de comunicacao.

Teorema 10. Seja C � S uma classe de comunicacao. Todos os estados de C sao recorrentesou transitorios.

Demonstracao. Sejam i; j 2 C portanto existem inteiros n;m (positivos) tais que pnij > 0 e

pmji > 0. Agora, para todo k � 0, diretamente da relacao de Chapman-Kolmogorov (Teorema 4)

obtemospnCkCm

ii D

Xj2S

pnijpk

jjpmji � pn

ijpkjjpm

ji :

Assim, Xk�0

pnCkCmii �

Xk�0

pnijpk

jjpmji ;


e entao Xk�0

pkjj �

Xk�0

pnCkCmii =pn

ijpmji :

Se i e transitorio, do Teorema 9 temos queP

k pnCkCmii < 1. Concluımos portanto que j

necessariamente tambem e transitorio. �

Teorema 11. Toda classe recorrente e fechada.

Demonstracao. Da definicao, lembramos que C � S e fechada se para qualquer i 2 C , i ! jimplica j 2 C . Suponhamos que C seja aberta aberta e que i 2 C . Necesariamente existem j …C e m � 1 tais que Pi.Xm D j / > 0. Neste caso Pi.fXm D j g\fXn D i para infinitos ng/ D 0,ja que se a cadeia sai de C a j , entao esta nao pode mais voltar a C (caso contrario j 2 C ).Concluımos que Pi.Xn D i para infinitos n/ < 1, e disto ultimo que i nao e recorrente. Portantodo Teorema 10 temos que C e transitoria. �

Teorema 12. Toda classe finita e fechada e recorrente.

Demonstracao. Suponhamos que C e fechada e finita, e que X0 2 C . Para algum i 2 C temosque

0 < P.Xn D i para uma infinidade de ındices n/:

Seja T um tempo de parada tal que XT D i . Sem perda de generalidade podemos considerarT D Ti . Assim, se condicionamos por fT < 1;XT D ig, segundo a propriedade forte deMarkov obtemos

0 < P.X0; : : : ;XT j T <1;XT D i/Pi.Xn D i para uma infinidade de ıdices n/:

Isto implica em 0 < Pi.Xn D i para uma infinidade de ındices n/, portanto da Definicao 15,i e nao transitorio e neste caso, seguindo o Teorema 9 i e necessariamente recorrente. PeloTeorema 10 isto implica que C e recorrente. �

Este Teorema e bastante util pois se C e uma classe finita, entao e possıvel determinar se estae fechada ou aberta e portanto se e recorrente ou nao. A classificacao e mais delicada se a classeC nao e finita. Neste caso e possıvel encontrar exemplos onde C e fechada e transitoria. Umexemplo classico deste fenomeno sera apresentado na proxima secao.

O seguinte resultado sera necessario para mostrar o principal Teorema de convergencia nasecao 7.

Teorema 13. Se P e irredutıvel e recorrente, entao P.Ti <1/ D 1, para todo i 2 S.

Sob as hipoteses de recorrencia e irredutibilidade, este teorema mostra que independentementedo estado inicial, o primeiro tempo de retorno a um estado e finito. O Teorema 9 em cambiofornece um criterio de recorrencia a partir da probabilidade condicional do primeiro tempo deretorno dado o estado inicial.

Demonstracao. Notamos primeiro que

P.Tj <1/ DXi2S

P.Tj <1;X0 D i/ DXi2S

Pi.Tj <1/P.X0 D i/;

Exercıcios 31

logo sera suficiente verificar que Pi.Tj < 1/ D 1 para todo i 2 S. Seja m W pmij > 0. Se P e

recorrente, entao

1 D Pj .Xn D j infinitas vezes/D Pj .Xn D j para alguns n � mC 1/

D

Xk2S

Pj .Xn D j para alguns n � mC 1 jXm D k/Pj .Xm D k/

D

Xk2S

Pj .Xn D j para alguns n � mC 1 jXm D k/pmjk D

Xk2S

Pk.Tj <1/pmjk :

A ultima igualdade segue da propriedade fraca de Markov. Finalmente, comoP

k pmjkD 1, da

ultima igualdade acima temos que Pi.Tj <1/ D 1. �

Exercıcios

Exercıcio 32. Identifique as classes recorrentes e transitorias da cadeia definida no Exemplo 3.

Exercıcio 33. Seja X Markov.�;P /, com matriz de probabilidade de transicao

P D

0BBBB@1=2 0 0 0 1=20 1=2 0 1=2 00 0 1 0 00 1=4 1=4 1=4 1=4

1=2 0 0 0 1=2

1CCCCA :Clasifique os estados em transitorios e recorrentes.

Exercıcio 34. Seja X uma cadeia de Markov com valores em S D f0; 1; : : :g e probabilidadesde transicao

p0;1 D 1; pi;iC1 D p; pi;0 D 1 � p

para 0 < p < 1. (i) Diga se X e irredutıvel. (ii) Determine se X e recorrente ou transitoria.

Exercıcio 35. Uma cadeia de Markov com S D ZC possue probabilidades de transicao p00 Dq0 ¤ 0,

pi;iC1 D pi; pi;i�1 D qi; i 2 ~:

Mostre que este processo e recorrente se, e somente seXn�1

nYrD1

qr

pr

D1:

Exercıcio 36. Mostre que para a cadeia definida no Exercıcio 19, P.Xn ! 1 quando n !1/ D 1. Suponha agora que a cadeia apresenta as seguintes probabilidades de transicao

pi;iC1 D

� i C 1

i

�˛pi;i�1:

Para cada ˛ 2 .0;1/ encontre o valor de P.Xn !1 quando n!1/.


Exercıcio 37. O seguinte problema e mais teorico e pode ser deixado para uma segunda leitura.O assunto a ser exposto e conhecido como a decomposicao do primeiro retorno. Considere aprobabilidade de que X retorne a j pela primeira vez no instante n dado que X0 D i , h

ji .n/ D

Pi.Tj D n/. (i) Mostre que para qualquer n � 1, pnij D

PnkD1 h

ji .k/p

n�kjj . (ii) Considere as

funcoes geradoras Gij .z/ e Hij .z/ DP1

nD0 hji .n/z

n. Gij foi definida no texto. Mostre que

Gij .z/ D ıij CHij .z/Gij .z/;

sendo ıij D 1 se j D 1 e 0 no caso contrario. Observe que o Lema 2 e um caso particular disto.(iii) Mostre que Pi.Ti <1/ D 1 se, e somente se

P1nD0 pn

ii D1.

5.1. Recorrencia e transitoriedade de passeios aleatorios simples. Apresentamos primeiro opasseio aleatorio simples com valores em Z. Uma versao deste processo com valores em ZC foiconsiderada no Exemplo 2, mas agora identificamos o processo explicitamente como uma cadeiade Markov. Em particular isto permite o estudo da sua recorrencia/transitoriedade.

Seja X0;X1; : : : ;Xn uma seqencia de variaveis aleatorias independentes e identicamentedistribuıdas com distribuicao Bernoulli(p) que P.Xn D 1/ D p D 1 � P.Xn D �1/. Sejam Sn,n � 0, as somas parciais

Sn D S0 C

nXiD1

Xi; S0 D 0:

A sequencia .Sn/ assim definida e um passeio aleatorio simples com valores em Z. Seja q D 1�p.No caso p D q D 1=2, chamamos .Sn/ de passeio aleatorio simetrico . Este processo restrito aZC e com valor inicial S0 D k poderia representar a fortuna de um jogador no instante n, mas asaplicacoes deste processo sao bem mais amplas. A Figura 2 mostra um caminho tıpico de umpasseio aleatorio simetrico com S0 D i D 0.

E simples observar que .Sn/, n � 0, e uma cadeia de Markov, de fato,

P.SnC1 D j jS0 D 0; : : : ;Sn D i/

D P.XnC1 C i D j jS0 D 0; : : : ;Sn D i/

D P.XnC1 D j � i/ D P.SnC1 D j jSn D i/

sendo que a segunda igualdade e valida uma vez que o incremento XnC1 e independente deS0; : : : ;Sn. Esta observacao e importante pois mostra que os processos com incrementos inde-pendentes apresentam a propriedade de Markov. A matriz de probabilidade deste processo emZ e determinada pelos valores pi;iC1 D p, pi;i�1 D q para tudo i 2 Z. E relativamente simplesobservar que o passeio aleatorio simples e irredutıvel quando 0 < p < 1, sendo S D Z a unicaclasse fechada.

Voltamos agora a nossa atencao ao estudo da recorrencia-transitoriedade deste processo.Sendo S irredutıvel, do Teorema 10 sabemos que todo estado de S e recorrente ou transitorio,portanto e suficiente restringir o estudo da recorrencia a um unico estado, por exemplo a origem.Neste caso de acordo com o Teorema 9, a quantidade a ser estudada e

Pn pn

00. Saindo da origem,o numero de passos requeridos para retornar deve ser par, por exemplo 2n, logo e simples ver que

(6) p2n00 D P.S2n D 0 jS0 D 0/ D

�2n

n

�pnqn:

Exercıcios 33

A fim de facilitar o estudo da serie envolvida, utilizamos a aproximacao de Stirling para n!, isto e,

n! �p

2�ne�nnn;

onde an � bn se limn!1 an=bn D 1. Utilizando esta aproximacao obtemos

p2n00 D

.2n/!

n!n!.pq/n �

p2�2ne�2n.2n/2n

.p

2�ne�nnn/2.pq/n D

1p�n.4pq/n:

No caso simetrico, ou seja quando p D q D 12, p2n

00 � .�n/�1=2, a aproximacao de Stirlingpermite concluir que X

n�0

p2n00 � �

�1=2Xn�0

1p

nD1

isto e, o passeio retorna infinitas vezes a origem. Para o caso p ¤ q, seja r D 4pq. Observamosque 0 < r < 1, uma vez que r D 4p � 4p2 alcanca o valor maximo de 1 para p D 1=2, mas esteultimo corresponde ao caso simetrico. Logo,

p2n00 �

rn

p�n

<rn

p2�;

entao Xn�0

p2n00 .

1p

2�

Xn�0

rnD

1p

2�

1

1 � r<1:

Desta forma se p ¤ q, o passeio e transitorio. Conseguimos desta maneira uma cadeia de Markovonde S e a unica classe fechada, porem dependendo das probabilidades de transicao o processopode ser recorrente ou transitorio. Se p > q entao com probabilidade positiva “Sn pode chegar a1” para mais nunca retornar a origem.

Consideramos agora o passeio aleatorio simetrico em Z2 D f.i; j / W i; j 2 Zg. Utilizamosa notacao 0 D .0; 0/. O caso nao simetrico sera deixado como exercıcio. A fim de retornar aorigem em duas dimensoes o passeio deve realizar o mesmo numero de transicoes a direita do quea esquerda e tambem o mesmo numero para acima do que para abaixo. O retorno so pode ocorrerem um numero par de passos. Qualquer caminho que retorna em 2n passos tem probabilidade1=42n. O numero de caminhos que conseguem voltar com k transicoes pra cima, k pra baixo,n � k a esquerda, e n � k a direita e�

2n

k; k; n � k; n � k

�D

.2n/!

k!k!.n � k/!.n � k/!:

De esta forma

p2n00 D

1

42n

nXkD0

.2n/!

k!k!.n � k/!.n � k/!

D1

42n

nXkD0

.2n/!

n!n!

n!n!

k!k!.n � k/!.n � k/!D

1

42n

�2n

n

� nXkD0

�n

k

�2

;


masnX

kD0

�n

k

��n

k

�D

nXkD0

�n

n � k

��n

k

�D

�2n

n

�:

O ultimo coeficiente a direita corresponde ao numero de maneiras de escolher n bolas de um totalde 2n, e os dois coeficientes no meio correspondem a escolha sendo que existem n bolas brancase n pretas6. Entao

(7) p2n00 D

�1

22n

�2n

n

��2

;

o qual e o quadrado do resultado obtido para o passeio em Z. Concluımos desta maneira queXn�0

p2n00 �

Xn�0

1

�nD1

e portanto o passeio aleatorio simetrico em Z2 e recorrente.Uma comparacao das equacoes (6) e (7) sugere que a probabilidade do retorno a origem do

passeio aleatorio em Z2 e igual a probabilidade do retorno de dois passeios aleatorios independen-tes, um destes no eixo x e o outro em y. Isto e de fato verdade e pode ser mostrado da seguintemaneira. Considere a rotacao em 45 graus dos eixos x;y, o qual gera os eixos Nx; Ny. A seguintefigura mostra estes eixos assim como tambem as coordenadas da possıvel posicao de um passeioapos da primeira transicao em ambos sistemas.

�1

�1

1

1

x

y

NxNy

p2

x;y Nx; Ny

.0; 1/�

1p

2; 1p

2

�.0;�1/

��

1p

2;� 1p

2

�.1; 0/

�1p

2;� 1p

2

�.�1; 0/

��

1p

2; 1p

2

�

Suponhamos agora que temosdois passeios aleatorios indepen-dentes, ambos com valores em 1

p2Z

mas um destes no eixo Nx e o ou-tro em Ny. Se projetamos as suasposicoes apos da primeira transicaonos eixos x � y, vemos que es-tas coincidem com as quatro po-ssıveis posicoes do passeio aleato-rio simples em Z2. Isto e, nao e

possıvel distinguir os movimentos de dois passeios independentes com valores em 2�12Z sobre

Nx � Ny, dos movimentos de um passeio com valores em Z2 sobre os eixos x � y. Mais ainda, aprobabilidade de qualquer uma das quatro posicoes em ambos casos e .1=2/ � .1=2/ D 1=4. Dadoque a probabilidade do retorno a origem nao depende da magnitude dos incrementos, concluımosque a probabilidade de que os dois passeios aleatorios independentes iniciados em .0; 0/ seencontrem apos de 2n pulos em .0; 0/ e Œ.1=22n/

�2n

n

��2. Esta ultima e de fato e a probabilidade do

retorno do processo original em Z2.

6Esta igualdade e conhecida como a convolucao de Vandermonde em honra a A. Vandermonde, quem a finais de 1700escreveu um artigo sobre varias identidades relacionadas. Esta igualdade ja era conhecida por Chu Shih-Chieh na China em 1303.Shih-Chieh tambem conhecia a relacao entre o triangulo de Pascal e os coeficientes binomiais na expansao de .aC b/n bem antesdo que Pascal.

6. Distribuicao invariante 35

A transitoriedade do passeio aleatorio simples em Z3 foi descrita primeiramente por GeorgePolya. O livro [3] contem uma demonstracao deste resultado baseada em argumentos diferentesdos utilizados aqui. Esta referencia mostra tambem que nao e possıvel utilizar uma projecao detres passeios aleatorios independentes para o caso em Z3.

Exercıcios

Exercıcio 38. Seja .Sn/ um passeio aleatorio simples. Mostre que para quaisquer dois inteirospositivos a, b,

P.Sn D j jS0 D a/ D P.Sn D j C b jS0 D aC b/;

o qual significa que passeio aleatorio simples e espacialmente homogeneo.

Exercıcio 39. Seja k um inteiro e n um inteiro tais que k � n. Se .Sn/ e um passeio aleatoriosimples em Z, mostre que

P.Sn D k/ D

8<:0 se n e k nao tem a mesma paridade�

nnCk

2

�p.nCk/=2q.n�k/=2 caso contrario

Exercıcio 40. Seja Sn D X0 C X1 C : : : C Xn um passeio aleatorio simples. Encontre asseguintes probabilidades: (i) P .S4 D k/ para todos os posıveis valores de k, (ii) P .Sn �

0 para n D 1; 2; 3; 4/, (iii) P .Sn ¤ 0 para n D 1; 2; 3; 4/, (iv) P .Sn � 2 para n D 1; 2; 3; 4/, eP .jSnj � 2 para n D 1; 2; 3; 4/.

Exercıcio 41. Mostre que o passeio aleatorio nao simetrico em Z2 e transitorio.

Exercıcio 42. | (i) Mostre que o passeio aletorio simples simetrico em Z3 e transitorio. (ii)Generalize para o processo com valores em Zd , d > 3.

6. Distribuicao invarianteAs propriedades de uma cadeia de Markov apos de muitas transicoes estam relacionadas com anocao de distribuicao invariante.

Definicao 17. Seja X Markov.�;P / e � uma distribuicao de probabilidade em S. � e umadistribuicao invariante para X se

�P D �:

Neste caso � tambem e conhecida como distribuicao de equilıbrio de X .

Teorema 14. Seja X Markov.�;P / tal que � e invariante para X . Entao .XmCn/ e Markov.�;P /para qualquer m 2 N.

Demonstracao. Sendo � invariante, do Teorema 3 temos que para qualquer i , �i D .�Pm/i D

P.Xm D i/. Dado XmCn D i , da propriedade fraca de Markov, temos que fXmCnC1g e indepen-dente de Xm; : : : ;XmCn e tem distribuicao .pij W j 2 S/. �


Teorema 15 (Limite estacionario). Seja S finito. Se para qualquer i ,

pnij ! �j ; quando n!1;

para todo j , entao � D .�j W j 2 S/ e uma distribuicao de probabilidade invariante para P .

A distribuicao de probabilidade � no Teorema 15 e chamada de distribuicao estacionaria.

Demonstracao. Mostramos primeiro que � e uma distribuicao de probabilidade. De fatoXj2S

�j D

Xj2S

limn!1

pnij D lim

n!1

Xj2S

pnij D 1:

Mostramos agora que � e invariante para P ,

�j D limn!1

pnij D lim

n!1

Xk2S

pn�1ik pkj D

Xk2S

�kpkj :

Sendo S finito e possıvel trocar a ordem dos somatorios. �

Exemplo 9. Sejam 0 < a < 1, 0 < b < 1, logo

P D

�1 � a a

b 1 � b

�:

Da resolucao do Exercıcio 4 com ˛ D a e ˇ D b obtemos

pn11 D

b

aC bC

a

aC b.1 � a � b/n; pn

12 Da

aC b�

a

aC b.1 � a � b/n;

pn21 D

b

aC b�

b

aC b.1 � a � b/n; pn

22 Da

aC bC

b

aC b.1 � a � b/n;

portanto

P n!

1

aC b

�b ab a

�quando n!1:

Assim, segundo o Teorema 15, a distribuicao de probabilidade invariante para P e � D .b=.aCb/; a=.aC b// .

Exemplo 10. Para a cadeia do Exercıcio 5 obtemos

pnv1v1D

1

5C

�1

2

�nh4

5cos

�n�

2

��

2

5sen�n�

2

�iportanto limn!1 pn

v1v1D

15D �v1

. Seguindo um argumento parecido para as outras componentestemos

limn!1

P nD

1

5

241 2 21 2 21 2 2

35 ;portanto, segundo o Teorema 15, � D 1

5.1; 2; 2/ e uma distribuicao invariante de probabilidade

para P .


Contraexemplo 1. Considere o passeio aleatorio em Zd , d � 1. Para quaisquer i; j 2 S temosque pn

ij ! 0 quando n ! 1. Podemos utilizar o resultado no Exercıcio 39 para chegar nestaconclusao. Agora, 0 D .: : : ; 0; : : :/ e claramete invariante pois 0P D 0, mas 0 nao e umadistribuicao de probabilidade. Observe que neste exeplo nao e possıvel utilizar o Teorema 15 poisS nao e finito.

A continuacao mostraremos que se P e irredutıvel e recorrente entao P apresenta uma unicadistribuicao invariante. Para quaisquer dois estados i; k 2 S seja k

i definida por

ki D Ek

h Tk�1XnD0

1fXnDig

i;

isto e, ki e o numero esperado de vezes que X passa pelo estado i antes de retornar a k, dado

que X e iniciada em k.

Lema 5. Seja P irredutıvel e recorrente, entao

(i ) kkD 1,

(i i ) k D . ki W i 2 S/ e invariante para P ,

(i i i ) 0 < ki <1, para todo i 2 S.

Demonstracao. (i) e imediato. (ii) Para n � 1, observamos que fn � Tkg so depende deX0;X1; : : : ;Xn�1, portanto da propriedade (fraca) de Markov em n � 1,

Pk.Xn�1 D i;Xn D j ; n � Tk/ D P.Xn D j jXn�1 D i/Pk.Xn�1 D i; n � Tk/:

Se P e recorrente, condicinando pelo evento fX0 D kg temos que Tk <1 quase certamente, i.e.Pk.Tk <1/ D 1, portanto P.X0 D XTk

D k/ D 1. Isto implica em

kj D Ek

h TkXnD1

1fXnDjg

iD Ek

h 1XnD1

1fXnDj ; n�Tkg

iD

1XnD1

Pk.Xn D j ; n � Tk/ DXi2S

1XnD1

Pk.Xn�1 D i;Xn D j ; n � Tk/;

e da primeira igualdade apresentada na demonstracao este ultimo termo eXi2S

1XnD1

P.Xn D j jXn�1 D i/Pk.Xn�1 D i; n � Tk/

D

Xi2S

pijEk

h 1XnD1

1fXn�1Di; n�Tkg

iD

Xi2S

pij

Tk�1XnD0

Ek Œ1fXmDig� DXi2S

pij ki :

Concluımos assim que k e invariante, porem devido a (i) k nao e uma distribuicao de probabili-dade. (iii) Por ultimo, k

i e finito ja que se P e irredutıvel, entao para cada estado i 2 S existemn;m � 0 tais que pn

ik> 0, pm

ki> 0. Neste caso,

ki �

kk pn

ki > 0; e ki pm

ik � kk D 1: �


O resultado que demonstra a unicidade da distribuicao invariante e finalmente o seguinte.

Teorema 16 (Unicidade da distribuicao invariante). Seja P irredutıvel e � uma distribuicaoinvariante para P tal que �k D 1. Neste caso � � k : Adicionalmente, se P e recorrente entao� D k :

Demonstracao. Para cada j 2 S temos que

�j D

Xi02S

�i0pi0j D

Xi¤k

�i0pi0j C �kpkj D

Xi¤k

�i0pi0j C pkj

D

Xi12S

Xi0¤k

�i1pi1i0

pi0j C pkj D

Xi1¤k

Xi0¤k

�i1pi1i0

pi0j C pkj C

Xi0¤k

�kpki0pi0j

a quarta igualdade segue do fato de que � e invariante. Se iteramos este calculo n vezes obtemos

�j D

Xi0¤k;:::;in¤k

�inpinin�1

� � �pi0j C pkj C

Xi0¤k

pki0pi0j C

Xi1¤k;i0¤k

pki1pi1i0

pi0j

C : : :CX

i0¤k;:::;in�1¤k

pkin�1� � �pi1i0

pi0j

� Pk.X1 D j ;Tk � 1/C Pk.X2 D j ;Tk � 2/C : : :C Pk.Xn D j ;Tk � n/

onde a desigualdade segue ja que por hipotese � e uma distribuicao em S, isto e, �i � 0 paraqualquer i 2 S. Utilizando inducao, no limite n!1,

1XnD1

Pk.Xn D j ;Tk � n/ D

1XnD1

Pk.Xn�1 D j ;Tk�1 � n � 1/;

ja que X0 D k, logo fX0 D j ; : : :g D f∅g. Desta forma

�j �

1XnD0

Pk.Xn D j ;Tk�1 � n/ D Ek

h Tk�1XnD0

1fXnDjg

iD k

j ;

mostrando que k e a solucao mınima. Se agora P e recorrente, pelo Lema 5 sabemos que k einvariante. Seja � D � � k , de forma que

�P D �P � kP D � � kD �:

� e invariante para P . Da primeira parte da prova temos que � � 0. Se P e irredutıvel, entaoexiste em inteiro positivo n tal que pn

ik> 0, portanto

�k D �k � kk D 1 � 1 D 0 D

Xj2S

�jpnjk ;

e assim � D k se � D 0. �

Em conclusao, se uma cadeia de Markov com valores enumeraveis e irredutıvel e recorrente,entao esta apresenta uma distribuicao invariante. Neste caso a distribuicao invariante e unica.A existencia de uma distribuicao invariante nao implica necessariamente que esta seja umadistribuicao de probabilidade. Com o objetivo de considerar esta possibilidade introduzimos anocao de recorrencia nula e positiva.


Definicao 18. Seja i um estado recorrente. Dizemos que i e nulo recorrente se o tempo esperadodo primeiro retorno e infinito, isto e, se mi D Ei ŒTi � D1: No caso mi D Ei ŒTi � <1; dizemosque i e positivo recorrente.

Teorema 17 (Distribuicao de probabilidade invariante). Seja P irredutıvel. As seguintes afirmacoessao equivalentes: (i) Todo estado e positivo recorrente, (ii) Um estado i e positivo recorrente, (iii)P tem distribuicao de probabilidade invariante � dada por �i D

1mi; i 2 S:

Demonstracao. A implicacao (i)) (ii) e imadiata. (ii)) (iii): Suponhamos que i e positivorecorrente logo i e recorrente. Se adicionalmente P e irredutıvel, isto implica que P e recorrente.Do Lema 5 temos portanto que i e invariante. Logo,X

j2S

ij D

Xj2S

Ei

h Ti�1XnD0

1fXnDjg

iD Ei ŒTi � D mi <1;

pois i e positivo recorrente. Portanto, uma distribuicao de probabilidade invariante para P e�j D

ij =mi . Sendo P recorrente e irredutıvel, necessariamente do Teorema 16 temos que � e a

unica distribuicao de probabilidade invariante. (iii)) (i): Seja k um estado qualquer, logo se P eirredutıvel e

Pi �i D 1, entao

�k D

Xi2S

�ipnik > 0:

Consideramos agora �i D �i=�k , logo � e invariante ja queXi2S

�i

�k

pij D�j

�k

D �j ; j 2 S:

Se P e recorrente entao necessariamente � D k . No caso em que P nao seja recorrente, doTeorema 16 temos � � k . Dessa forma

mk D

Xi2S

ki �

Xi2S

�i D

Xi2S

�i

�k

D1

�k

<1;

e entao k e positivo recorrente. Se P e irredutıvel entao P e recorrente. Finalmente se � D k

entao mk D ��1k

. �

O ultimo item do Teorema 17, o qual mostra a relacao entre a distribuicao de probabilidadeinvariante e os tempos de retorno, e as vezes conhecido como o Lema de Kac.

Contraexemplo 2. (Continuacao do Contraexemplo 1.) O passeio aleatorio simples em Z comp D q D 1

2e irredutıvel e pelo exposto na Secao 5.1 e recorrente. Seja �i D 1, i 2 Z,

uma distribuicao em Z. Claramente �i D p�i�1 C q�iC1 o qual mostra que � D .�i/ e umadistribuicao invariante para o passeio, porem

Pi2Z �i D 1, logo � nao e uma distribuicao de

probabilidade. Concluımos que o passeio aleatorio com p D 12

e nulo recorrente.

Contraexemplo 3. O passeio aleatorio simples em Z3 e transitorio, porem apresenta distribuicaoinvariante �i D 1, i 2 Z. Isto mostra que em geral, a existencia de uma ditribuicao invariante naogarante recorrencia.


Contraexemplo 4 (ao Teorema 16). Seja .Sn/ o passeio aleatorio simples em Z com q < p.Neste caso o processo nao e recorrente. Agora, a equacao � D �P , escalarmente e

�i D �i�1p C �iC1q; i 2 Z:Esta relacao de recorrencia em � possue solucao geral da forma

�i D c1 C c2

�p

q

�i

; c1; c2 2 R;

veja o metodo desenvolvido no Exemplo 5. Nao temos portanto uma solucao unica para adistribuicao invariante.

Exercıcios

Exercıcio 43. Seja P uma matriz estocastica sobre o conjunto finito S. Mostre que a distribuicao� e invariante para P se, e somente se, �.I � P C A/ D a, onde A D .aij W i; j 2 S/ comaij D 1 para todo i e j , e a D .ai W i 2 S/ para tudo i 2 S. Demonstre que se P e irredutıvel,entao I � P CA e invertıvel. Isto permite calcular a distribuicao invariante utilizando qualquermetodo existente para inverter matrizes.

Exercıcio 44. Seja .Xn/n�0 um passeio aletorio simples em Z com pi;i�1 D q < p D pi;iC1.Encontre

0i D E0

h T0�1XnD0

1fXnDig

ie verifique que 0

i D inf� �i para todo i , onde o ınfimo e tomado sobre todos os invariantes � taisque �0 D 1.

Exercıcio 45. Seja .Xn/n�0 um passeio aleatorio simples definido sobre os vertices de um cubo,isto e, a probabilidade de ir de um vertice aos vertices adjacentes e p D 1=3. (i) Calcular Ex ŒTx �,sendo x um vertice qualquer. (ii) Ex

�PTx�1nD0 1fXnDzg

�, (iii) Ex ŒTz�, sendo z o vertice mais distante

de x e a distancia definida pelo numero de arestas entre x e z. (iv) � , a distribuicao invariante de.Xn/n�0. Observe que para respondermos (i) podemos considerar uma relacao de recorrencia paraux

x D Ex ŒTx �, de fato dado x 2 S, o vetor ux D .uxi W i 2 S/ e a solucao mınima ao sistema

uxi > 0; ux

i D 1CXj2S

pijuxj :

A demosntracao disto segue a prova apresentada no Teorema 7. Observamos que ux e em geraldiferente de kx pois a primeira quantidade e definida com Tx e a segunda com Hx.

Exercıcio 46. (Urna de Ehrenfest) Moleculas de gas realizam movimentos aleatorios numaurna particionada em duas partes iguais. Um furo e realizado na parede que comunica oscompartimentos. Suponha que existem N moleculas na caixa. (i) Mostre que o numero demoleculas num dos compartimentos evolui como uma cadeia de Markov. (ii) Quais sao asprobabilidades de transicao desta cadeia? (iii) Qual e a distribuicao invariante?

Exercıcios 41

Exercıcio 47. Determine a distribuicao invariante da cadeia com matriz de probabilidade detransicao

P D

0@1 � ˛ ˛ 00 1 � ˇ ˇ

0 1 �

1Aonde ˛; ˇ; 2 .0; 1/.

Exercıcio 48. Este exercıcio e uma continuacao do Exercıcio 12. Se o Dr. Silva esta emJ D fT;F;Bg e muda de locacao, ele liga a sua mulher. (i) Encontre a matriz de transicaoque determina a seqencia de locais desde os quais o Dr. Silva liga, e calcule a sua distribuicaoinvariante. A mulher do Dr. Silva anota apos cada ligacao o local da chamada, e atualmentesuspeita que algo esta errado: Silva nao fica suficientemente no seu flat! Ante este problema, Silvadecide mudar de estrategia assumindo a seguinte matriz de transicao,

T F B A

P� D

TFBA

0BB@1=4 1=4 1=2 01=2 1=4 1=4 00 3=8 1=8 1=2

2=10 1=10 1=10 6=10

1CCA ;(ii) Levantara esta escolha alguma suspeita na mulher?

Exercıcio 49. Mostre que se P e uma matriz de transicao de probabilidade de uma cadeiairredutıvel entao T D 1

2.I C P / e tambem a matriz de transicao de uma cadeia aperiodica e

irredutıvel. Mostre que a distribuicao estacionaria de P e a distribuicao estacionaria de T .

Exercıcio 50. Seja X uma cadeia de Markov com matriz de probabilidade de transicao

P D

0@ 1 0 01=4 1=2 1=40 0 1

1A :Mostre que X apresenta mais de uma distribuicao estacionaria. Encontre a matriz P n quandon!1 e verifique que esta nao apresenta todas as linhas iguais.

Exercıcio 51. Determine a distribuicao invariante do processo definido no exercıcio 34.

Exercıcio 52. Considere o processo X do Exercıcio 34 modificado da seguinte maneira: p0;1 D pe p0;0 D 1 � p. Determine os valores de p 2 Œ0; 1� tais X seja transitorio, positivo-recorrente ounulo recorrente.

Exercıcio 53. Considere uma cadeia de Markov com valores em S D ZC e probabilidades detransicao pi;iC1 D pi , pi0 D qi D 1 � pi . Diga se este processo apresenta distribuicao deprobabilidade invariante.

Exercıcio 54. Uma cadeia de Markov com S D ZC possue probabilidades de transicao p00 D

q0 ¤ 0, pi;iC1 D pi , pi;i�1 D qi , i 2 S. Mostre que o processo e positivo-recorrente se, esomente se X

n�1

nYrD1

pr�1

qr

<1:


Exercıcio 55. Seja X uma cadeia de Markov com valores em S D f0; 1; : : :g e matriz deprobabilidade de transicao definida por

pi;j D

(qpj�iC1; se i � 1 e j � i � 1;

qpj ; se i D 0 e j � 0;

e pij D 0 no caso contrario, onde 0 < p D 1 � q < 1. Diga para quais valores de p 2 .0; 1/, Xe transitoria, nula recorrente ou positivo recorrente. Determine a distribuicao invariante no ultimocaso.

7. Convergencia ao equilıbrioComo consequencia do Teorema 15, se S e finito e se existe o limite pn

ij quando n!1, entao olimite tem que ser uma distribuicao invariante. Porem, quais sao as condicoes que garantem aexistencia do limite?

Exemplo 11. Este exemplo mostra que nem toda matriz estocastica de uma cadeia com valoresem S finito apresenta o limite limn P n. Seja X uma cadeia com valores em S D f1; 2g e aseguinte de probabilidade de transicao

P D

�0 11 0

�:

Neste caso P 2n D I , e P 2nC1 D P para n � 1.

Definicao 19. O estado i e aperiodico se pnii > 0 para todo n suficientemente grande. A matriz

P e aperiodica se todos os estados sao aperiodicos.

Lema 6. Seja P irredutıvel com um estado aperiodico i . Para quaisquer dois estados j ; k 2 S,tem-se pn

jk> 0 para tudo n suficientemente grande.

Demonstracao. Existem r; s � 0 tais que prji > 0 e ps

ik> 0, portanto, para um n suficientemente

grande temos que pnCnCsjk

� prjip

niip

sik> 0. �

Definicao 20. O perıodo di de um estado i e definido por di D mdcfn � 1 W pnii > 0g. Se

fn � 1 W pnii > 0g D f∅g, entao di D 1.

O perıodo de um estado i e o maximo divisor comum dos tempos do primeiro retorno a i . Adefinicao de perıodo fornece uma maneira para clasificar os estados em periodicos e aperiodicos.Se di D 1 entao dizemos que i e aperiodico, no caso contrario, di > 1, i e periodico.

Tendo todos estes pre-requisitos apresentamos a seguir um resultado importante, o qual afirmaque uma cadeia irredutıvel, aperiodica e com invariante � converge a este limite qualquer queseja a condicao inicial �.

Teorema 18 (Convergencia ao equilıbrio). Seja P irredutıvel e aperiodica e com distribuicao deprobabilidade invariante � . Seja � uma distribuicao inicial e X uma cadeia de Markov.�;P /.Neste caso

(8) P.Xn D j /! �j ; se n!1 para todo j 2 S:

7. Convergencia ao equilıbrio 43

Zn

b

Tb

X 0n

Xn

Figura 3. Um acoplamento de Xn em b 2 S.

Em particular

(9) pnij ! �j ; se n!1; para todo i; j ;2 S:

Demonstracao. O argumento a ser utilizado para demonstrar o Teorema e conhecido comoo metodo de acoplamento7. Seja .X 0n/, n � 0 Markov.�;P / e independente de .Xn/; n � 0.Fixamos um estado de referencia qualquer, por exemplo b 2 S, e entao consideramos

Tb D inffn � 1 W Xn D X 0n D bg

isto e, Tb denota o primeiro tempo de encontro de Xn e X 0n em b. Observamos que Tb e um tempode parada para o processo conjunto QXn D .Xn;X

0n/ com valores em S �S.

Mostraremos primeiro que P.Tb < 1/ D 1. Devido a independencia entre Xn e X 0n, aprobabilidade de transicao de QXn e dada por

Qp.i;k/I.j ;l/ D pijpkl ; .i; k/; .j ; l/ 2 S �S;

e a distribuicao inicial por�.i; k/ D �i�k :

Se P e aperiodica entao para quaisquer i; j ; k e l

Qp.i;k/I.j ;l/ D pnijpn

kl > 0;

para um n suficientemente grande, portanto QP D . Qp.i;k/I.j ;l/ W i; j ; k; l 2 S/ e irredutıvel. Aunica distribuicao invariante de QP e Q�.i; k/ D �i�k . Agora, seguindo o Teorema 17, se QP eirredutıvel e tem invariante Q� , entao todos os estados em S �S sao positivo-recorrentes. Tb e oprimeiro tempo de retorno a .b; b/ do processo QXn, mas se . QXn/ e positivo recorrente entao doTeorema 13 imediatamente temos que P.Tb <1/ D 1.

Seja

Zn D

(Xn; se n < Tb

X 0n; se n � Tb:

7O primeiro acoplamento de duas cadeias de Markov foi descrito por W. Doblin en 1933. Os acoplamentos tem-se constituıdouma ferramenta fundamental para o estudo dos processos aleatorios, inclusive na teoria contempornea. Maiores detalhes sobreesta tecnica podem ser encontrados em [4].


Uma trajetoria do processo Zn e mostrada na Figura 3. Mostraremos agora que .Zn/, n 2 Ne Markov(�;P ). Pelo exposto anteriormente temos que . QXn/ e Markov.�; QP /, logo da propri-edade forte de Markov em Tb temos que .XTbCn;X

0TbCn/ e Markov.ı.b;b/; QP /. Por simetria,

podemos substituir o processo .XTbCn;X0TbCn/ pelo processo .X 0TbCn;XTbCn/, o qual tambem e

Markov.ı.b;b/; QP /. Concluımos disto ultimo que .Zn/, e Markov.�;P /.Como um ultimo passo na demostracao provaremos uma desigualdade conhecida como a

desigualdade do acoplamento. Observamos primeiro que

P.Zn D j / D P.Xn D j ; n < Tb/C P.X 0n D j ; n � Tb/:

A distancia entre P.Xn D j / e �j para qualquer j 2 S pode ser calculada comoˇP.Xn D j ; n < Tb/C P.X 0n D j ; n � Tb/ � P.X 0n D j /

ˇDˇP.Xn D j ; n < Tb/C P.X 0n D j ; n � Tb/ � P.X 0n D j ; n < Tb/ � P.X 0n D j ; n � Tb/

ˇDˇP.Xn D j ; n < Tb/ � P.X 0n D j ; n < Tb/

ˇ;

e condicionando pelo evento fn < Tbg obtemosˇP.Xn D j j n < Tb/P.n < Tb/ � P.X 0n D j j n < Tb/P.n < Tb/

ˇDˇP.Xn D j j n < Tb/ � P.X 0n D j j n < Tb/

ˇP.n < Tb/

� P.n < Tb/:

Isto mostra que distribuicao de Xn coincide com � no limite n!1 pois P.Tb <1/ D 1. �

A fim de entendermos melhor o papel desempenhado pela aperiodicidade nesta demonstracaopodemos considerar novamente o Exemplo 11, o qual apresenta um exemplo simples de umacadeia que nao converge ao invariante. Resolvendo o sistema �P D � e utilizando a restricaoP

i �i D 1, encontramos a distribuicao invariante � D .1=2; 1=2/. Suponhamos que Xn einiciada em 1 e que X 0n e iniciada de acordo a � , isto e, se P.X 00 D 1/ D P.X 00 D 2/ D 1=2. SeX 00 D 1, entao podemos aplicar o Teorema, porem se X 00 D 2, entao, devido a periodicidade deambos os processos .Xn/ e .X 0n/, estes nunca se encontram, portanto P.Tb D1/ para qualquerb 2 f1; 2g e neste caso nao vale o Teorema.

Definicao 21. Uma cadeia de Markov irredutıvel, aperiodica e com uma unica distribuicao deprobabilidade invariante como a descrita pelo Teorema 18 e chamada de ergodica.

O resto desta secao apresenta a generalizacao do Teorema de convergencia para os casosonde X pode ser periodica, transitoria ou nula-recorrente. Estes resultados nao serao utilizadosposteriormente e podem ser omitidos numa primeira leitura.

Teorema 19. Seja P irredutıvel. Existe um inteiro d � 1 e uma particao

S D C0 [ C1 [ � � � [ Cd�1

tal que, para CndCr D Cr ,

(i) pnij > 0 so se i 2 Cr e j 2 CrCn para algum r ;

(ii) pndij > 0 para todo n suficientemente grande, e para todo i; j 2 Cr , r .

7. Convergencia ao equilıbrio 45

Demonstracao. Seja k 2 S fixo, e entao I D fn � 0 W pnkk> 0g. Escolhemos n1; n2 2 I ,

n1 < n2, tais que d D n2 � n1 seja o menor possıvel. Para r D 0; : : : ; d � 1 definimos

Cr D fi 2 S W pndCrki

> 0 para algum n � 0g:

Entao, sob irredutibilidade, C0 [ � � � [Cd�1 D S . Agora, se pndCrki

> 0 e pndCski

> 0 para algunsr; s 2 f0; 1; : : : ; d � 1g, entao, ao escolher m � 0 tal que pm

ik> 0, temos que pndCrCm

kk> 0 e

pndCsCmkk

> 0 e entao, dada a minimalidade de d , r D s. Isto implica a existencia da particao.

Para demonstrar (i) suponha que pnij > 0 e i 2 Cr . Considere m tal que pmdCr

ki> 0, entao

pmdCrkki

> 0 e j 2 CrCn. Se i D j D k, entao d deve dividir cada um dos elementos de I , emparticular n1.

Se md � n21, entao e possıvel escrever que nd D qn1 C r para inteiros q � n1 e 0 � r �

n1�1. Como d divide n1, entao r D md para algum inteiro m. Neste caso nd D .q�m/n1Cmn2,logo

pndkk �

�p

n1

kk

�q�m�p

n2

kk

�m> 0

e entao nd 2 I . Para demonstrar (ii) tomemos i; j 2 Cr e fixemos m1 e m2 tal que pm1

ik> 0 e

pm2

kj> 0, logo

pm1CndCm2

ij � pm1

ikpnd

kk pm2

kj> 0

sempre e quando nd � n21. Isto termina a prova ja que m1 Cm2 e necessariamente um multiplo

de d . �

Em particular o Teorema mostra que d e o maior divisor comum (mdc) do conjunto fn �0 W pn

ii > 0g. O seguinte resultado constitui a descricao definitiva do comportamento limitepara cadeias irredutıveis. Contrariamente ao Teorema 18, agora nao serao feitas as hipoteses deaperiodicidade e recorrencia positiva. O estudo deste resultado e opcional.

Teorema 20. Seja P irredutıvel com perıodo d e seja C0;C1; : : : ;Cd�1 a particao obtida no Te-orema 19. Seja � uma distribuicao tal que

Pi2C0

�i D 1. Suponha que .Xn/n�0 e Markov(�;P ).Entao para r D 0; 1; : : : ; d � 1 e j 2 Cr tem-se

P.XndCr D j /! d=mj quando n!1

onde mj e o tempo esperado de retorno a j . Em particular, para i 2 C0 e j 2 Cr

pndCrij ! d=mj quando n!1:

Demonstracao. Paso 1. Consideramos primeiro o caso aperiodico. Fixamos � D �P r . PeloTeorema A temos que X

i2Cr

�i D 1:

Seja Yn D XndCr , entao .Yn/n�0 e Markov(�;P d ) e pelo Teorema A, P d e irredutıvel e aperiodicaem Cr . Logo para j 2 Cr o tempo esperado de retorno de .Yn/n�0 a j e mj=d . Agora, se oTeorema e valido no caso aperiodico temos

P.XndCr D j / D P.Yn D j /! d=mj quando n!1

portanto o Teorema e valido em geral.


Passo 2. Suponhamos que P e aperiodica. Se P e positiva-recorrente entao 1=mj D �j , onde �e a unica distribuicao invariante, logo o resultado segue do Teorema 18. No outro caso mj D1,e entao devemos mostrar que

P.Xn D j /! 0 quando n!1:

Se P e transitoria, o resultado e simples e unicamente fica por ser considerado o caso nulo-recorrente.Passo 3. Suponha que P e aperiodica e nula-recorrente. Logo

1XkD0

Pj .Tj > k/ D Ej .Tj / D1:

Dado " > 0, escolhemos K tal que1X

kD0

Pj .Tj > k/ �2

":

Em consequencia, para n � K � 1

1 �

nXkDn�KC1

P.Xk D j ;Xm ¤ j para m D k C 1;�; n/

D

nXkDn�KC1

P.Xk D j /Pj .Tj > n � k/ D

K�1XkD0

P.Xn�k D j /Pj .Tj > k/

pelo que deve existir " > 0 tal que P.Xn�k D j / � "=2 para algum k 2 f0; 1; : : : ;K � 1g.Retornemos ao argumento do acoplamento introduzido no Teorema 18, e so agora conside-

remos .Yn/n�0 como Markov(�;P ), onde � sera escolhida adiante. Seja Wn D .Xn;Yn/. Aoigual que antes, a aperiodicidade de .Xn/n�0 garante a irredutibilidade de .Wn/n�0. Se .Wn/n�0 etransitoria, entao tomando � D � resulta

P.Xn D j /2 D P.Wn D .j ; j //! 0

Suponhamos agora que .Wn/n�0 e recorrente. Entao, seguindo a notacao definida no Teorema 18temos que P.T <1/ D 1, e o argumento do acoplamento mostra queˇ

P.Xn D j / � .Yn D j /ˇ! 0 quando n!1:

Este tipo de convergencia pode ser utilizada ao considerar � D �P k , k D 1; : : : ;K � 1, demodo que P.Yn D j / D P.XnCk D j /. E possıvel encontrar-mos N tal que para tudo n � N ek D 1; : : : ;K � 1, ˇ

P.Xn D j / � .XnCk D j /ˇ�"

2:

Mas para cada n podemos encontramos k 2 f0; 1; : : : ;K�1g tal que P.XnCk D j / � "=2. Logo,para n � N tem-se P.Xn D j / � ". Sendo " > 0 arbitrario, isto mostra que P.Xn D j / ! 0quando n!1. �

8. Reversibilidade 47

Exercıcios

Exercıcio 56. Mostre que se i $ j , isto e se i e j comunicam, entao di D dj .

Exercıcio 57. Suponha que a cadeia .Xn/n�0 e aperiodica, isto e di D 1, 8 i 2 S . Suponha queS e finito. Mostre que sob estas hipoteses deve existir N <1 tal que pn

ii > 0 para todo i 2 S etodo n � N .

Exercıcio 58. Um dado honesto e jogado repetidas vezes. Seja Xn a soma dos primeiros nlancamentos. Encontre

limn!1

P.Xne multiplo de 13/

enunciando cuidadosamente todos os teoremas utilizados.

Exercıcio 59. Cada dia de manha, um estudante escolhe um dos tres livros da sua estante. Suponhaque a probabilidade de escolher o livro i seja 0 < ˛i < 1, i D 1; 2; 3, e que as escolhas em diasdiferentes sejam independentes. A tarde o estudante coloca o livro de volta, sempre a esquerdados outros dois livros na estante. Seja pn a probabilidade de que no dia n o estudante encontra oslivros na ordem .1; 2; 3/, de esquerda a direita no estante. (i) Mostre que independentemente daordem inicial, pn converge no limite n!1. (ii) Determine o valor limite de pn.

Exercıcio 60. Considere uma cadeia de Markov com valores em S D f1; 2; : : : ; 10g e matriz detransicao

P D

0BBBBBBBBBBBBBB@

12

0 12

0 0 0 0 0 0 0

0 13

0 0 0 0 23

0 0 0

1 0 0 0 0 0 0 0 0 00 0 0 0 1 0 0 0 0 0

0 0 0 13

13

0 0 0 13

0

0 0 0 0 0 1 0 0 0 0

0 0 0 0 0 0 14

0 34

0

0 0 14

14

0 0 0 14

0 14

0 1 0 0 0 0 0 0 0 0

0 13

0 0 13

0 0 0 0 13

1CCCCCCCCCCCCCCA:

(i) Encontre os conjuntos de estados fechados e irredutıveis. (ii) Quais sao os estados transitorios?(iii) Quais estados nao sao nem transitorios nem nulo-recorrentes? (iv) Os conjuntos f1; 3g,f2; 7; 9g e f6g formam um conjunto fechado de estados irredutıveis recorrentes nao nulos eaperiodicos. Justifique. (v) Existem estados absorventes?

8. ReversibilidadeSuponhamos que uma cadeia de Markov esta distribuıda de acordo a distribuicao invariante. Nestecaso, o processo resultante ao inverter o sentido do curso temporal tambem e Markov, porem asua probabilidade de transicao pode ser diferente.

Teorema 21. Seja X Markov.�;P / irredutıvel e com ivariante � . O processo Yn D XN�n,0 � n � N , e Markov .�; OP / com OP D . Opij / tal que �j Opji D �ipij . OP e irredutıvel e possueinvariante � .


9. Teorema ergodicoOs Teoremas ergodicos concernem o comportamento limite esperado de funcoes da cadeia, econstituem uma generalizacao da lei dos grandes numeros para a soma de sequencias de variaveisaleatorias dependentes, em particular quando a dependencia e Markov. A maneira de exemplo,esta secao apresenta um teorema ergodico para a proporcao do tempo que a cadeia permanece emcada estado quando n!1.

Seja Vi.n/ o numero de visitas a i nos primeiros n � 1 passos do processo, isto e

Vi.n/ D

n�1XkD0

1fXkDig:

Logo, Vi.n/=n e a proporcao do tempo durante n � 1 na qual a cadeia permanece em i . Paraestabelecer o resultado lembramos o seguinte Teorema, conhecido como a Lei Forte dos GrandesNumeros.

Teorema 22 (Lei Forte dos Grandes Numeros). Sejam �1; : : : ; �n variaveis aleatorias nao ne-gativas, independentes e identicamente distribuıdas tais que EŒ�1� D � e Var.�1/ < 1. SejaSn D

PniD1 �n, logo

P�n! 2 � W lim

n!1

Sn.!/

nD �

o�D 1:

Demonstracao. Veja o Teorema 5.1 do Capıtulo 5 em [6]. �

Teorema 23 (Teorema ergodico). Seja P irredutıvel e � uma distribuicao em S. Se .Xn/n�0 eMarkov.�;P /, entao para qualquer � > 0 tem-se

P

lim

n!1

Vi.n/

nD

1

mi

!D 1;

onde mi D Ei ŒTi � e o tempo esperado de retorno a i . Se X e positivo-recorrente, para qualquerfuncao limitada f W S! R, tem-se

P

lim

n!1

1

n

n�1XkD0

f .Xk/ D Nf

!D 1;

onde Nf DP

i2S �ifi e � D .�i W i 2 S/ e a unica distribuicao invariante.

Demonstracao. Se P e transitoria entao

P�Vi D

1XkD0

1fXkDig <1�D 1

ja que neste caso, da definicao de transitoriedade, para todo i 2 S temos que Ei ŒP1

kD0 Vi.k/� <1. Logo, se i e transitorio temos que 1=mi D 1=Ei ŒTi � D 1=1D 0 e entao

limn!1

Vi.n/

n� lim

n!1

Vi

nD 0 D

1

mi

:

9. Teorema ergodico 49

Suponhamos agora que P e recorrente. Seja i 2 S fixo e T D Ti . A recorrencia de P implicaque P.T <1/ D 1 (veja a demonstracao do Teorema 18). Da propriedade forte de Markov sobreT temos que .XTCn/n�0 e Markov.ıi;P / e independente de X0;X1; : : : ;XT . Se n!1 entaoo tempo de permanencia em i das cadeias .Xn/n�0 e .XTCn/n�0 e igual. Neste caso o problemada condicao inicial e irrelevante, sendo suficiente considerar a situacao � D ıi . Seja

S ri D

(T r

i � T r�1i ; se T r�1

i <1;

0; caso contrario.

Sob recorrencia, do Lema 1 visto em aula, temos que S ri sao variaveis aleatorias independentes e

identicamente distribuıdas tais que Ei ŒS1i � D Ei ŒTi � D mi . Logo

(10) S1i C : : :C S

Vi .n/�1i � n � 1;

onde o lado esquerdo da desigualdade representa o tempo da ultima visita a i antes de n. Tambem

(11) S1i C : : :C S

Vi .n/i � n;

sendo o lado esquerdo o tempo da primeira visita a i depois de n � 1. De (10) e (11) temos entao

(12)S1

i C : : :C SVi .n/�1i

Vi.n/�

n

Vi.n/�

S1i C : : :C S

Vi .n/i

Vi.n/:

Segue-se das propriedades da sequencia .S ri /, r � 1 e do Teorema 22 que para qualquer � > 0

P

lim

n!1

PnrD1 S r

i

nD mi

!D 1:

Sob recorrencia temos que Pi.Ti < 1/, o qual implica Pi.Vi D 1/ D Pi.limn!1 Vi.n/ D1/ D 1, e assim

P

lim

n!1

PVi .n/

rD1 S ri

Vi.n/D mi

!D P

lim

n!1

PVi .n/�1

rD1 S ri

Vi.n/D mi

!

D P

lim

n!1

PnrD1 S r

i

Vi.n/D mi

!D 1

Deste resultado junto a (12) temos que

P

lim

n!1

n

Vi.n/D mi

!D 1

o qual mostra a primeira afirmacao do Teorema. Para a segunda parte suponhamos que .Xn/n�0

e positiva-recorrente. Seja f W S! R uma funcao limitada, logo jf j � 1. Para todo conjunto


finito Q � S temos

ˇˇ1n

n�1XkD0

f .Xk/ � Nf

ˇˇ D

ˇˇX

i2S

Vi.n/

nfi �

Xi2S

�ifi

ˇˇ �

ˇˇX

i2S

�Vi.n/

n� �i

�ˇˇD

ˇˇX

i…Q

�Vi.n/

n� �i

�C

Xi2Q

�Vi.n/

n� �i

�ˇˇ�

Xi…Q

ˇVi.n/

n� �i

ˇC

Xi2Q

ˇVi.n/

n� �i

ˇ�

Xi…Q

�Vi.n/

nC �i

�C

Xi2Q

ˇVi.n/

n� �i

ˇ

na qual a primeira igualdade deve-se ao fato de que se fi D f .Xn D i/ para qualquer n entao1n

Pi2S Vi.n/fi D

1n

Pn�1kD0 f .Xk/; em quanto que a primeira desigualdade segue da hipotese

jf j � 1. Finalmente, da primeira parte da demonstracao, com probabilidade 1 temos queVi.n/=n! �i se n!1, logo no limite

Xi…Q

�Vi.n/

nC �i

�! 2

Xi…Q

�i q.c.

Dado o valor de � considerado na primeira parte da demonstracao, escolhemos Q tal que

(13)Xi…Q

�i <�

4:

E possıvel escolher tambem N D N.!/ tal que para n � N.!/,

(14)Xi2Q

ˇVi.n/

n� �

ˇ<"

4:

O resultado segue finalmente ao juntar as cotas em (13) e (14) com a primeira parte do Teorema.�

Exercıcios 51

Exercıcios

Exercıcio 61. Um dado e lancado repetidas vezes. Seja Sn o total de pontos obtidos ate a n-esimajogada. Mostre que existe um valor limite para a proporcao dos primeiros n valores de Sn quesao divisıveis por 7. Calcule o valor deste limite. [O limite desejado corresponde a distribuicaoestacionaria de uma cadeia de Markov com 7 estados.]

Exercıcio 62. Uma professora tem N guarda-chuvas. Ela caminha ate o escritorio de manha ede volta para casa a noite. Se estiver chovendo, ela leva um guarda-chuvas. No caso contrarioela nao leva nenhum guarda-chuvas. Suponha que a probabilidade de chuva em qualquer um dospercursos, independentemente dos outros, seja p (0 < p < 1). Qual e a proporcao das viagens,ao longo prazo, na qual a professora fica molhada?

Exercıcio 63. Uma famosa cantora de opera esta por dar inicio a uma longa serie de concertos.Dependendo do seu estado de animo, ela pode decidir cancelar uma apresentacao com proba-bilidade 1

2. Caso isto ocorra, a cantora decide nao se apresentar mais ate que o seu promotor

a convenca do contrario enviando flores a cada dia. Estas ultimas com custo igual a xmil R$(0 � x � 1), fornecem a reconciliacao com probabilidade igual a

px. Se o promotor lucra 750

R$ por concerto, quanto dinheiro devera gastar em flores?

Exercıcio 64. Utilize o argumento do Exercıcio 13 para simular o processo seguido pelo sapono Exemplo 1 tomando p D 1

2. (i) Faca um grafico de Xn.!/ versus n para diferentes !. (ii)

Utilize a matriz de probabilidade de transicao para simular esta cadeia e estime utilizando as suassimulacoes a probabilidade p6

v1v1. Sugestao: utilize o seguinte estimador

1p6v1v1D

1

n

n�1XkD0

1˚XkDv1;XkC6Dv1

:(iii) Mostre que 1p6

v1v1e um estimador fortemente consistente para p6

v1v1.8

Exercıcio 65. O script de R dist_retorno.R implementa o calculo de hji .n/, a distribuicao

do primeiro tempo de retorno a j 2 S dado X0 D i segundo o exposto no Exercıcio 30.Este programa e utilizado para gerar a Figura 4, a qual apresenta a distribuicao da duracao dojogo de serpentes e escadas para tabuleiro de 9�9 quadros de acordo ao Exercıcio 25. Utilicedist_retorno.R para simular este processo e estime a duracao media do jogo. Suponha queapos de chegar no ultimo quadro o jogo seja iniciado novamente tornando o processo irredutıvel.

Exercıcio 66. A cada turno um jogador lanca uma moeda honesta. O resultado determina apontuacao para esse turno, que depende tambem da pontuacao acumulada ate o momento. SejaSn a pontuacao acumulada apos n turnos. Em particular S0 D 0. Quando Sn e ımpar, o resultadocara corresponde a um ponto, e coroa 0 pontos. Quando Sn e um multiplo de 4, cara corresponde

8Lembre a seguinte definicao vista em estatıstica. Seja X uma populacao, X1, : : :, Xn uma amostra de X , e g W Rn ! R. Oestimador O�n D g.X1; : : : ;Xn/ e (fortemente) consistente para o parametro � se quase certamente O�n ! � no limite n!1. Noprimiero curso de estatıstica usualmente sao estudadas amostras X1, : : :, Xn de variaveis aleatorias independentes. Observe queagora e possıvel estender a teoria a variaveis dependentes, sempre e quando a dependencia seja de Markov.

http://dcm.ffclrp.usp.br/~rrosales/aulas/dist_retorno.R

http://dcm.ffclrp.usp.br/~rrosales/aulas/dist_retorno.R


0 50 100 150 200

0.0

0.01

0.02

0.03

0 50 100 150 200

0.0

0.01

0.02

0 50 100 150 200

0.0

0.00

50.

010.

015

0.02

0.02

5

Figura 4. Distribuicao do tempo do jogo para a cadeia de sepentes e escadas. Esquerda: histo-grama obtido ao simular 2000 jogos, centro: histograma para 5000 jogos, direita: distribuicaoobtida segundo o Exercıcio 30.

a 4 pontos e coroa a 1. Se Sn e par, mas nao um multiplo de 4, cara correspode a 2 e coroa a 1.Considere uma cadeia de Markov de quatro estados e determine a proporcao de longo prazo deturnos para a qual Sn e um multiplo de 4.

10. AplicacoesApresentamos nesta secao alguns exemplos e aplicacoes classicas de processos estocasticos emtempo discreto.

10.1. Processos de ramificacao�. Suponha que no instante 0 existe um individuo o qual daorigem a k filhos com probabilidade pk , k � 0. O conjunto dos filhos e a primeira geracao.Seguidamente, cada um dos indivıduos da primeira geracao procria de forma independente aosoutros indivıduos e da origem a k novos indivıduos com probabilidade pk . Seja X a variavelaleatoria com distribuicao P .X D k/ D pk , k � 0, e Zn o numero de indivıduos da n-esimageracao. Desta forma

ZnC1 D X1 CX2 C : : :CXZn;

onde X1;X2; : : : sao copias independentes da variavel aleatoria X . Para fazer a notacao maisprecisa, denotamos por X n

1 ;Xn2 ; : : : os indivıduos a serem gerados na n-esima geracao, e neste

caso

ZnC1 D X n1 CX n

2 C : : :CX nZn; n � 0:

Uma realizacao para as primeiras 6 geracoes deste processo e apresentada abaixo.

10. Aplicacoes 53

Z2 Z4Z0 Z1 Z3 Z5

Observamos que para qualquer Z0 � 1, o processo .Zn/, n � 0 e uma cadeia de Markov. Paravermos isto, suponhamos que Zn D k, k 2 N, entao ZnC1 D X n

1 C X n2 C : : :C X n

k,. Mesmo

que as variaveis Zn�1;Zn�2; : : : ;Z0 sejam funcoes de X n�21 , X n�2

2 , : : :, X n�31 , X n�3

2 , : : :, e X0,temos que X n

1 , X n2 , : : :, X n

ksao independentes de X n�1

1 , X n�12 , : : :, X n�2

1 , X n�22 , : : :. Desta

forma dado fZn D kg, ZnC1 e independente de Zn�1;Zn�2; : : :.As propriedades da variavel aleatoria Zn podem ser estudadas considerando a funcao geradora

da distribuicao de X

H.z/ D EŒzX � D

1XkD0

zkP.X D k/;

pois Zn e o resultado da somaPZn�1

kD1 Xk . Da expressao para Zn temos que

zZnC1 D zX n1 zX 2

2 � � � zX nZn ;

logo

EŒzZnC1 � D EhzX n

1 zX n2 � � � zX n

Zn

iD

1XkD0

E�zX n

1 zX n2 � � � zX n

Zn 1fZnDkg

iD

1XkD0

EŒzX n1 �EŒzX n

2 � � � �EŒzX nk �EŒ1ZnDk � D

1XkD0

H.z/kP.Zn D k/

D EŒH.z/Zn �:

A quarta igualdade segue da independencia das variavel aleatorias fX nj g, j D 1; : : : ; k. Se

denotamos por Hn a funcao geradora de Zn, Hn.z/ DP1

kD0 zkP.Zn D k/, o resultado anteriormostra que

(15) HnC1.z/ D Hn.H.z//:

Suponhamos que Z0 D 1. Neste caso temos portanto que H0.z/ D z e logo de (15) segueH1.z/ D H0.H.z// D H.z/. Aplicando (15) mais uma vez resulta H2.z/ D H1.H.z// DH�H.H.z//

�. Em geral para qualquer n � 1 temos

Hn.z/ D H�Hn�1.z/

�D H ıH ı � � � ıH.z/;


sendo que a operacao de composicao na expressao a direita e efetuada n vezes. Seja T0 o primeirotempo de retorno ao estado 0. Observamos que 0 e um estado absorvente. O seguinte lema mostraa relacao entre h0

1 D P.T0 <1jZ0 D 1/, a probabilidade de extincao, e a funcao H .

Lema 7. Se EŒX1� � 1, entao h01 D 1. Se EŒX1� > 1, entao h0

1 < 1 e a unica solucao naonegativa diferente de 1 da equacao z D H.z/.

Demonstracao. Observamos primeiro que a probabilidade de extincao, h01, e igual a P.Zn D 0/

quando n!1. De fato,

h01 D P1

� 1[kD1

fZk D 0g

�D lim

n!1P1

� n[kD1

fZk D 0g

�D lim

n!1P1.Zn D 0/

uma vez que fZn D 0g � fZnC1 D 0g. Assim, da definicao de Hn, temos imediatamente queh1

0 D limn!1Hn.0/.Mostraremos agora que h0

1 2 fz W z D H.z/g. Seja h01.n/ D P1.Zn D 0/, logo h0

1.n/ enao decrescente pois fZn D 0g e nao decrescente. Notamos tambem que h0

1.n/ ! h01 quando

n! 1. De (15) temos que HnC1.0/ D H.Hn.0// portanto h01.nC 1/ D H.h0

1.n//, assim dacontinuidade de H concluimos que h0

1 D H.h01/.

A seguir, mostramos que h01 e a menor solucao de z D H.z/. Suponhamos que 0 � w � 1

e uma solucao de z D H.z/, ou seja, que w D H.w/. Sendo Hn.z/ D H.Hn�1.z//, e Hn.0/ Dh0

1.n/ quando z D 0, entao

h01.1/ D H.h0

1.0// D H.0/ � H.w/ D w;

o qual por sua vez implica

h01.2/ D H2.0/ D H.h0

1.1// � H.w/ D w:

Em geral para n � 1 temos

h01.n/ D Hn.0/ D H.h0

1.n � 1// � H.w/ D w;

portanto no limite n!1, h01 � w.

A funcao H e convexa, de fato

H 00.z/ DXk�2

k.k � 1/zk�1P.X D k/ � 0:

Por outro lado, H.0/ D P.X D 0/ D p0 > 0. Isto implica que os graficos das funcoes y D ze y D H.z/ apresentam no maximo dois pontos em comum. Um destes pontos corresponde az D 1. Observamos que H 0.z/ D m, logo se supomos que m � 1, entao numa vizinhanca aesquerda de z D 1, o grafico de y D H.z/ nao pode estar por baixo do grafico de y D z. Pelaconvexidade de H , isto implica que a unica intercepcao entre as duas funcoes ocorre quandoz D 1. No outro caso, quando H 0.1/ D m > 1, temos que em uma vizinhanca a esquerda de 1, ografico de H.z/ se encontra por baixo do grafico de y D z, logo deve existir um outro ponto deintercepcao a esquerda do 1, veja a Figura 5. �

Exercıcios 55

m < 1

z

H.z/

h01

0 1

0

1m � 1

z

H.z/

h01

0 1

0

1

Figura 5.

Exercıcios

Exercıcio 67. Seja .Zn/, n � 0, um processo de ramificacao e EŒZn� D mn. Mostre que mn D

mn, onde m D EŒX1�. Sugestao: observe que mn D H 0n.1/ e logo utilize Hn.z/ D Hn�1.H.z//considerando o limite z! 1. Seja H 2 D Var.X1/, mostre que

Var.ZnC1/ D

(H 2mn

�1�mnC1

1�m

�; se m ¤ 1;

H 2.nC 1/; se m D 1:

Sugestao: pense em como calcular o segundo momento de ZnC1 utilizando H.z/.

10.2. Martingais e Opcoes.

Capıtulo 2

Tempo contınuo

Este capıtulo apresenta uma introducao aos processos a tempo contınuo, isto e as sequencias .Xt/,t 2 Œ0;1/. Um dos objetivos e o de recuperar a maior parte dos resultados do capıtulo anteriorcomo a classificacao de estados em recorrentes e transitorios, e a convergencia a distribuicaoinvariante. Com estes objetivos por frente apresentamos primeiro varios pre-requisitos entre osquais incluimos uma breve introducao aos processos a tempo contınuo e em seguida o estudodas matrizes Q. Mostraremos como o exponencial da matrix Qt em certa forma joga o papeldo n-esimo iterado da matriz P , um objeto fundamental no tempo discreto. Seguidamenteapresentaremos algumas propriedades da distribuicao exponencial, e entao introduziremos oprocesso de Poisson como o primeiro exemplo de um processo a tempo contınuo. Finalmenteapresentamos os processos de Markov.

1. Processos a tempo contınuoUm processo a tempo contınuo com valores em S e a famılia .Xt W t � 0/ de variaveisaleatorias Xt W �! S. Seguindo o exposto no prefacio, suponhamos que e possıvel determinaras distribuicoes finito dimensionais do processo, isto e, suponhamos que podemos calcular aprobabilidade

P.Xt0D i0;Xt1

D i1; : : : ;XtnD in/;

para quaisquer tempos 0 � t0 � t1 � : : : � tn, n � 0, e qualquer sequencia de estadosi0; : : : ; in 2 S. Observamos que se o processo X toma valores em tempo discreto entao paraqualquer evento A determinado pelas trajetorias do processo temos que

P�[

n�0

An

�D

Xn

P.An/;

sempre e quando os eventos An sejam disjuntos. Se o processo e a tempo contınuo, entaonao existe uma regra equivalente para calcular a probabilidade do evento f[t�0Atg, sendo queeste ultimo considera uma uniao nao enumeravel. Porem neste caso existe uma condicao deregularidade sobre o processo a qual permite calcular a probabilidade de qualquer evento a partirdas distribuicoes finito dimensionais. Esta condicao e conhecida como a continuidade a direita doprocesso.

57

58 2. Tempo contınuo

�J1 J2 J3J0

S1 S2 S3

t

Xt.!/

� � �

� � �

� � �

Figura 1. tempos de transicao .Jn/, tempos de permanencia .Sn/, e tempo da primiera explosao� de um processo a tempo contınuo.

Definicao 22. O processo .Xt/, t � 0, e contınuo a direita se para todo ! 2 � e t � 0 existe um" > 0 tal que

Xs.!/ D Xt.!/ para t � s � t C ":

Toda trajetoria t 7! Xt.!/ de um processo contınuo a direita deve permanecer constantedurante um perıodo de tempo em cada novo estado, portanto existem tres possıveis formas para astrajetorias destes processos:

(a) A trajetoria apresenta infinitos pulos, mas o numero de transicoes no intervalo Œ0; t � saofinitas.

(b) A trajetoria apresenta um numero finito de pulos e portanto existe um instante a partir doqual X nao muda mais de estado.

(c) O processo Xt realiza um numero infinito de transicoes durante o intervalo finito Œ0; t �;neste caso existe um tempo � conhecido como o tempo da primeira explosao. Um exemplo destetempo esta apresentado na Figura 1. Depois da primeira explosao o processo inicia de novopodendo tal vez explodir posteriormente um numero enumeravel de vezes ou nao.

Definicao 23. Sejam J0;J1; : : :, os tempos das transicoes e S1;S2; : : : os tempos de permanenciado processo estocastico .Xt/, t � 0, definidos como

J0 D 0; JnC1 D infft � Jn W Xt ¤ XJng; n D 0; 1; : : :

e para n D 1; 2; : : :

Sn D

(Jn � Jn�1; se Jn�1 <1

1; caso contrario:

Observamos que a propriedade da continuidade a direita implica que Sn > 0 para todo n.Se JnC1 D 1 para algum n, definimos X1 D XJn

, como o valor final do processo, no casocontrario X1 nao esta definido.

2. Matriz Q 59

Definicao 24. O (primeiro) tempo de explosao e definido como

� D supn

Jn D

1XnD1

Sn:

Se � <1, entao .Xt/ e um processo explosivo.

Definicao 25. Seja .Xt/, t � 0, um processo estocastico. O processo a tempo discreto .Yn/,n � 0 definido por Yn D XJn

e chamado de processo de transicao de .Xt/ , ou cadeia de transicao,caso este seja uma cadeia de Markov.

Observamos que .Yn/ e simplesmente a sequencia de valores tomados pelo processo .Xt/ ateo tempo da primeira explosao.

Nao sera considerado o que ocorre com um processo depois da primeira explosao. Nestecaso resulta conveniente agregar a S o estado “1” de tal maneira que Xt D 1 se t � �. Umprocesso que satisfaz esta condicao e chamado de processo mınimo. Um processo mınimo podeser recuperado a partir dos tempos de permanencia e do processo de transicao. Observamosque ao especificar a distribuicao conjunta de S1;S2; : : : e .Yn/, n � 0 temos mais uma formade determinar a distribuicao de .Xt/, t � 0, de uma “maneira enumeravel”. Por exemplo, aprobabilidade do evento fXt D ig e dada por

P.Xt D i/ D

1XnD0

P.Yn D i e Jn � t < JnC1/

e tambem

P�Xt D i para algum t 2 Œ0;1/

�D P.Yn D i para alguns n � 0/:

2. Matriz Q

Definicao 26. Seja S um conjunto enumeravel. Uma matriz Q em S e uma matriz com elementosqij , i; j 2 S os quais satisfazem a seguintes condicoes

(i) 0 � �qii <1 para todo i 2 S.

(ii) qij � 0 para todo i ¤ j .

(iii)P

j2S qij D 0 para todo i 2 S.

No caso

qi D

Xj¤i

qij <1;

escrevemos qii D �qi . Consideramos primeiro a relacao de esta matriz com um grafo que agoraapresenta os valores de qij associados aos seus elos,


v1

v2 v3

2

1 1

1

1

Q D

24 �2 1 12 �3 11 0 �1

35

Cada elemento qij , o qual se encontra sobre um dos elos do grafo associado, corresponde a taxada transicao do vertice i ate o vertice j . Assim, qij representa o numero de transicoes de i a jpor unidade de tempo. Seguindo a propriedade (iii) interpretamos qi como a taxa de saıda dovertice i , isto e, o numero de transicoes de i a qualquer outro vertice por unidade de tempo.

Naturalmente o conjunto de tempos discretos 0; 1; : : : esta incluıdo no conjunto Œ0;1/. Se0 < p < 1, podemos interpolar a sequencia discreta pn, n D 0; 1; : : :, pela funcao etq, t � 0,onde q D log p. Se agora consideramos a matriz P D .pij W i; j ;2 S/, sera entao possıvelinterpolar os valores de P n, n D 0; 1; : : :? Obviamente que a resposta a esta pergunta seraessencial para estabelecer o vinculo com a teoria a tempo discreto.

Suponhamos que a serienX

kD0

Qk

k!;

converge para todo n 2 N, e que no limite esta seja igual a eQ. Mais ainda, se Q1 e Q2 comutam1,entao

eQ1CQ2 D

1XnD0

.Q1 CQ2/n

n!D

1XnD0

1

n!

nXkD0

n!

k!.n � k/!Qk

1Qn�k2

D

1XkD0

Qk1

k!

1XnDk

Qn�k2

.n � k/!D eQ1Q2 :

Suponhamos por ultimo que e possıvel encontrar uma matriz Q tal que P D eQ, entao

enQD .eQ/n D P n;

de tal maneira que etQ, para t � 0 pode ser utilizada para interpolar P n. Definimos desta forma

(16) P .t/ D etQ

e a seguir apresentamos algumas das propriedades de P .t/.

Teorema 24. Seja Q uma matriz definida no conjunto finito S. Neste caso .P .t/ W t � 0/apresenta as seguintes propriedades

(i) P .t/ e um semi-grupo, isto e,

P .s C t/ D P .s/P .t/; para todo s; t � 0:

1ou seja, se Q1Q2 D Q2Q1

2. Matriz Q 61

(ii) .P .t/ W t � 0/ e a unica solucao a equacao de forward

d

dtP .t/ D P .t/Q; P .0/ D I:

(iii) .P .t/ W t � 0/ e a unica solucao a equacao de backward

d

dtP .t/ D QP .t/; P .0/ D I:

(iv) Para k D 0; 1; : : :, temos que

d

dtkP .k/.t/

ˇtD0D Qk :

Demonstracao. Para quaisquer s; t 2 R temos que as matrizes sQ e tQ comutam, portantoesQetQ D e.sCt/Q, mostrando a propriedade de semi-grupo. Observamos que

(17) P .t/ D

1XkD0

.tQ/k

k!

apresenta um raio de convergencia infinito2 portanto cada componente e diferenciavel e comderivada dada por

P 0.t/ D

1XkD1

tk�1Qk

.k � 1/!D P .t/Q D QP .t/:

Desta forma P .t/ satisfaze as equacoes de forward e backward. Diferenciando termo a termoobtemos o ultimo item, (iv). So resta mostrar que P .t/ e a unica solucao as equacoes de forwarde backward. Se L.t/ satisfaz a equacao de forward, entao

d

dt.L.t/e�tQ/ D

� d

dtL.t/

�e�tQ

CL.t/� d

dte�tQ

�D L.t/Qe�tQ

CL.t/.�Q/e�tQD 0;

e entao deduzimos que L.t/e�tQ e constante, portanto L.t/ D P .t/. Um argumento similarmostra a unicidade da solucao a equacao de backward. �

Quando P .t/ e estocastica para todo t � 0, dizemos que P .t/ e um semi-grupo estocastico. SeQ apresenta a estrutura da Definicao 26, entao o seu exponencial e um semi-grupo estocastico. Aequacao em (i) e conhecida como a equacao forward de Kolmogorov ou equacao de Fokker-Plank,e a quacao em (ii) como a equacao backward de Kolmogorov.

Teorema 25. A matriz Q definida em S, com S finito, apresenta a forma determinada pelaDefinicao 26 se, e somente se o semi-grupo P .t/ D etQ e estocastico.

Demonstracao. Se t # 0, entao,

P .t/ D I C tQCO.t2/:

2a ser feito no apendice


Neste caso a notacao f .t/ D O.t/ significa que no limite t # 0, f .t/=t < C para todos osvalores t suficientemente pequenos, e C <1 constante . Dado que P .t/ D .e

tn

Q/n D P .t=n/n

para todo n, temos qij � 0 para i ¤ j se, e somente se pij .t/ � 0 para todo i; j e todo t � 0.Se a soma de cada linha de Q e zero, entao cada linha de Qn tambem e zero,X

k2S

qnik D

Xk2S

Xj2S

qn�1ij qjk D

Xj2S

qn�1ij

Xk2S

qjk D 0:

Para quaisquer dois matrizes A, B em S com elementos aij e bij respectivamente, temos queA D B se aij D bij , portanto de (17) resulta

Xj2S

pij .t/ DXj2S

1XkD0

.tqij /k

k!D 1C

1XkD1

Xj2S

.tqij /k

k!D 1:

No sentido contrario, seP

j pij .t/ D 1 para todo t � 0, entao seguindo o Teorema 24(ii),Xj2S

qij Dd

dt

Xj2S

pij .t/ˇtD0D 0: �

Retornamos agora ao problema de interpolar P n, mas desde o ponto de vista do processo.Suponhamos que P e uma matriz estocastica da forma eQ, onde Q apresenta as propriedades(i)-(iii) da Definicao 26. Consideramos um inteiro m grande e entao o processo .X m

n /, n � 0

o qual e Markov(�; eQ=m), isto e, para m fixo, consideramos um processo com ındices emfn=m W n D 0; 1; 2; : : :g,

Xm=n D X mn ;

tal que para m D 1 recuperamos .Xn/, o qual e Markov(�; .eQ=m/m), sendo

.eQ=m/m D eQD P:

Desta maneira e possıvel encontrar cadeias de Markov com ındices fn=m W n D 0; 1; 2; : : :garbitrariamente pequenos, tais que quando amostrados a valores inteiros originam uma cadeiade Markov.�;P /. Veremos adiante que existe um processo a tempo contınuo, .Xt/, com estapropriedade.

Apresentamos a continuacao um exemplo onde as probabilidade de transicao sao calculadasexplicitamente a partir da matriz Q.

Exemplo 12. Seja X uma cadeia de Markov com a seguinte matriz Q,

Q D

24 �2 1 11 �1 02 1 �3

35 :Logo a equacao caracterıstica associada e,

0 D det.� �Q/ D �.�C 2/.�C 4/;

3. Propriedades da distribuicao exponencial 63

portanto Q apresenta os autovalores �1 D 0, �2 D �2, e �3 D �4. Q admite por tanto arepresentacao diagonal

Q D N

240 0 00 �2 00 0 �4

35N �1;

onde

N D

241 1 �31 �1 11 1 5

35 ; N �1D

24 3=8 1=2 1=81=4 �1=2 1=4�1=8 0 1=8

35 :Logo

etQD

1XnD0

.tQ/n

n!D N

1XnD0

1

n!

240n 0 00 .�2t/n 00 0 .�4t/n

35N �1D N

241 0 0

0 e�2t 0

0 0 e�4t

35N �1

D

266666664

3

8C

1

4e�2tC

3

8e�4t 1

2�

1

2e�2t 1

8C

1

4e�2t�

3

8e�4t

3

8�

1

4e�2t�

1

8e�4t 1

2C

1

2e�2t 1

8�

1

4e�2tC

1

8e�4t

3

8C

1

4e�2t�

5

8e�4t 1

2�

1

2e�2t 1

8C

1

4e�2tC

5

8e�4t

377777775:

Desta maneira obtemos a probabilidade p11.t/ D P.Xt D 1 j X0 D 1/,

p11.t/ D3

8C

1

4e�2tC

3

8e�4t :

3. Propriedades da distribuicao exponencialA variavel aleatoria T W � ! Œ0;1� apresenta distribuicao exponencial com parametro �,0 � � <1, se

P.T > t/ D e��t ; para todo t � 0:

Neste caso escrevemos T � E.�/. Se � > 0, entao T tem densidade de probabilidade

fT .t/ D

(�e��t se t � 0;

0 se t < 0:

Utilizando a formula telescopica para a media de T obtemos

EŒT � DZ 1

0

P.T > t/ dt D1

�

A distribuicao exponencial joga um papel fundamental na teoria dos processos de Markov.Em particular esta se encontra relacionada com a propriedade da perda de memoria e portantocom a propriedade de Markov em tempo contınuo.


Teorema 26 (Perda de memoria). A variavel aleatoria T W � ! .0;1� tem distribuicaoexponencial se, e somente se esta apresenta a seguinte propriedade

P.T > s C t jT > s/ D P.T > t/; para todo s; t � 0:

Demonstracao. Suponhamos que T � E.�/, entao

P.T > s C t jT > s/ DP.T > s C t;T > s/

P.T > s/D

P.T > s C t/

P.T > s/

De��.sCt/

e��sD e��t

D P.T > t/:

Suponhamos agora que T satisfaze a propriedade da perda de memoria. Seja g.t/ D P.T > t/,logo

g.s C t/ D P.T > s C t/ D P.T > s C t;T > s/

D P.T > s C t jT > s/P.T > s/

D g.t/g.s/;

o qual mostra que g.x/ e decrescente em x. Por hipotese temos que T > 0, logo existe um nsuficientemente grande tal que P.T > 1=n/ > 0 e desta forma

g.1/ D P.T > 1/ D g�1

nC

1

nC : : :C

1

n

�D g

�1

n

�n

> 0;

o qual implica por sua vez que existe 0 � � <1 tal que g.1/ D e��. Consideramos agora doisinteiros p; q � 1 tais que p=q D r . Entao

P.T > r/ D g.r/ D g�q�1

�p> 0;

portanto g.r/ D e��r , para todo r 2 Q. Por ultimo, consideramos t > 0 real, e dois racionais r es tais que r � t � s. Neste caso, como g e decresce com o seu argumento,

e��rD g.r/ � g.t/ � g.s/ D e��s;

Como Q e denso em R, podemos escolher r e s tao proximos de t como queramos, logo dasdesigualdades acima concluımos que g.t/ D e��t . �

O seguinte resultado mostra que uma soma de variaveis aleatorias exponenciais independentespode ser quase certamente finita ou infinita. Alem disto tambem fornece um criterio paradeterminar qual destas possibilidades e certa. Este resultado sera utilizado para determinar seum processo de Markov a tempo contınuo pode realizar um numero infinito de transicoes numintervalo de tempo infinito ou nao, isto e, se o processo e explosivo ou nao.

Teorema 27. Sejam S1, S2, : : : uma sequencia de variaveis aleatorias tais que Sn � E.�n/,0 < �n <1 para todo n.

(i) Se1X

nD1

��1n <1, entao P

� 1XnD1

Sn <1

�D 1.

3. Propriedades da distribuicao exponencial 65

(ii) Se1X

nD1

��1n D1, entao P

� 1XnD1

Sn D1

�D 1.

Demonstracao. Suponhamos primeiro queP1

nD1 ��1n <1, logo pelo Teorema de Convergencia

Monotona (veja [1] ou [5]) tem-se

E

1X

kD1

Sk

!D lim

kD1E� kX

nD1

Sn

�D

1XkD1

1

�k

<1;

e portanto

P� 1X

kD1

Sk <1

�D 1:

Suponhamos queP1

nD1 ��1n D1. Neste caso

Q1nD1.1C 1=�n/ D1, logo

E�

exp��

1XkD1

Sk

��D E

�lim

n!1

nYkD1

e�Sk

�D lim

n!1E� nY

kD1

e�Sk

�

D

1YkD1

E�

e�Sk

�D

1YkD1

�1C

1

�k

��1

D 0:

A segunda igualdade segue do Teorema de Convergencia Monotona, a terceira segue da inde-pendencia das variaveis aleatorias Sn, e a quarta resulta da integral

Ehe�Sk

iD

Z 10

e�t�ke��k t dt D�k

�k C 1:

Desta forma, se Ehe�

Pk�0 Sk

iD 0, entao

P� 1X

kD1

Sk D1

�D 1: �

O seguintes dois resultados serao utilizados adiante.

Lema 8. Seja K um conjunto enumeravel e sejam Tk , k 2K , variaveis aleatorias exponenciaisindependentes, Tk � E.qk/, tais que 0 < q D

Pk2K qk < 1. Seja T D infk Tk . O infimo

e alcancado para um unico valor aleatorio K de k com probabilidade 1. Pelo outro lado, asvariaveis aleatorias T e K sao independentes e tais que T � E.q/ e P.K D k/ D qk=q.

Demonstracao. Se Tk < Tj para todo j ¤ k, entao seja K D k. Caso nao exista tal indice k,K nao esta definido. Agora, simplesmente da definicao de T e K,

P.K D k;T � t/ D P.Tk � t;Tj > Tk 8j ¤ k/;


porem o termino a direita da igualdade e

P.Tk � t;Tj > t 8j ¤ k/ D P.Tk � t/P.Tj > t 8j ¤ k/

D

Z 1t

qke�qkuP.Tj > u j ¤ k/ du D

Z 1t

qke�qkuYj¤k

e�qj u du

D

Z 1t

qke�qu du Dqk

qe�qt :

Temos portanto que T e K sao variaveis aleatorias independentes com distribuicoes P.T � t/ De�qt e P.K D k/ D qk=q. Segue disto ultimo que P.K D k para algum k/ D

Pk2K P.K D

k/ DP

k2K qk=q D 1. �

Lema 9. Sejam S � E.�/ e R � E.�/ para t � 0, entao

�P.S � t < S CR/ D �P.R � t < RC S/:

Demonstracao.

P.S � t < S CR/ D P.S D s;R D r/; s 2 Œ0; t �; r 2 Œt � s;C1/;

logo, da independencia entre S e R

P.S D s;R D r/ D

Z 1t�s

Z t

0

�P.S D s/�P.R D r/dsdr

D ��

Z t

0

e��s

�Z 1t�s

e��r dr

�ds D ��

Z t

0

e��se��.t�s/ ds

D ��

Z t

0

e��.t�s/e��t ds D P.R � t < RC S/: �

Exercıcios

Exercıcio 68. Sejam S e T duas variaveis aleatorias exponenciais com parametros ˛ e ˇ respec-tivamente. Qual a distribuicao de minfS;T g? Qual a probabilidade do evento fS � T g? Mostreque os dois eventos fS < T g e fminfS;T gg sao independentes.

Exercıcio 69. Sejam T1, T2, : : : variaveis aleatorias independentes identicamente distribuidascom distribuicao exponencial com parametro �. Seja N uma variavel aleatoria geometrica comparametro ˇ,

P.N D n/ D ˇ.1 � ˇ/n�1; n D 1; 2; : : :

Mostre que T DPN

iD1 Ti tem distribuicao exponencial com parametro �ˇ.

Exercıcio 70. Sejam S1, S2, : : : variaveis aleatorias exponenciais independentes com parametros�1, �2, : : : respectivamente. Mostre que �1S1 e exponencial com parametro 1. Utilize a lei dos

4. Processo de Poisson 67

grandes numeros para mostrar que

P� 1X

nD1

Sn D1

�D 1;

quando �n D 1 para tudo n � 1, e logo tambem para o caso quando supn �n < 1. Sera estaultima condicao necessaria?

4. Processo de PoissonO processo de Poisson e um dos exemplos mais simples de uma cadeia de Markov em tempocontınuo o qual a sua vez joga um papel fundamental na construcao de outros processos. Napratica, o processo de Poisson e utilizado para modelar o numero de ocorrencias de um certoevento em tempo contınuo.

Definicao 27. Um processo .Nt/, t � 0, contınuo a direita com valores em ZC e um processode Poisson com taxa �, 0 < � < 1 se os seus tempos de permanecia .Sn/, n D 1; 2; : : :, saovariaveis aleatorias independentes, com distribuicao exponencial de parametro �, e sua cadeia detransicao e dada por Yn D n.

O grafo e a matriz Q do processo de Poisson sao

v1 v2 v3 � � ��

Q D

2664��

��

�� : : :

: : :

3775Observamos que para este processo

P1nD1 1=� D 1, portanto, do Teorema 27, P.

P1nD1 Sn D

1/ D 1, o qual implica que este processo e nao explosivo e entao que as distribuicoes finitodimensionais do processo .Nt/, t � 0, se encontram unicamente determinadas.

Uma maneira simples de construir o processo de Poisson com taxa � e considerar umasequencia de variaveis aleatorias exponenciais independentes .Sn/, n D 1; 2; : : : com parametro�, e entao J0 D 0, Jn D Sn de tal forma que

Nt D n se Jn � t < JnC1:

A figura 4 apresenta uma trajetoria desta construcao.Mostramos agora como a propriedade da perda de memoria dos tempos de permanencia

exponenciais, Teorema 26, determina a propriedade de perda de memoria do processo de Poisson.

Teorema 28 (Propriedade de Markov do processo de Poisson). Seja .Nt/, t � 0 um processode Poisson de taxa �. Para qualquer s � 0, o processo .NsCt � Ns/, t � 0, e um processo dePoisson de taxa �, independente de .Nr W r � s/.

Demonstracao. Suponhamos, sem perda de generalidade que Xs D i . Seja . QSn/, n � 1, asequencia de tempos definida por

QS1 D SiC1 � .s � Ji/; QSn D SiCn; n � 2;


S3 S4S1 S2

J0

tJ1 J2 J3 J4

� � �

� � �

Nt.!/v4

v3

v2

v1

Figura 2. Tempos de permanencia e tempos de transicao em uma trajetoria tipica de um processode Poisson.

A figura 4 ilustra esta definicao. Claramente a sequencia . QSn/, n � 0, corresponde aos tempos de

0 Ji s JiC1 JiC2 t

QS1QS2

Figura 3.

permanencia do processo QNt D NsCt � Ns, t � 0. Notamos que se ocorre fNs D ig D fJi �

s < JiC1g, entao necessariamente SiC1 > s � Ji . Logo,

P. QS1 > ujNs D i;S1 D t1; : : : ;Si D ti/

D P.SiC1 > uC .s � Ji/jNs D i;S1 D t1; : : : ;Si D ti/

D P�

SiC1 > uC�s �

iXnD1

tn

�ˇSiC1 > s �

iXnD1

tn

�D P.SiC1 > u/;

A ultima igualdade segue da propriedade da perda de memoria de SiC1, o qual a sua vez segue porhipotese pois SiC1 e exponencial. Isto mostra que QS1 dado Ns D i e independente de S1; : : :Si etambem que QS1 � E.�/. Diretamente da sua definicao, os tempos QS2, QS3, : : : sao independentesde S1, S2, : : :, Si , e exponencialmente distribuıdos com parametro �. Assim, dado o eventofNs D ig, os tempos de permanencia QS1, QS2, : : : sao independentes E.�/ e independentes deS1; : : : ;Si . Concluımos desta forma que . QNt/, t � 0 e Poisson com parametro � e incrementosindependentes de .Nu W u � s/. �

O seguinte resultado considera a generalizaao do Teorema anterior para um tempo de paradaT .

4. Processo de Poisson 69

Teorema 29 (Propriedade de Markov forte do processo de Poisson). Seja .Nt/, t � 0 umprocesso de Poisson com taxa � e seja T um tempo de parada para este processo. Dado o eventofT <1g, o processo .NTCt �NT /, t � 0 e um processo de Poisson com taxa �, independentede .Ns W s � T /.

Demonstracao. Veja [7], Teorema 6.5.4.3 �

O seguinte Teorema fornece tres maneiras diferentes de caraterizar um processo de Poisson:(a) a partir de processo de transicao e os tempos de permanencia, veja a secao 1, (b) umadefinicao “infinitesimal”, e (c) utilizando a probabilidade de transicao. Em (b) utilizamos anotacao f .t/ D o.t/, com o significado f .t/=t ! 0 quando t ! 0.

Teorema 30 (Caraterizacao do processo de Poisson). Seja .Nt/, t � 0, um processo contınuo adireita com valores interos iniciado na origem. As seguintes condicoes sao equivalentes.

(a) Os tempos de permanencia S1, S2, : : : de .Nt/ sao variaveis aleatorias independentes eidenticamente distribuıdas com distribuicao E.�/, a cadeia de transicao associada edada por Yn D n;

(b) .Nt/, t � 0, apresenta incrementos independentes, e quando h # 0, uniformemente em t ,temos que

P.NtCh �Nt D 0/ D 1 � �hC o.h/;

P.NtCh �Nt D 1/ D �hC o.h/I

(c) .Nt/, t � 0 apresenta incrementos estacionarios independentes, e, para cada t , Nt temdistribuicao Poisson com parametro �t .

Se o processo fNt W t 2 RCg satisfaz qualquer uma destas tres condicoes, entao este e chadode processo de Poisson de taxa �.

Demonstracao. Mostramos primeiro (a) ) (b). Suponhamos que (a) seja certa, entao dapropriedade de Markov, para quaisquer s; t � 0, o incremento NhCt�Nt tem a mesma distribuicaode Nh e e independete de .Ns W s � t/. Portanto .Nt/, t � 0, tem incrementos independentes eno limite h # 0, temos

P.NtCh �Nt � 1/ D P.Nh � 1/ D P.J1 � h/ D 1 � e��hD �hC o.h/;

P.NtCh �Nt � 2/ D P.Nh � 2/ D P.J2 � h/

� P.S1 � h e S2 � h/ D .1 � e��h/2 D o.h/;

o qual implica (b).Mostramos agora .b/) .c/. Se (b) e valida, entao, para i D 2; 3; : : :, temos que uniforme-

mente em t ,P.NtCh �Nt D i/ D o.h/ quando h # 0:

3Para esta demonstracao e necessario ter conhecimentos da teoria da medida.


Seja pj .t/ D P.Nt D j /. Para j D 1; 2; : : :, tem-se

pj .t C h/ D P.NtCh D j / D

jXiD0

P.NtCh D j ;Nt D j � i/

D

jXiD0

P.NtCh �Nt D i/P.Nt D j � i/

D

�1 � �hC o.h/

�pj .t/C

��hC o.h/

�pj�1.t/C o.h/:

Assim,pj .t C h/ � pj .t/

hD ��pj .t/C �pj�1.t/C

o.h/

h;

e passando ao limite h! 0 obtemos o seguinte sistema de equacoes para j D 1; 2; : : :,

d pj .t/

dtD ��pj .t/ � �pj�1.t/:

O caso j D 0 pode ser considerado de forma parecida resultando em

p0.t/ D ��0.t/:

Dado N0 D 0, as condicoes iniciais dos sistema sao pj .0/ D 0, j � 0, e p0.0/ D 1. Neste casoe possıvel encontrar uma solucao analıtica ao sistema. Observamos primeiro que p0.t/ D e��t .Logo para j D 1 temos que .e�tp1.t//

0 D e�tp0.t/, assim p1.t/ D e�t=1!. Em geral para j � 1

temos .e�tpj .t//0 D e�tpj�1.t/, portanto ressolvendo de maneira recursiva obtemos

pj .t/ D e��t .�t/j

j !; j � 0:

Concluımos desta forma que Nt apresenta distribuicao Poisson com parametro �t . Agora, se Nt

satisfaze (b), entao este apresenta incrementos independentes. Por outro lado, como .NsCt �Ns/

satisfaze (b), entao para qualquer s > 0 temos que NsCt �Ns �Poisson.�t/, o qual implica em.c/.

Mostramos por ultimo que .c/) .a/. Sejam .Jn/, n � 1, os tempos de transicao do processode Possoin Nt . Suponhamos que a distribuicao conjunta de J D .J1; : : : ;Jk/, e dada por

fJ .t1; : : : ; tk/ D �ke��tk 1f0�t1�:::�tkg;

Neste caso, os tempos de permanencia S D .S1; : : : ;Sk/, tem distribuicao

fS.s1; s2; : : : ; sk/ D fJ .s1; s1 C s2; : : : ; s1 C : : :C sk/

D �ke��.s1C:::Csk/1fs1>0;:::;sk>0g D

kYiD1

�e��si 1fsi>0g;

o qual mostra que as variaveis aleatorias Sn sao independentes e identicamente distribuıdas comdistribuicao exponencial de parametro �. Desta forma so fica por ser mostrado que fJ de fatoapresenta a forma assumida acima. A distribuicao de J , pode ser derivada ao considerar o limite

Exercıcios 71

h D .h1; : : : ; hk/! 0 na quantidade P.\kiD1Ji 2 .ti; ti C hi �/=h. Sejam Ai D fNtiChi

�NtiD

1g e Bi D fNtiC1�NtiChi

D 0g, logon k\iD1

Ji 2 .ti; ti C hi �oD

nNt1D 0

o k�1\iD1

.Ai \ Bi/ \nNtkChk

�Ntk� 1

o;

sempre e quando h1; : : : ; hk sejam o suficientemente pequenos. Neste caso, seguindo a inde-pendencia entre os incrementos temos que o evento a direita da ultima igualdade tem probabilidade

P.Nt1D 0/

k�1YiD1

P.Ai \ Bi/P.NtkChk�Ntk

� 1/

mas, sob (c), os incrementos de Nt sao estacionarios e Nt apresenta distribuicao Poisson.�t/,assim a probabilidade acima e

e�t1e��h1�h1e��.t2�t1�h1/e��h2�h2e��.t3�t2�h2/ � � � .1 � e��hk /;

isto e,

e��t1

k�1YiD1

�e��hi�hie

��.tiC1�ti�hi /�.1 � e��hk / D �k�1h1 � � � hk�1e��tk .1 � e��hk /:

Temos portanto que

limhi!0

�k�1h1 � � � hk�1e��tk .1 � e��hk /

h1 � � � hk�1hk

D �k�1e��tk limhk!0

1 � e��hk

hk

D �ke��tk : �

Exercıcios

Exercıcio 71. Seja fN.t/ W t � 0g um processo de Poisson com taxa � e seja fX.t/ W t � 0g comvalores em S D f�1; 1g o processo definido por

X.t/ D X.0/ � .�1/N.t/:

(i) Verifique se fX.t/g e uma cadeia de Markov. (ii) Encontre o semigrupo de fX.t/g. (iii)Encontre o gerador Q.

Exercıcio 72. Seja fN.t/ W t � 0g um processo de Poisson com taxa �, e probabilidades detransicao pij .t/ D .Pt/ij . (i) Mostre que fPtg e um semigrupo. (ii) Verifique se fPtg e uniforme.(iii) Encontre o gerador do processo Q.

Exercıcio 73 (Processo de nascimento (simples)). Seja �n D n�. O seguinte modelo descreveuma populacao na qual cada individuo tem um descendente com probabilidade �h C o.h/ nointervalo .t; t C h/. O numero de nascimentos M no intervalo .t; t C h/ satisfaz

P.M D mjN.t/ D n/ D

�n

m

�.�h/m.1 � �h/n�m

C o.h/;


isto e,

P.M D mjN.t/ D n/ D

8<:�nhC o.h/ D 1 � n�hC o.h/ se m D 0;

o.h/ se D m > 1;

�nhC o.h/ D n�hC o.h/ se m D 1:

Analogamente ao processo de Poisson, sejam as probabilidades de transicao

pij .t/ D P.N.s C t/ D j jN.s/ D i/ D P.N.t/ D j jN.0/ D i/:

(i) Deduzir o sistema de equacoes adiantadas (forward),

p0ij .t/ D �j�1pi;j�1.t/ � �jpij .t/; j � i

e o sistema retardado (backward),

p0ij .t/ D �ipiC1;j .t/ � �ipij .t/; j � i:

Exercıcio 74. Resolva os sistemas forwards e backwards para o processo de nascimento simples,considerando a mesma condicao inicial pij .0/ D ıij onde ıij D 1 se i D j e ıij D 0 se i ¤ j .

Exercıcio 75. Um processo de Poisson nao homogeneo e um processo N.t/ definido da mesmaforma que o processo de Poisson exceto que neste caso a probabilidade de uma chegada nointervalo .t; t C h/ e �.t/hC o.h/, onde �.t/ varia com t . Obtenha as equacoes de forward ebackward para N .

Exercıcio 76. Mostre partindo da definicao da probabilidade de transicao do processo de Poissonque

P.t1 < J1 � t2 < J2/ D e��t1�.t2 � t1/e��.t2�t1/

e portanto que J2 � J1 D S2 apresenta distribuicao exponencial com parametro �, independente-mente de J1.

Exercıcio 77. As chegadas dos onibuses dna plataforma 1 formam um processo de Poisson comtaxa 1 (1 onibus por hora), e independentemente dos da plataforma 1 os da plataforma 7 seguemum processo de Poisson com taxa 7. (i) Qual e a probabilidade de que exatamente 3 onibuschegem durante a primeira hora? (ii) Qual e a probabilidade de que exatamente 3 onibus cheguema plataforma 7 quando voce esta esperando por uno da plataforma 1? (iii) Qual e a probabilidadede que voce fique aguardando por 30 minutos sem que passe nenhum onibus?

5. Processos de Markov5.1. Cadeia de transicao e tempos de permanencia. Nesta secao damos inicio propriamente ateoria dos processos de Markov. Estes processos serao definidos apartir da distribuicao conjunta doprocesso de transicao e os tempos de permanencia. Observamos que esta abordagem correspondea definicoes do processo de Poisson de acordo com o Teorema 30(a).

Seja S um conjunto enumeravel. A informacao essencial que determina um processo deMarkov com valores em S e dada por uma matriz Q, isto e, pelos numeros qij , i; j 2 S, os quaissatisfazem as condicoes: (i) 0 � qi D �qii <1 para todo i 2 S, (ii) qij � 0 para todo i ¤ j , e(iii)

Pj2S qij D 0 para todo i 2 S.

5. Processos de Markov 73

Definicao 28. A matriz estocastica… D .�ij W i; j 2 S/, e a matriz de probabilidade de transicaoassociada a matriz Q de acordo as sequintes regras

�ij D

(qij=qi; se j ¤ i e qi ¤ 0

0; se j ¤ i; e qi D 0

�ii D

(0; se qi ¤ 0

1; se qi D 0

Desta forma para a i-esima fila de Q tomamos todos os elementods nao diagonais e osre-escalamos de forma que a sua soma seja igual a 1. Este procedimento nao e possıvel se todosos elementos no diagonais sao 0, neste caso fazemos os elementos no diagonais iguais a 0 e adiagonal igual a 1. Por exemplo, para a seguinte matriz Q e o seu grafo

v1

v2 v3

2

1 1

1

1

Q D

24 �2 1 12 �3 11 0 �1

35

temosv1

v2 v3

23

12

12

1

13

… D

24 0 1=2 1=21 0 0

2=3 1=3 0

35 :

Definicao 29 (Processo de Markov). Um processo mınimo contınuo a direita .Xt/, t � 0, comvalores em S, e um processo de Markov com distribuicao inicial � e matriz geradora Q se a suacadeia de transicao .Yn/, n � 0, e uma cadeia de Markov(�;…), e dado fY0;Y1; : : : ;Yn�1g, osseus tempos de permanencia S1;S2; : : : ;Sn sao variaveis aleatorias independetes e exponenciascom parametros q.Y0/; q.Y1/; : : : ; q.Yn�1/ respectivamente. Neste caso dezimos que .Xt/ eMarkov(�;Q).

Apresentamos a seguir tres maneiras diferentes para construir um processo de Markov, cadauma fornece uma interpretacao complementar e permitem identificar quando um determinadoprocesso e uma processo de Markov.

Construicao A. Seja .Yn/, n � 0, uma cadeia de Markov.�;…/ e T1;T2; : : : variaveisaleatorias independentes, exponencialmente distribuıdas com parametro 1, e independentes de.Yn/, n � 0. Consideramos Sn D Tn=q.Yn�1/, Jn D S1 C : : :C Sn, e logo

Xt D

(Yn se Jn � t < JnC1 para algum n

1 caso contrario:


Neste caso .Xt/, t � 0, e Markov.�;…/. Para vermos isto e suficiente observar que se Tn � E.1/,entao Sn � E.q.Yn�1//. Seja � a bijecao � W Tn ! Sn dada por �.Sn/ D Tn=q.Yn�1/, e emparticular sejam Tn D t , Sn D s e q.Yn�1/ D �. A densidade de Sn pode ser calculada utilizandoa densidade de Tn,

fSn.s/ D jJ j�1fTn

.��1.s//;

onde fTn.t/ D e�t , se t � 0 (e fTn

.t/ D 0 se t < 0), e jJ j e o determinante do Jacobiano datransformacao �, jJ j D jd�.s/=dt j D 1=�.

Construicao B. Definimos primeiro X0 D Y0, com distribuicao �, e logo consideramos acolecao .T j

n W n � 1; j 2 S/ de variaveis aleatorias independentes e com distribuicao exponencialcom parametro 1. Inductivamente para n � 0 fazemos

Sj

nC1 D Tj

nC1=qij ; quando j ¤ i;

SnC1 D infj¤i

Sj

nC1;

YnC1 D

(j se S

j

nC1 D SnC1 <1;

i se SnC1 D1:

Assim, dado o evento fYn D ig, temos que as variaveis Sj

nC1 sao independentes e exponencial-mente distribuıdas com paratremo qij para tudo j ¤ i . Assim, dado fYn D ig, do Lema 8 temosque SnC1 e exponencial com parametro qi D

Pj¤i qij , YnC1 tem distribuicao .�ij W j 2 S/, e

SnC1 e YnC1 sao independentes, e independentes de Y0; : : : ;Yn e S1; : : : ;Sn.

5.2. Equacoes de Forward e Backward. A definicao de um processo de Markov baseada nostempos de permanencia e transicao e util para desenvolver a intuicao, embora esta nao permiteencontrar propriedades fundamentais como as probabilidade de transicao Pi.Xt D j /. De maneiraanalogo ao feito com o processo de Poison, deduzimos primeiramente a propriedade (forte) deMarkov para a cadeia dos tempos de transicao.

Teorema 31 (Propriedade forte de Markov, tempo continuo). Seja .Xt/, t � 0, Markov.�, Q/e seja T um tempo de parada de .Xt/, t � 0. Dados fT < 1g e fXT D ig, .XTCt/, t � 0, eMarkov.ıi;Q/, e independente de Xu W u � T .

Demonstracao. Veja [7], Teorema 6.5.4, p. 227. �

Apresentamos a seguir um resultado chave para caraterizar um processo de Markov. Ana-logamente ao apresentado no Teorema 30, a caraterizacao consiste em fornecer tres possıveismaneiras diferentes de definir o processo.

Teorema 32 (Caraterizacao do processo de Markov). Seja .Xt/, t � 0, um processo contınuo adireita com valores em S finito. Seja Q uma matriz Q sobre S com matriz de transicao …. Asseguintes tres condicoes sao equivalentes.

(a) (definicao pela cadeia de transicao e os tempos de permanencia) dado o evento fX0 D ig,a cadeia de transicao .Yn/, n � 0, de .Xt/, t � 0, e uma cadeia de Markov.ıi;…/,e para cada n � 1 dados Y0; : : : ;Yn�1, os tempos de permanencia S1; : : : ;Sn saovariaveis aleatorias independentes, exponencialmente distribuıdas com parametrosq.Y0/, : : :, q.Yn�1/ respectivamente.

Exercıcios 75

(b) (definicao infinitesimal) para todo t; h � 0, dado fXt D ig, fXtChg e independente de.Xu W u � t/ e quando h # 0 uniformemente em t , temos que

P.XtChj jXt D i/ D ıij C qijhC o.h/;

(c) (definicao pela probabilidade de transicao) para todo n � 0, e 0 � t0 � t1 � : : : � tij .t/e quaisquer estados i0; : : : ; inC1,

P.XtnC1D inC1jXt0

D i0; : : : ;XtnD in/ D pininC1

.tnC1 � tn/;

onde .pij .t/ W i; j 2 I; t � 0/ e a solucao da equacao de forward

dP .t/

dtD P .t/Q; P .0/ D I:

Se .Xt/, t � 0, satisfaze qualquer uma destas condicoes, entao chamamos este proceso deuma cadeia de Markov com gerador Q, e o denotamos por Markov.�;Q/, sendo � a distribuicaode X0.

Demonstracao. (Teorema 32) Veja [7], Teorema 2.8.2. �

Exercıcios

Exercıcio 78. Seja X uma cadeia de Markov a tempo continuo com semigrupo fPtg e valoresem S (enumeravel). (i) Mostre que pij .t/ e uma funcao continua de t . (ii) Seja

q.t/ D � ln pii.t/:

Mostre que q e uma funcao continua tal que q.0/ D 1 e

q.s C t/ � q.s/q.t/:

Neste case q e chamada sub-aditiva. E conhecido que estas funcoes obedecem

limt!0

q.t/

tD � existe e � D sup

t>0

q.t/

t� 1:

(iii) Demostre que qii D limt!0.1=t/.pii.t/ � 1/ existe, mas pode ser �1.

Exercıcio 79. (i) Mostre que nao toda cadeia de Markov com ındice discreto pode ser embebidanuma cadeia com ındice continuo. Isto e, seja

P D

�˛ 1 � ˛

1 � ˛ ˛

�; 0 < ˛ < 1

uma matriz de transicao. Mostre que existe um semigrupo uniforme fPtg de probabilidades detransicao a tempo continuo tais que P1 D P se, e somente se 1

2< ˛ < 1. Neste caso mostre que

fPtg e unico. Calcule Pt em termos de ˛.


Exercıcio 80. Mostre da definicao do processo de nascimento que se j < i ou j > i C 1, entao,

qii D ��i;

qi;iC1 D �i;

qij D 0:

Logo

Q D

2664��0 �0 0 0 0 � � �

0 ��1 �1 0 0 � � �0 0 ��2 �2 0 � � �:::

::::::

::::::

3775(i) Mostre que

limh!0

1

h.Ph � I/ D Q

(ii) Obtenha as equacoes de forward e backward

p0ij .t/ DX

k

pik.t/qkj ou P 0t D PtQ

p0ij .t/ DX

k

qikpkj .t/ ou P 0t D QPt :

6. Estrutura de classeQuando .Xt/, t � 0, e um processo de Markov mınimo, as suas classes de comunicacao corres-pondem as classes de comunicacao da cadeia de transicao .Yn/, n � 0.

Definicao 30. O estado i conduz ao estado j , denotado i ! j , se P.Xt D j para algumt � 0jX0 D i/ > 0. i comunica com j , denotado i $ j , se i ! j e j ! i .

As nocoes de classe de comunicacao, classe aberta, classe fechada, estado absorvente, eirredutibilidade seguem das nocoes para a cadeia de transicao .Yn/, n � 0.

Teorema 33. Sejam i; j 2 S dois estados diferentes. As seguintes afirmacoes sas equivalentes.

(a) i ! j .

(b) i ! j para a cadeia de transicao.

(c) qi0i1qi1i2

: : : qin�1in> 0 para alguma sequencia de estados i0; i1; i2; : : : ; in com i0 D i ,

in D j .

(d ) pij .t/ > 0 para todo t > 0.

(e) pij .t/ > 0 para algum t > 0.

7. Tempos da primeira chegada e probabilidades de absorcao 77

7. Tempos da primeira chegada eprobabilidades de absorcao

Seja .Xt/, t � 0, uma cadeia de Markov com matriz geradora Q.

Definicao 31. O primeiro tempo de chegada ao conjunto A � S, denotado DA e dado pelaexpressao DA.!/ D infft � 0 W Xt.!/ 2 Ag, sendo inff∅g D 1.

Se .Xt/, t � 0, e mınimo e H A denota o primeiro tempo de chegada ao conjunto A para acadeia de transicao, entao fH A <1g D fDA <1g, logo para os ! neste conjunto temos queDA D JH A . A probabilidade de que .Xt/, t � 0, chegue ate A dado que X0 D i e

hAi D Pi.D

A <1/ D Pi.HA <1/:

Se A e uma classe fechada, entao hAi e uma . Como as probabilidades do retorno correspondem

as probabilidades de retorno da cadeia de transicao, estas sao calculadas da mesma maneira aodescrito no caso discreto.

Teorema 34. O vetor das probabilidades da primeira chegada a A, hA D .hAi W i 2 S/ e a

solucao mınima nao negativa ao seguinte sistema linear

hAi D

(1; se i 2 A;P

j2S qijhAj ; se i … A:

Demonstracao. A prova segue ao aplicarmos diretamente o argumento do Teorema 6 para acadeia de transicao ao re-escrever (2) em terminos de Q. �

Definicao 32. O tempo esperado para que .Xt/, t � 0, atinja o conjunto A � S e

kAi D Ei ŒD

A�

Para calcularmos kAi devemos considerar os tempos de permanencia, f.Sn W n � 1/g. O

seguinte fornece um exemplo para um caso simples.

Exemplo 13. Seja .Xt/ um processo de Markov com o seguinte grafo de transicao4

v11 v22

v44v33

Calculamos o tempo medio para que o processo chegue de v1 ate v4. Seja ki D Ei Œ tempo atev4�. Se X0 D 1, o processo fica um tempo medio igual a 1=q1 D 1=2 em v1, logo com a mesmaprobabilidade realiza uma transicao ate v2 ou v3. Assim

k1 D1

2C

1

2k2 C

1

2k3

4colocar as taxas


e analogamente

k2 D1

6C

1

3k1 C

1

3k3; k3 D

1

9C

1

3k1 C

1

3k2:

e portanto k1 D 17=12.

De forma geral tem-se o seguinte resultado.

Teorema 35 (Tempo esperado da primeira chegada). Seja qi > 0 para i … A � S. O vetor dovalor esperado para o primeiro tempo de chegada a A, kA D .kA

i W i 2 S/ e a menor solucaonao negativa do sistema,

(18)kA

i D 0; se i 2 A

�

Xj2S

qijkAj D 1 se i … A:

Exercıcio 81. Seja .Xt/ um processo de Markov com valores em S D f1; 2; 3; 4g e gerador

Q D

2664�1 1=2 1=2 01=4 �1=2 0 1=41=6 0 �1=3 1=60 0 0 0

3775 :(i) Calcule a probabilidade de chegar pela primeira vez ate o estado 3 dado que inicialmenteX0 D 1. (ii) Calcule o tempo esperado para chegar pela primeira vez ate o estado 4 desde o estadoinicial 1.

8. Recorrencia e transitoriedadeDefinicao 33. Suponhamos que .Xt/, t � 0, e um processo de Markov mınimo com matrizgeradora Q. O estado i e recorrente se

Pi.ft � 0 W Xt D ig e nao limitado/ D 1:

O estado i e transitorio se

Pi.ft � 0 W Xt D ig e nao limitado/ D 0:

Observamos que .Xt/ explode dado que X0 D i entao i nao e recorrente. Da mesma maneiracomo a estrutura de classe e determinada pela cadeia de transicao, a recorrencia e a transitoriedadede um processo de Markov tambem e dada pela cadeia de transicao.

Teorema 36. Seja .Xt/, t � 0, um processo de Markov.

(i ) Se i e um estado recorrente para a cadeia de transicao .Yn/, n � 0, entao i e recorrentepara .Xt/.

(i i ) Se i e transitorio para a cadeia de transicao, entao i e transitorio para .Xt/, t � 0.(i i i ) Todo estado e recorrente ou transitorio.(iv) A recorrencia e a transitoriedade sao propriedades de classe.


Definicao 34. Seja Ti o primeiro tempo de retorno de .Xt/, t � 0 ao estado i ,

Ti.!/ D infft � J1.!/ W Xt.!/ D ig:

e Ti D1, caso nao exista f! W Xt.!/ D ig.

O seguinte resultado fornece condicoes de recorrencia e transitoriedade em tempo contınuoanalogas as descritas no Teorema 9

Teorema 37. Seja .Xt/, t � 0 um processo de Markov com gerador Q. Neste caso,

(i ) se qi D 0 ou Pi.Ti <1/ D 1, entao i e recorrente eR1

0pii.t/dt D1.

(i i ) se qi > 0 e Pi.Ti/ < 1, entao i e transitorio eR1

0pii.t/dt <1.

Mostramos finalmente que as propriedades de recorrencia e transitoriedade se encontramdeterminadas por qualquer k-esqueleto de .Xt/, t � 0.

Teorema 38. Seja k > 0 uma constante e entao Zn D Xnk , n � 0.

(i ) se i e recorrente para .Xt/, t � 0, entao i e recorrente para .Zn/, n � 0.(i i ) se i e transitorio para .Xt/, t � 0, entao i e transitorio para .Zn/, n � 0.

9. Distribuicao invarianteApresentamos brevemente a nocao de distribuicao invariante no caso contınuo. Se � e umadistribuicao em S, dezimos que � e invariante se

�Q D 0

Teorema 39. Seja Q uma matriz Q com matriz de transicao … e seja � uma distribuicao. Asseguintes afirmacoes sao equivalentes,

(i ) � e invariante.(i i ) �… D �, onde �i D �iqi .

A relacao entre invarincia e a matriz de transicao … observada acima, junto as condicoes deexistencia e unicidade estudadas na secao 6, fornecem a unicidade do invariante no caso contınuo.

Teorema 40. Suponha que Q e irredutıvel e recorrente. Neste caso Q apresenta um invariante �unico sob multiplicacao por uma constante.

Lembramos que um estado i e recorrente se qi D 0 ou se Pi.Ti <1/ D 1 . Quando qi D 0ou mi D Ei ŒTi �, o tempo do retorno esperado, e finito entao dezimos que i e positivo recorrente..No caso contrario dezimos que i e nulo recorrente.. Analogamente a situacao em tempo discreto,a nocao de recorrencia positiva esta estreitamente relacionada a existencia de uma distribuicao deprobabilidade invariante.

Teorema 41. Seja Q uma matriz irredutıvel. As seguintes afirmacoes sao equivalentes,

(i ) cada estado e positivo recorrente,(i i ) algum estado i e positivo recorrente,


(i i ) Q e nao explosiva e apresenta distribuicao de probabilidade invariante �. Neste casotemos que mi D 1=.�iqi/ para tudo i 2 S.

No caso a tempo contınuo, a existencia de uma distribuicao de probabilidade invariante nao esufficiente para garantir recorrencia positiva ou recorrencia. Isto pode ser mostrado mediante umcontra-exemplo.

O seguinte teorema mostra por que a distribuicao �, �Q D 0 e conhecida como a distribuicaoinvariante.

Teorema 42. Seja Q irredutıvel e recorrente, e seja � uma distribuicao. Seja u > 0 umaconstante. As seguintes afirmacoes sao equivalentes,

(i ) �Q D 0,

(i i ) �P .u/ D �.

Teorema 43. Seja Q uma matriz irredutıvel, nao explossiva, e com distribuicao invariante �. Se.Xt/, t � 0, e Markov.�;Q/, entao .XtCu/, t � 0 tambem e Markov.�;Q/ para qualquer u � 0.

10. ConvergenciaEstudamos a seguir o comportamento limite de pij .t/ quando t ! 1 e a sua relacao asdistribuicoes invariantes. A analise e similar ao caso do tempo discreto, so que agora naoexiste o problema da periodicidade. Apresentamos primeiramente um ressultado auxiliar.

Lema 10. Seja Q uma matriz Q com semigrupo fP .t/ W t � 0g. Para tudo t; h � 0,

jpij .t C h/ � pij .t/j � 1 � e�qi h:

Teorema 44. Seja Q uma matriz irredutıvel, nao explosiva, com semi-grupo P .t/, e comdistribuicao invariante �. Neste caso, para todo i; j 2 S tem-se que

pij .t/! �j quando t !1:

A descricao completa do comportamento limite para processos de Markov irredutıveis efornecido pelo seguinte resultado. A demonstracao utiliza um argumentos similar ao apresentadono Teorema 20 e a cota fornecida pelo Lema 10.

Teorema 45. Seja Q uma matriz Q irredutıvel e seja � uma distribuicao qualquer em S. Suponhaque .Xt/, t � 0, e Markov.�;Q/, entao

P.Xt D j /!1

qjmj

quando t !1 para tudo i; j ;2 S:

11. Teorema Ergodico 81

Exercıcios

Exercıcio 82. Encontre a distribuicao invariante � para a seguinte matriz Q

Q D

24 �2 1 14 �4 02 1 �3

35 ;e verifique que limt!1 p11.t/ D �1.

Exercıcio 83. Calcule o limite limt!1 P.Xt D 2jX0 D 1/ onde .Xt/ e um processo de Markovcom valores em S D f1; 2; 3; 4g e a seguinte matriz Q,

Q D

2664�2 1 1 0

0 �1 1 00 0 �1 11 0 0 �1

377511. Teorema ErgodicoA medias temporais para certas funcoes de um processo de Markov apresentam o mesmo tipo decomportamento ao descrito no caso do tempo discreto.

Teorema 46 (Theorema ergodico). Seja Q irredutıvel e � uma distribuicao em S. Se .Xt/, t � 0e Markov.�;Q/, entao

P�

1

t

Z t

0

1fXuDigdu!1

miqi

quando t !1

�D 1

onde mi D Ei ŒTi � denota o tempo do retorno esperado a i . No caso positivo recorrente, paraqualquer funcao f W S! R limitada, tem-se que

P�

1

t

Z t

0

f .Xu/du! f � quando t !1

�D 1

paraf � D

Xi2S

�ifi;

e .�i W i 2 S/ e a unica distribuicao invariante.

Apendice A

1. Relacoes de RecorrenciaRevisamos neste apendice a teoria necessaria para resolver equacoes da forma

(19) xnCk D c1xnCk�1 C c2xnCk�2 C : : :C ckxn

onde ci sao constantes em R. Este tipo de equacao e conhecida com uma relacao de recorrencialinear homogenea de ordem k. Dados x0, x1, : : :, xk�1, (19) e conhecida como um problema devalor inicial. Observamos que dados os valores de x0; : : : ;xk�1, sempre e posıvel calcularmos xk

utilizando (19). Subsequentemente, com x1; : : : ;xk podemos calcular xkC1 e assim por diantequalquer termino da sequencia (xn), n � 0, a qual chamaremos de solucao de (19). Consideremoso seguinte exemplo de um problema inicial de segunda ordem,

xnC2 D 3xnC1 � 2xn; x0 D 2;x1 D 3:

A sequencia gerada e.2; 3; 5; 9; 17; 33; 65; 129; 257; 513; : : :/

Suponhamos agora temos interesse os problemas iniciais x0 D 2; x1 D 5 e x0 D 3; x1 D 1,ambos definidos tambem por meio da recorrencia acima. As solucoes geradas nestes casos saorespectivamente

.2; 5; 11; 23; 47; 95; 191; 383; 767; 1535; : : :/

.3; 1;�3;�11;�27;�59;�123;�251;�507;�1019; : : :/

Para o primeiro problema resulta simples encontrar uma frmula para xn, de fato xn D 2n C 1. Seobservamos que 23 D 24 � 1, 47 D 48 � 1, 95 D 96 � 1, : : : entao deduzimos que a sequenciapara o segundo problema inicial e xn D 2n3 � 1. Analogamente, para o terceiro problema temosxn D 5 � 2nC1. Estes exemplos simples tem como proposito mostrar que os tres problemasiniciais apresentam frmulas similares, todas contem 2n, pois estes foram todos definidos a partirda mesma equacao de recorrencia.

O problema a ser estudado consiste em entender a estrutura do espaco de todas as solucoes auma equacao de recorrencia linear homogenea de ordem k quando as condicoes iniciais pertencemao conjunto de todas a k-tuplas de numeros reais. Sabemos que o espaco de todas as sequenciasreais, i.e. das funcoes x W N! R, forma um espaco vetorial pois para quaisquer duas sequencias.xn/, .yn/ temos que .xn/C.yn/ D .xnCyn/ e para um escalar qualquer �, �.xn/ D .�xn/. Logo

83

84 A

o conjunto de todas as solucoes de (19) forma um subespaco do espaco de todas as sequencias.Denotamos este conjunto por H . Observamos a seguir que cada sequencia em H se encontradeterminada pelos seus k primeiros elementos. Neste caso existe um mapa � W H ! Rk o qualescolhe estes elementos e forma um vetor em Rk , ou seja,

(20) ��.xn/

�D .xk�1; : : : ;x1;x0/

T :

Lema 11. Seja H o espaco das solucoes de uma recorrencia linear homogenea de ordem k. Omapa � e um isomorfismo entre os espacos vetoriais H e Rk . Em particular, H e um espaco realk-dimensional.

Demonstracao. Qualquer sequencia inicial de k terminos x0;x1; : : : ;xk�1 pode ser extendidapela relacao (19) a uma sequencia infinita em H , portanto � e sobrejetora. Por outro lado,como cada problema inicial apresenta uma unica solucao em H , entao � e um a um, isto e,se �.x/ D �.y/ para x, y 2 H , entao necessariamente x D y. Decorre disto que � e umabijecao e portanto apresenta uma inversa. A inversa de � e o mapa ��1 o qual leva o vetor˛ D .˛k�1; : : : ; ˛0/

T 2 R a sequencia em H com terminos iniciais x0 D ˛0, x1 D ˛1, : : :,xk�1 D ˛k�1.

Observamos agora que para duas solucoes .xn/, .yn/ em H , e dois escalares c1 e c2 quaisquerem R temos que

c1��.xn/

�C c2�

�.yn/

�D c1

0@xk�1

:::

x0

1AC c2

0@yk�1

:::

y0

1A D0@c1xk�1 C c2yk�1

:::

c1x0 C c2y0

1AD �

�c1.xn/C c2.yn/

�:

Isto mostra que � e linear e assim portanto um isomorfismo. �

Cada elemento de um espaco vetorial pode ser escrito de forma unica como uma combinacaolinear dos elementos da base do espaco. Assim, o lemma anterior fornece um metodo paraconstruir as solucoes .xn/ em H utilizando as k sequencias geradas pelas condicoes iniciaise1 D .1; 0; : : : ; 0/, e2 D .0; 2; 0; : : : ; 0/, : : :, ek D .0; : : : ; 0; 1/. A pre-imagem de ��1.ei/ D

.xn/ e dada pela solucao cujas condicoes iniciais sao todas iguais a 0, exceto xk�i D 1. Umavez que fe1; : : : ; ekg forma uma base para Rk e � e um isomorfismo entre Rk e H , entaof��1.e1/; : : : ; �

�1.ek/g forma uma base para H . A importncia disto e que a solucao .xn/ aoproblema inicial determinado por

x0 D ˛0;x1 D ˛1; : : : ;xkD1 D ˛k�1

pode ser calculada como

˛0��1.ek/C ˛1�

�1.e2/C : : :C ˛k�1��1.e1/:

Mesmo que possa parecer mais dificil do que aplicar diretamente a recursao (19), esta representacaoe realmente vantajosa como sera visto adiante. Illustramos esta tecnica utilizando dois exemplos.Seja o problema inicial

FnC2 D FnC1 C Fn; F1 D 1;F0 D 0:

1. Relacoes de Recorrencia 85

e a sua solucao dada pela sequencia1

.0; 1; 1; 2; 3; 5; 8; 13; 21; 34; 55; 89; : : :/:

Temos assim as sequencias basicas

��1.e1/ D .0; 1; 1; 2; 3; 5; 8; 13; 21; : : :/

��1.e2/ D .1; 0; 1; 1; 2; 3; 5; 8; 13; : : :/

e portantoFn D �

�1.e1/C ��1.e2/ D .1; 1; 2; 3; 5; 8; 13; 21; : : :/:

Se agora consideramos a condicao inicial F0 D �1 e F1 D 3, a solucao assome a forma

Fn D 3��1.e1/ � ��1.e2/

D 3.0; 1; 1; 2; 3; 5; : : :/ � .1; 0; 1; 1; 2; 3; 5; : : :/

D .�1; 3; 2; 5; 7; 12; 19; 31; : : :/

O conhecimento das sequencias basicas de uma relacao de recorencia linear homogeneapermitem calcular o n-esimo termino da solucao de qualquer problema inicial determinado pelarecorencia. Assim, o espaco das solucoes H pode ser estudado ao estudar combinacoes linearesdas sequencias basicas. Para proseguirmos com este argumento e necessario procurar uma maneirageral para calcular estas sequencias, ou seja, para determinar a base de H .

1.1. Forma matricial. Consideremos novamente a recorencia xnC2 D 3xnC1 � 2xn com osvalores iniciais x0 D 2 e x1 D 3. Em forma matricial podemos escrever,�

xnC2

xnC1

�D

�3 �21 0

��xnC1

xn

�;

�x1

x0

�D

�32

�:

Da mesma maneira, para a recorencia de Fibonacci temos�FnC2

FnC1

�D

�1 11 0

��FnC1

Fn

�;

�F1

F0

�D

�10

�:

De forma geral, para a relacao de ordem k definimos para todo n � 0,

(21) Xn D

0BBBB@xnCk�1

xnCk

:::

xnC1

xn

1CCCCA e A D

0BBBB@c1 c2 � � � ck�1 ck

1 0 � � � 0 00 1 � � � 0 0:::

: : ::::

:::

0 0 � � � 1 0

1CCCCAverifica-se que XnC1 D AXn. Assim, podemos encontrar a sequencia de interesse recursivamentecomo X1 D AX0, X2 D AX1, : : :, isto e,

Xn D AnX0:

Para os dois exemplos acima temos�xnC1

xn

�D

�3 �21 0

�n �32

�e

�FnC1

Fn

�D

�1 11 0

�n �10

�:

1Esta sequencia e conhecida como sequencia de Fibonacci, em honra ao seu descobridor Leonardo Fibonacci (1170 - 1250)

86 A

Desta maneira estamos forcados a calcular An, n � 0, o qual na maioria do casos e possıvelquando A e diagonalizavel. Para o primeiro exemplo temos que o polinomio caracteristico de A e

PA.�/ D det.A � �I/ D det�

3 � � �21 ��

�D �2

� 3�C 2 D .� � 2/.� � 1/:

Assim, os autovalores para A sao �1 D 2 e �2 D 1, e os autovetores correspondentes v1 D .2; 1/T

e v2 D .1; 1/T . Logo An admite a forma diagonal

AnD PDnP�1; para D D

�2 00 1

�; P D

�2 11 1

�:

Desta maneira obtemos a solucao

Xn D

�2nC1 � 1 �2nC1 C 22n � 1 �2n C 2

��32

�D

�2nC1 C 12n C 1

�;

e deduzimos de imediato que xn D 2n C 1, n � 0.

Exercıcio 84. Mostre que para n � 0, a sequencia de Fibonacci e dada pela seguinte frmula

Fn D1p

5

��1Cp

5

2

�n

�

�1 �p

5

2

�n�:

Esta formula e conhecida como a formula de Binet.

Vimos na secao anterior como os autovalores da matriz A jogam um papel fundamental paraencontrar a solucao de uma relacao de recorrencia. O estudo mais detalhado dos autovalores de Apermite encontrar uma base para H . Seja

PA.�/ D �k� c1�

k�1� : : : � ck�1� � ck

o polinomio caracterıstico associado a A. As raızes f�1; : : : ; �kg deste polinomio sao conhecidascomo os autovalores da recorrencia. Decorre da forma da matriz A, que o aoutovalor �i apresentaaoutovector

v�iD .�k�1

i ; �k�2i ; : : : ; 1/T :

De fato, se Av � �Iv D 0, para v D .vi; : : : ; vk/T , entao

c1v1 C : : : ckvk D �v1

v1 D �v2; v2 D �v3; : : : ; vk�1 D �vk :

Substituındo sucessivamente estas equacoes umas nas outras obtemos

vk

kXiD1

ci�k�iD �kvk ;

logo

A.�k�1; �k�2; : : : ; �; 1/T D

� kXiD1

ci�k�i; �k�1; : : : ; �2; �

�T

D .�k ; �k�1; : : : ; �2; �/T

D �.�k�1; �k�2; : : : ; �; 1/T :


Deduzimos portanto que o vetor v� D .�k�1; �k�2; : : : ; �; 1/T e o autovetor de A correspondenteao autovalor �.

Teorema 47. Seja a seguinte recorrencia linear homogenea de ordem k,

xn D c1xn�1 � : : : � ck�1xn�kC1 � ckxn�k :

(i) Seja � um autovalor da recorrencia, logo ��1.v�/ D .�n/, onde � e o isomorfismo entre H e

Rk definido por (20). Neste caso .�n/ 2 H .(ii) Se a recorrencia apresenta k autovalores diferentes, f�1; �2; : : : ; �kg, entao as k sequencias.�1/; : : : ; .�k/ formam uma base para H e cada solucao .xn/ apresenta a forma

(22) xn D a1�n1 C a2�

n2 C : : :C ak�

nk ;

para algumas constantes a1; a2; : : : ; ak 2 R.

Demonstracao. Consideramos para tudo n � 0, xn D �n, e logo definimos os vetores Xn

seguindo (21). Assim Xn D �nv�, portanto

AXn D �nAv� D �

nC1v� D XnC1;

Deduzimos disto que .xn/ 2 H , onde .x0/ apresenta a condicao inicial X0 D v�. Para a parte (ii),se a recorrencia apresenta k autovalores diferentes f�ig, entao os vetores fv�i

g formam uma basepara Rk . Dado que � e um isomorfismo entre H e Rk , entao f��1.v�i

/g D f.�ni /g e uma base

para H . Isto implica que qualquer elemento de H pode ser escrito como uma combinacao lineardas sequencias .�n

i /. �

Suponhamos que a condicao inicial ˛ D .x0;x1; : : : ;xk�1/T e conhecida. Descrevemos a

continucao um metodo geral para calcular os valores ai em (22). Primeiro, das propriedades de �obtemos v�i

D ��.�n

i /�, entao

˛ D ��a1.�1/C : : :C ak.�

nk/�D a1�

�.�n

1/�C : : :C ak�

�.�n

k/�

D a1v�1C : : : akv�k

Na forma matricial podemos escrever esta igualdade como

(23) ˛ D

0BB@1 1 1 � � � 1�1 �2 �3 � � � �k

::::::

:::: : :

:::

�k�11 �k�1

2 �k�13 � � � �k�1

k

1CCA0BB@

a1

a2

:::

ak

1CCAA matriz de coeficientes em (23) e conhecida como a matriz de Vandermonde de �1; : : : ; �k .Como cada vetor de condicoes iniciais ˛ corresponde a uma unica solucao em H , entao, dado ˛,o sistema (23) apresenta uma unica solucao. Isto implica que a matrix de Vandermonde sempre einvertivel. Se denotamos por V a matriz de Vandermonde, entao

.a1; : : : ; ak/TD V �1˛:

Exemplo 14. Suponhamos que c21 ¤ �4c2, logo consideremos a seguinte recorrencia,

xnC2 D c1xnC1 C c2xn; x0 D ˛1;x1 D ˛2:

88 A

Este problema inicial apresenta polinomio caracterıstico P .�/ D �2 � c1� � c2, com doisautovalores �1 ¤ �2 (pois o discriminante D D c2

1 C 4c2 ¤ 0). Neste caso,

�1 D .c1 Cp

D/=2; �2 D .c1 �p

D/=2:

Po outro lado, a matriz de Vandermonde associada e a sua inversa sao

V D

�1 1�1 �2

�; V �1

D1p

D

��2 1�1 �1

�:

Assim �a1

a2

�D V �1

�˛1

˛2

�D

1p

D

��2x0 x1

�1x0 �x1

�:

Existe em geral uma maneira eficiente para invertir V . Sejam os polinomios

li.�/ D

kYjD1;j¤i

.� � �j / D bi;1 C bi;2�C : : :C bi;k�k�1;

definidos para todo i D 1; : : : ; k. Como os autovalores �j sao tudos diferentes, entao li.�i/ ¤ 0para todo i , e em particular para j ¤ i temos que li.�j / D 0.

Teorema 48. Seja B uma matrix k � k cuja i-esima linha apresenta os coeficientes de li.�/,dispostos seguindo as potencias crescentes de �. Entao V �1 D DB, onde D corresponde amatriz diagonal com entradas 1= li.�i/, i D 1; : : : ; k.

Demonstracao. Veja o Teorema 2.3.2 na pagina 20 em [2]. �

Exemplo 15. Seja xnC2 D xnC1 C 2xn, e x0 D 1, x1 D 5. Nesta caso temos ch.�/ Dx2�x � 2 D .x � 2/.xC 1/, logo �1 D 2; �2 D �1, portanto l1.�/ D 1C�, e l2.�/ D �2C�.Assim

B D

�1 1�2 1

�;

e para l1.2/ D 3; l2.�1/ D �3 resulta

D D1

3

�1 00 �1

�; V �1

D1

3

�1 12 �1

�:

Desta forma obtemos os coeficientes�a1

a2

�D V �1

�15

�D

1

3

�1 12 �1

��15

�D

�2�1

�;

e seguindo (22)xn D 2�n

1 � �n2 D 2nC1

C .�1/nC1:

Exercıcio 85. Mostre que qualquer combinacao linear de solucoes de (19) tambem e uma solucao.

Exercıcio 86. Seja xnC2 D c1xnC1 C c2xn uma recorrencia de segundo ordem com autovalores�1 D .c1C

pD/=2, �2 D .c1 �

pD/=2, onde D D c2

1 C 4c2. Se D ¤ 0, mostre que a squenciacujo n-esimo termino e

1p

D

�� ˛0�1�2.�

n�11 � �n�1

2 /C ˛1.�n1 � �2/

�;


e a unica solucao com condicoes iniciais x0 D ˛0, x1 D ˛1.

Apendice B

Sugestoes para alguns dosexercıcios

Exercıcio 3. Para mostrar que uma sequencia qualquer de variaveis aleatorias .�n/ e Markov,devemos mostrar que esta satisfaze P.�n D j j �n�1 D i; : : : ; �0 D i0/ D P.�n D j j �n�1 D i/.As sequencias .Sn/, .Mn/, e .Ln/ sao Markov. Para (a), observe que cada termo de .Sn/ pode serescrito como Sn D Sn�1 CXn e logo utilic a independencia entre as v.as. Xn, n � 1. Analoga-mente, para (b) considere Mn DMn�1 ^Xn, e para (c) Ln D Ln�1 _Xn.

Exercıcio 4. Tem pelo menos duas maneiras de resolvermos este problema. metodo A: utilizea equacao de Chapman-Kolmogorov P nC1 D P nP para obter uma relacao de recorrencia parapn

++. O apendice apresenta brevemente a teoria necessaria para resolver este tipo de recorrencia.Este metodo e eficiente quando desejamos obter algumas das entradas da matriz P n. metodo B:outro metodo que permite calcular P n e a diagonilizacao de P . Recomendamos este metodoquando seja necessario determinar todos os elementos de P n. Com P n, considere o resultado doTeorema 3(ii) para calcular �n como �n D �P n.

Exercıcio 5. Diagonalice P para calcular P n como NDnN �1. Observe que os autovaloresassociados a P sao a1 D 1, a2 D

i2

e a3 D �i2. Utilice a identidade

�˙

i

2

�n

D

�1

2

�n

e˙in�=2D

�1

2

�n�cos

�n�

2

�˙ isen

�n�

2

��

para calcular Dn.

Exercıcio 6. Seja S D fA;B;F;Gg, logo seguindo o enunciado considere a seguinte rede

91

92 B. Sugestoes para alguns dos exercıcios

F G

BA

110

110

25

110

110

145

125

(i) Diagonalize P , a matriz de transicao definida por R, calcule �nB em funcao de n e logo o limite

limn!1 �nB (qual e a distribuicao inicial �?). (ii) Determine pn

BF sendo � D .0; 1; 0; 0/.

Exercıcio 19. Podemos enchergar o problema como um processo de nascimento e morte naohomogeneo. A resolucao pode ser guiada pelo argumento exposto no Exemplo 6.

Exercıcio 26. Considere as variaveis aleatorias .Dn/; n � 0, onde Dn denota a distancia entre asduas pulgas no instante n, sendo a distancia igual ao menor numero de elos entre as pulgas.

Exercıcio 34. Estude o comportamento de h11 D P.T1 <1jX0 D 1/.

Exercıcio 36. Estude a relacao de recorrencia para a funcao gi.n/ D Pi.Tn < T0/, i D 1, demaneira analoga a como e feito no Exercıcio 25(ii), e considere o limite limn!1 gi.n/.

Exercıcio 39. Suponha que s.!/ denota o numero de transicoes a direita (com valor +1) e que t.!/denota o numero de transicoes a esquerda (com valor -1) ate o instante n. Assim, f! W Sn.!/ D kgocorre se ocorrem f! W s.!/ � t.!/ D kg e f! W s.!/ C t.!/ D ng. Isto ultimo fornece umsistema para n e k em termos de s e t .

Exercıcio 46. (iii) Considere uma urna com so duas moleculas e determine � . Repeta isto parauma urna com tres moleculas e logo para uma com quatro. Utilice inducao.

Exercıcio 50. Observe que os estados 1 e 3 sao absorventes portanto nao e necessario determinara forma diagonal para P .

Exercıcio 53. Veja o exemplo 1.7.11 em [7].

Exercıcio 57. Utilize o seguinte resultado da teoria dos numeros: Seja A D fa1; a2; : : :g umconjunto de inteiros positivos tais que (i) mdcfa1; a2; : : :g D 1, e (ii) se a 2 A e a0 2 A, entaoaC a0 2 A. Se A satisfaze (i) e (ii), entao existe um enteiro N < 1 tal que n 2 A para tudon � N .

Bibliografia

[1] P. Billingsley. Probability and Measure. New York: Wiley & Sons, 1995.[2] P. Cull, M. Flahive e R. Robson. Difference Equations. From Rabbits to Chaos. Undergraduate

Texts in Mathematics. Springer Verlag, 2005.[3] P. G. Doyle e J. L. Snell. Random Walks and Electric Networks. Carus Mathematical Mono-

graphs. http://arxiv.org/abs/math/0001057. Mathematical Association of America,1984.

[4] P. A. Ferrari e A. Galves. Acoplamento em Processos Estocasticos. https://impa.br/wp-content/uploads/2017/04/21_CBM_97_06.pdf. IMPA, Rio de Janeiro: SBM, 1997.

[5] G. Grimmett e P. Stirzacker. Probability and Random Processes. 3a. Oxford: Oxford Univer-sity Press, 2001.

[6] B. J. James. Probabilidade: um curso intermediario. Projeto Euclides. Rio de Janeiro: IMPA,2002.

[7] J. R. Norris. Markov chains. Cambridge Series in Statistical and Probabilistic Mathematics.Cambridge, UK: Cambridge University Press, 1997.

[8] S. Shreve. Stochastic Calculus for Finance I. The Binomial Asset Pricing Model. SpringerFinance Textbooks. New York: Springer Verlag, 2004.

[9] D. Williams. Probability with Martingales. Cambridge, UK: Cambridge University Press,1991.

93

http://arxiv.org/abs/math/0001057

https://impa.br/wp-content/uploads/2017/04/21_CBM_97_06.pdf

https://impa.br/wp-content/uploads/2017/04/21_CBM_97_06.pdf

Indice Remissivo

acoplamento, 43aproximacao de Stirling, 33

cadeiade transicao de .Xt /, 59

cadeia de Markovk-esqueleto, 10definicao, 5ergodica, 44irredutıvel, 12recorrente, 26temporalmente homogenea, 7

Chapman-Kolmogorov, 8classe

aberta, 76fechada, 76

classe de comunicacao, 12, 76aberta, 12fechada, 12

finita, recorrente, 30continuidade a direita, veja processo, 57

Doblin, W., 43decomposicao

da primeira transicao, 15do primeiro retorno, 32

desigualdade do acoplamento, 44distribuicao

de equilıbrio, 35do primeiro tempo de retorno, 22, 25estacionaria, 36exponencial, 63finito dimensional, 57inicial �, 4invariante, 35, 79

unicidade, 38

equacaode backward

semigrupo, 61de forward

Markov, 74semigrupo, 61

backward de Kolmogorov, 61de Fokker-Planck, 61em diferenca, 15forward de Kolmogorov, 61

ergodicidade, 44, 48espaco

das trajetorias, �, 1de probabilidade, 1

espacode estados, S , 4

esqueletocadeia de Markov, 10

estado, 4absorvente, 12, 76aperiodico, 42numero de visitas, V , 28nulo recorrente

tempo contınuo, 79nulo recorrente

tempo discreto, 39periodico, 42positivo recorrente

tempo contınuo, 79tempo discreto, 39

recorrentetempo contınuo, 78tempo discreto, 26

transitoriotempo contınuo, 78tempo discreto, 26

95

96 Indice Remissivo

formulade Binet, 86

Fibonaccirecorrencia de, 84sequencia de, 85

funcao O, 62funcao o, 69funcao geradora

de probabilidade, 21de hi

i.n/, 22de pn

ij , 22

grafo, 5de transicao, 5elos, 5vertices, 5

homogeneidade temporal, 7

irredutibilidade, 12, 76

Kac, M., 39Kolmogorov, A. N., 8, 61

Lei forte dos grandes numeros, 48Lema de Kac, 39

maior divisor comum, mdc, 45matriz

Q, 59…, 73aperiodica, 42de probabilidade de transicao, P , 5de Vandermonde, 87estocastica, 4geradora, 73potencial, 28

Polya, G., 35passeio aleatorio

recorrencia em Z, 32recorrencia em Z2, 33simetrico, 32simples, 32

perıodo, 42perda de memoria, 5

da distribuicao exponencial, 64do processo de Poisson, 67

primeiro tempo de chegada, H , 14primeiro tempo de retorno, T , 14probabilidade

de absorcao, 14da primeira chegada, h, 14

de absorcao, 77de extincao, 18de transicao, 5do eventual retorno, f , 28

problema inicial, 83processo

contınuo a direita, 58de ramificacao, 52de Markov, 72

construcao, 73definicao, 73

de nascimento e morte simples, 18de nascimento simples, 71de Poisson, 67–72

definicao, 67nao homogeneo, 72

de transicao de .Xt /, 59estocastico, 1explosivo, 59mınimo, 59

propriedade de Markov, 5propriedade forte de Markov, 25propriedade fraca de Markov, 6

recorrenciade um estado, 26de uma cadeia de Markov, 26

rede, 5de transicao, 5

relacao de recorrencia, 83ruına do jogador, 17

semi-grupo, P .t/, 60estocastico, 61

solidariedade, 29

taxa de transicao, qij , 60taxa de saıda de i , qi , 60tempo

da primeira chegada, H , 14da primeira chegada, D, 77da primeira explosao, �, 58de excursao, E, 27de explosao, 59de parada, 25de permanencia, Sn, 58de transicao, Jn, 58do primeiro retorno

caso discreto, T , 14do primeiro retorno

caso contınuo, T , 79esperado da primeira chegada, 14

Indice Remissivo 97

esperado do primeiro retorno, m, 39Teorema

Chapman-Kolmogorov, 8classe finita e fechada, 30classe recorrente, 30Convergencia ao equilıbrio, 42distribuicao de probabilidade invariante, 39ergodico


Lei Forte dos Grandes Numeros, 48limite estacionario, 36perda de memoria, 64perda de memoria do processo de Poisson, 67probabilidade da primeira chegada

tempo discreto, 15processo de Markov, 74processo de Poisson, 69Propriedade forte de Markov

do processo de Poisson, 69tempo continuo, 74tempo discreto, 25

Propriedade fraca de Markov, 6Recorrencia-Transitoriedade, 29tempo esperado da primeira chegada


transitoriedade, 26

variavel aleatoria, 1exponencial, 63

processos estocasticos, notas de auladcm.ffclrp.usp.br/~rrosales/aulas/processos2018.pdf · notas...

Documents