new ergodicidade em cadeias de markov n~ao-homog^eneas e … · 2017. 11. 2. · entre ambas usando...

Universidade Federal do Rio Grande do Norte

Centro de Ciencias Exatas e da Terra

Programa de Pos-Graduacao em Matematica Aplicada e Estatıstica

Antonio Marcos Batista do Nascimento

Ergodicidade em Cadeias de MarkovNao-Homogeneas e Cadeias de Markov com

Transicoes Raras

Natal-RN, Fevereiro de 2014



Transicoes Raras

Trabalho apresentado ao Programa dePos-Graduacao em Matematica Aplicada eEstatıstica da Universidade Federal do RioGrande do Norte, em cumprimento com asexigencias legais para obtencao do tıtulode Mestre.

Area de Concentracao: Probabilidade eEstatıstica

Orientador:

Prof. Dr. Juan Alberto Rojas Cruz

Natal-RN, Fevereiro de 2014

UFRN / Biblioteca Central Zila Mamede.

Catalogação da Publicação na Fonte.

Nascimento, Antonio Marcos Batista do.

Ergodicidade em cadeias de Markov não-homogêneas e cadeias de

Markov com transições raras / Antonio Marcos Batista do Nascimento. –

Natal, RN, 2014.

73 f.: il.

Orientador: Prof. Dr. Juan Alberto Rojas Cruz.

Dissertação (Mestrado) – Universidade Federal do Rio Grande do

Norte. Centro de Ciências Exatas e da Terra. Pós-Graduação em

Matemática Aplicada e Estatística.

1. Cadeias de Markov não-homogêneas - Dissertação. 2. Ergodicidade

fraca e forte - Dissertação. 3. Cadeias de Markov com transições raras -

Dissertação. 4. W-grafo - Dissertação. I. Cruz, Juan Alberto Rojas. II.

Universidade Federal do Rio Grande do Norte. III. Título.

RN/UF/BCZM CDU 519.217



Transicoes Raras

Trabalho apresentado ao Programa dePos-Graduacao em Matematica Aplicada eEstatıstica da Universidade Federal do RioGrande do Norte, em cumprimento com asexigencias legais para obtencao do tıtulode Mestre.

Area de Concentracao: Probabilidade eEstatıstica

Aprovado em: / /

Banca Examinadora

Prof. Dr. Juan Alberto Rojas Cruz - UFRN

Presidente

Profa. Dra. Debora Borges Ferreira - UFRN

Examinador Interno

Profa. Dra. Catia Regina Goncalves - UnB

Examinador Externo

Fevereiro de 2014

Dedico esta dissertacao aos meus pais, Josee Josefa.

i

Agradecimentos

Neste momento de tao grande importancia para minha vida e de tanto significado

para aqueles que me cercam, quero agradecer imensamente a Deus por ter me propor-

cionado esta conquista e colocado pessoas maravilhosas no meu caminho.

Agradeco aos meus pais, Jose e Josefa, pelo apoio e motivacao manisfestados ao

longo desses anos. Saibam que me orgulho muito de voces. Nao poderia esquecer-me

de meus irmaos Alexandre, Alex, Paula e Joao, que sempre me estimularam a seguir em

frente e buscar realizar meus sonhos e objetivos, a voces meu profundo agradecimento.

Amo muito todos voces!

A Dona Fatima e Seu Tavares, alem da minha “irma” Willima, que me acolheram

em sua casa no inıcio dessa jornada. Voces agora fazem parte da minha famılia.

Ao Professor Orientador Juan Alberto pela confianca em mim depositada, por sua

paciencia, pela experiencia repassada, pela ajuda nos momentos difıceis e pelos impor-

tantes conselhos dados. Para mim, foi um privilegio incomensuravel te-lo conhecido.

Serei eternamente grato.

A todos os meus professores do Ensino Basico, Graduacao e Pos-Graduacao. Esta

conquista deve-se a dedicacao e conhecimentos repassados por todos voces.

A Jucimeire pelo apoio, amizade, ensinamentos, conselhos e principalmente, pela

ajuda na postulacao do mestrado.

A todos os meus amigos e colegas com quem compartilhei sonhos e objetivos, em

particular, aos meus colegas de mestrado Anna Rafaela, Andressa Siroky, Allyson Fer-

nandes, Bruno, Elvis, Hudson, Wesley, Fabio, Hebert, Eduardo, Wenia, Renato e Ru-

menick.

Aos funcionarios do CCET, em especial, a Russo, Alderı, Severino e Nısia, pelo

suporte e apoio recebidos. Voce sao 10!

Finalmente agradeco a CAPES, pelo suporte financeiro.

iii

Resumo

O objetivo central de estudo em Cadeias de Markov Nao-Homogeneas e o conceito de

ergodicidade fraca e forte. Uma cadeia e ergodica fraca se a dependencia da distribuicao

inicial desaparece com o tempo, e e ergodica forte se e ergodica fraca e converge em

distribuicao. A maioria dos resultados teoricos sobre a ergodicidade forte supoe algum

conhecimento do comportamento limite das distribuicoes estacionarias. Neste trabalho,

reunimos alguns resultados gerais sobre ergodicidade fraca e forte para cadeias com

espaco de estados enumeravel, e tambem estudamos o comportamento assintotico das

distribuicoes estacionarias de um tipo particular de Cadeias de Markov com espaco de

estados finito, chamadas Cadeias de Markov com Transicoes Raras.

Palavras-chave: Cadeias de Markov Nao-Homogeneas, Ergodicidade Fraca e Forte,

Cadeias de Markov com Transicoes Raras, W -grafo.

iv

Abstract

The central objective of a study Non-Homogeneous Markov Chains is the concept

of weak and strong ergodicity. A chain is weak ergodic if the dependence on the

initial distribution vanishes with time, and it is strong ergodic if it is weak ergodic and

converges in distribution. Most theoretical results on strong ergodicity assume some

knowledge of the limit behavior of the stationary distributions. In this work, we collect

some general results on weak and strong ergodicity for chains with space enumerable

states, and also study the asymptotic behavior of the stationary distributions of a

particular type of Markov Chains with finite state space, called Markov Chains with

Rare Transitions.

Keywords: Markov Chains Non-Homogeneous, Weak and Strong Ergodicity, Mar-

kov Chains with Rare Transitions, W -graphs.

v

Sumario

1 Introducao 1

2 Resultados Assintoticos em Cadeias de Markov Nao-Homogeneas 3

2.1 Cadeias de Markov Nao-Homogeneas a Tempo Discreto . . . . . . . . . 3

2.2 Resultados de Aproximacao em Cadeias com Espaco de Estados Enu-

meravel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

2.3 Ergodicidade Fraca e Forte: Condicoes para Equivalencia . . . . . . . . 19

3 Resultados Assintoticos em Cadeias de Markov com Transicoes Raras 29

3.1 W -grafos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

3.2 Teoremas para Cadeias de Markov Irredutıveis . . . . . . . . . . . . . . 32

3.3 Resultados Assintoticos para o Tempo Medio e Distribuicoes Estacionarias 46

4 Conclusoes 53

Referencias Bibliograficas 55

A Resultados e Propriedades Gerais 57

B Algumas Demonstracoes 59

vi

Capıtulo 1

Introducao

Inumeros problemas praticos nas mais diferentes areas do conhecimento tem sido

modelado matematicamente por Cadeias de Markov. Muitos desses modelos usam os

conceitos de cadeias nao-homogeneas, onde as probabilidades de transicao mudam de

acordo com o tempo.

Nos ultimos anos, o interesse pela busca de condicoes que garantam o comporta-

mento ergodico de Cadeias de Markov Nao-Homogeneas vem sendo impulsionado pelo

estudo da convergencia de algoritmos aleatorios que buscam estimar pontos otimos glo-

bais (mınimos ou maximos) de funcoes. Como exemplos, podemos citar o Simulated

Annealing e o Algoritmo Genetico.

Neste sentido, o objetivo desse trabalho e reunir alguns resultados assintoticos gerais

em Cadeias de Markov Nao-Homogeneas, os quais sao utilizados com frequencia no

estudo da convergencia de algoritmos aleatorios.

O trabalho esta dividido em duas partes. Na primeira, revisamos alguns resultados

gerais sobre a ergodicidade fraca e forte e sobre condicoes que garantam a equivalencia

entre ambas usando como fundamentacao teorica os artigos Approximation Results for

Non-Homogeneous Markov Chains and some Applications e Ergodicity in Parametric

Nonstationary Markov Chains: An Application to Simulated Annealing Methods de

Dorea e Cruz [3] e Anily e Federgruen [1], respectivamente. Destacamos ainda, o

Corolario 2.2.1 que e de nossa autoria.

Na segunda parte do trabalho, revisamos alguns resultados assintoticos em uma

classe particular de Cadeias de Markov, chamadas de Cadeias de Markov com Tran-

1

2

sicoes Raras. Mais especificamente, revisamos resultados sobre o comportamento as-

sintotico das distribuicoes estacionarias, que foi recentemente utilizado no estudo da

convergencia do Algoritmo Genetico (veja Suzuki [10]), e do tempo medio de entrada

em um subconjunto arbitrario nao vazio de estados usando o conceito de W -grafo, do

qual se obtem uma forma alternativa para determinar a unica distribuicao estacionaria

de uma Cadeia de Markov Homogenea irredutıvel. Para este estudo, utilizamos como

referencial teorico o artigo Simulated Annealing Algorithms and Markov Chains with

rare transitions de Catoni [2]. Nesta parte, destacamos o calculo da distribuicao esta-

cionaria da Cadeia de Markov associada ao modelo de Ehrenfest, como aplicacao da

teoria de W -grafo.

Capıtulo 2

Resultados Assintoticos em Cadeias

de Markov Nao-Homogeneas

Neste capıtulo, reunimos alguns resultados gerais sobre a ergodicidade de Cadeias

de Markov Nao-Homogeneas com espaco de estados enumeravel, bem como algumas

notacoes e terminologias que sao usadas nesta dissertacao. Dois tipos de ergodicidade

em Cadeias de Markov sao estudadas: a ergodicidade fraca e a ergodicidade forte.

Intuitivamente, uma cadeia e ergodica fraca se a dependencia da distribuicao do estado

inicial desaparece com o tempo, e e ergodica forte se e ergodica fraca e converge em

distribuicao. Naturalmente, a ergodicidade forte implica em ergodicidade fraca. De

forma mais especıfica, discutimos brevemente sobre cadeias nao-homogeneas a tempo

discreto, onde relembramos alguns resultados classicos sobre ergodicidade. Abordamos

os resultados de aproximacao estabelecidos por Dorea e Cruz [3] e finalizamos com as

condicoes para equivalencia entre os conceitos de ergodicidade estudadas por Anily e

Federgruen [1].

2.1 Cadeias de Markov Nao-Homogeneas a Tempo

Discreto

Uma Cadeia de Markov Nao-Homogenea e descrita por uma sequencia de matrizes

de probabilidades de transicao, ou simplesmente matrizes de transicao {P (n)}n∈N de-

finidas sob o mesmo espaco de estados S finito ou infinito enumeravel. No tempo n a

3

2.1 Cadeias de Markov Nao-Homogeneas a Tempo Discreto 4

cadeia move-se do estado i para o estado j com probabilidade pij(n).

Notacoes Importantes:

S, espaco de estados da cadeia;

i, j, k, l, . . ., elementos de S;

{P (n)}, sequencia de matrizes de transicao, com n ∈ N;

P (n,n+1) = P (n) = (pij(n))(i,j)∈S×S;

P (k,k+n) = P (k)P (k + 1) . . . P (k + n− 1), k ∈ N.

O estudo do comportamento assintotico de Cadeias de Markov Nao-Homogeneas,

isto e, o que acontece a P (k,k+n) quando n → +∞ para k = 1, 2, . . . envolve as no-

coes de ergodicidade fraca e ergodicidade forte em relacao a alguma norma matricial

apropriada.

Neste trabalho, adotaremos a norma

‖P‖ = supi

∑j

|pij|, (2.1)

sendo P = (pij).

Definicao 2.1.1. Uma Cadeia de Markov Nao-Homogenea com sequencia de matrizes

de transicao {P (n)} e dita ergodica fraca (Ef) se para cada k ∈ N existe uma sequencia

de matrizes estocasticas constantes1 {Qn(k)} tal que

limn→+∞

‖P (k,k+n) −Qn(k)‖ = 0. (2.2)

Definicao 2.1.2. Diz-se que uma Cadeia de Markov Nao-Homogenea com sequencia

de matrizes de transicao {P (n)} e ergodica forte (EF) se existe uma matriz estocastica

constante Q tal que, para todo k ∈ N,

limn→+∞

‖P (k,k+n) −Q‖ = 0. (2.3)

Exemplo 1. A Cadeia de Markov Nao-Homogenea com a sequencia de matrizes de

transicao {P (n)} dada por

P (2n− 1) =

1

2

1

21 0

e P (2n) =

(0 1

1 0

),

1Uma matriz P e dita constante se todas suas linhas sao iguais.


para todo n ∈ N e Ef.

De fato, se k e par e n e tal que k + n− 1 e par, temos que

P (k,k+n) = P (k) · P (k + 1) · · ·P (k + n− 1) =

1

2

1

20 1

n−12

e, por inducao, podemos verificar que 1

2

1

20 1

n−12

=

(

1

2

)n−12

1−(

1

2

)n−12

0 1

.

Definindo,

Qn(k) =

(0 1

0 1

),

temos que

P (k,k+n) −Qn(k) =

(

1

2

)n−12

1−(

1

2

)n−12

0 1

−( 0 1

0 1

)

=

(

1

2

)n−12

−(

1

2

)n−12

0 0

,

donde obtemos

limn→+∞

‖P (k,k+n) −Qn(k)‖ = limn→+∞

2 ·(

1

2

)n−12

= 0.

Se k e par e n e tal que k + n− 1 e ımpar, entao

P (k,k+n) = P (k) · P (k + 1) · · ·P (k + n− 2)︸︷︷︸ ·P (k + n− 1)

=

(

1

2

)n−12

1−(

1

2

)n−12

0 1

· 1

2

1

21 0

=

1−(

1

2

)n+12

(1

2

)n+12

1 0

.


Definindo

Qn(k) =

(1 0

1 0

),

temos que

P (k,k+n) −Qn(k) =

1−(

1

2

)n+12

(1

2

)n+12

1 0

−( 1 0

1 0

)

=

−(

1

2

)n+12

(1

2

)n+12

0 0

,

e daı,

limn→+∞

‖P (k,k+n) −Qn(k)‖ = limn→+∞

2 ·(

1

2

)n+12

= 0.

Para k ımpar, utilizamos argumentos similares para verificar que

limn→+∞

‖P (k,k+n) −Qn(k)‖ = 0,

nos casos em que k + n− 1 e ımpar e par.

Portanto, concluımos que {P (n)} e Ef. Por outro lado, vemos claramente que

{P (n)} nao e EF, ja que nao existe uma matriz estocastica constante Q satisfazendo

(2.3), para todo k ≥ 1.

Alem da norma definida em (2.1), outras normas podem ser utilizadas no estudo do

comportamento limite de Cadeias de Markov Nao-Homogeneas. Por exemplo, Hajnal

[5], em seu estudo sobre ergodicidade fraca em Cadeias de Markov com espaco de

estados finito, faz uso da norma

‖P‖H = maxi,j∈S|pij|,

que e equivalente a norma ‖ · ‖, se S e finito.

A propriedade chave que justifica o uso da norma ‖ · ‖ e dada pela seguinte propo-

sicao.

Proposicao 2.1.1 (Isaacson e Madsen [6]). Para quaisquer matrizes P e Q, vale a

desigualdade

‖PQ‖ ≤ ‖P‖‖Q‖. (2.4)


Para a classe de matrizes estocasticas temos ainda a seguinte desigualdade.

Proposicao 2.1.2 (Dorea e Cruz [3]). Dadas duas sequencias de matrizes estocasticas

{P (n)} e {Q(n)}, temos que

‖P (k,k+n) −Q(k,k+n)‖ ≤n−1∑j=0

‖P (k + j)−Q(k + j)‖, k ≥ 1. (2.5)

Como vimos no Exemplo 1, nao e um procedimento facil mostrar que uma Cadeia

de Markov Nao-Homogenea e Ef ou EF diretamente da definicao. Nestes casos, a prin-

cipal dificuldade e encontrar uma expressao fechada que represente P (k,k+n) e, assim,

estudarmos seu comportamento limite. Enunciaremos na sequencia alguns teoremas

classicos que estabelecem condicoes necessarias e/ou suficientes para uma cadeia ser Ef

ou EF.

Uma maneira equivalente de caracterizarmos a ergodicidade fraca de uma cadeia

nao-homogenea e dada usando o coeficiente ergodico de Dobrushin

δ(P ) =1

2supi,k∈S

∑j∈S

|pij − pkj|, (2.6)

por meio do seguinte teorema.

Teorema 2.1.1 (Isaacson e Madsen [6]). Uma Cadeia de Markov Nao-Homogenea e

Ef se, e somente se, para todo k ≥ 1

limn→+∞

δ(P (k,k+n)) = 0. (2.7)

Para cadeias homogeneas, ou seja, quando P (n) = P para todo n ∈ N, Isaacson e

Madsen [6] apresentam um resultado semelhante para a Ef.

Teorema 2.1.2 (Isaacson e Madsen [6]). Uma Cadeia de Markov Homogenea com

matriz de transicao P e Ef se, e somente se, δ(P k) < 1 para algum k.

Um fato interessante relacionado ao comportamento ergodico em Cadeias de Markov


e a equivalencia entre a ergodicidade 2 e a ergodicidade fraca em cadeias homogeneas

com espaco de estados finito. Essa equivalencia e assegurada pelo seguinte resultado.

Teorema 2.1.3 (Isaacson e Madsen [6]). Uma Cadeia de Markov Homogenea finita

com matriz de transicao P e ergodica se, e somente se, δ(P k) < 1 para algum k.

A proposicao seguinte enumera algumas das principais propriedades do coeficiente

ergodico.

Proposicao 2.1.3 (Isaacson e Madsen [6]). Sejam P , Q e R matrizes estocasticas.

Entao:

(i) 0 ≤ δ(P ) ≤ 1,

(ii) δ(PQ) ≤ δ(P )δ(Q),

(iii) ‖(P −Q)R‖ ≤ ‖P −Q‖δ(R),

(iv) |δ(P )− δ(Q)| ≤ ‖P −Q‖.

Decorre imediatamente do item (ii) da proposicao anterior que, dada uma sequencia

de matrizes estocasticas {P (n)}, temos:

δ(P (k,k+n)) = δ(P (k)P (k + 1) . . . P (k + n− 1)) ≤k+n−1∏j=k

δ(P (j)).

Assim, pelo Teorema 2.1.1, para determinarmos a ergodicidade fraca de uma cadeia

nao-homogenea e suficiente mostrar que

k+n−1∏j=k

δ(P (j))n→ 0, ∀k.

Em particular, se a cadeia e homogenea, entao e suficiente verificar se δ(P ) < 1,

uma vez que

δ(P n) ≤ [δ(P )]n .

2Dizemos que uma Cadeia de Markov Homogenea com matriz de transicao P e espaco de estadosS e ergodica se, para todo j ∈ S,

limn→+∞

pnij = πj ,

independentemente de i ∈ S e∑j∈S

πj = 1.

2.2 Resultados de Aproximacao em Cadeias com Espaco de Estados Enumeravel 9

Vale ainda ressaltar que se P e Q sao matrizes estocasticas 2x2, entao vale a igual-

dade no item (ii) da Proposicao 2.1.3 (veja Apendice B).

Teorema 2.1.4 (Paz [8]). Seja {P (n)} a sequencia de matrizes de transicao de Cadeia

de Markov Nao-Homogenea. Se P (n) = V (n) +R(n), sendo {R(n)} uma sequencia de

matrizes estocasticas constantes, entao {P (n)} e Ef se, e somente se,

limn→+∞

‖V (k,k+n)‖ = 0, ∀k.

A seguir, enunciamos alguns dos principais resultados sobre ergodicidade forte de

Cadeias de Markov Nao-Homogeneas.

Teorema 2.1.5 (Isaacson e Madsen [6]). Seja {P (n)} a sequencia de matrizes de

transicao de uma Cadeia de Markov Nao-Homogenea Ef. Se existe uma sequencia de

distribuicoes estacionarias {π(n)} associada a {P (n)} satisfazendo∑n≥1

‖π(n)− π(n+ 1)‖ < +∞.

Entao {P (n)} e EF.

Teorema 2.1.6 (Isaacson e Madsen [6]). Seja {P (n)} a sequencia de matrizes de

transicao de uma Cadeia de Markov Nao-Homogenea e suponha que para cada n a

matriz de transicao P (n) admite uma distribuicao estacionaria π(n). Se existe uma

matriz estocastica P Ef tal que ‖P (n)− P‖ n→ 0, entao a cadeia e EF.

2.2 Resultados de Aproximacao em Cadeias com

Espaco de Estados Enumeravel

Seja {P (n)} a sequencia de matrizes de transicao de uma Cadeia de Markov Nao-

Homogenea com espaco de estados S = {1, 2, . . .}. A analise do comportamento ergo-

dico de Cadeias de Markov Nao-Homogeneas, geralmente, exige a existencia da sequen-

cia de distribuicoes estacionarias {π(n)}, bem como, o conhecimento de seu compor-

tamento limite. Nesta secao, veremos alguns resultados de aproximacao para cadeias

nao-homogeneas que nao requerem a existencia de tais distribuicoes estacionarias.


Teorema 2.2.1 (Dorea e Cruz [3]). Se {P (n)} e {P (n)} sao as sequencias de matrizes

de transicao de duas Cadeias de Markov Nao-Homogeneas satisfazendo∑n≥1

‖P (n)− P (n)‖ < +∞, (2.8)

entao elas possuem o mesmo comportamento ergodico, isto e, se {P (n)} e Ef (EF)

entao {P (n)} tambem e Ef (EF).

Demonstracao. De (2.8) e do Criterio de Cauchy para series temos que, dado ε > 0

existe k0 ∈ N tal quen−1∑j=0

‖P (k + j)− P (k + j)‖ ≤ ε, (2.9)

quaisquer que sejam k ≥ k0 e n ≥ 1.

Da Proposicao 2.1.2 e de (2.9), obtemos

‖P (k,k+n) − P (k,k+n)‖ ≤n−1∑j=0

‖P (k + j)− P (k + j)‖ ≤ ε, (2.10)

para todo k ≥ k0 e n ≥ 1, donde concluımos que

limn→+∞

‖P (k,k+n) − P (k,k+n)‖ = 0,

para todo k ≥ k0.

Suponhamos que {P (n)} e Ef. Entao existe n0 ∈ N tal que

δ(P (k,k+n)) ≤ ε, ∀ k ≥ 1 e n ≥ n0.

Da Proposicao 2.1.3 e (2.10), vem que

|δ(P (k,k+n))− δ(P (k,k+n))| ≤ ‖P (k,k+n) − P (k,k+n)‖ ≤ ε,∀k ≥ k0 e n ≥ n0.

e daı,

δ(P (k,k+n)) ≤ ε, ∀ k ≥ k0 e n ≥ n0.

Mas, para cada k ≤ k0,

δ(P (k,k+n)) ≤ δ(P (k,k0))δ(P (k0,k+n)) ≤ δ(P (k0,k+n)).


Logo,

δ(P (k,k+n)) ≤ ε, ∀ k ≥ 1 e n ≥ n0.

E portanto, {P (n)} e Ef.

Agora, suponhamos que {P (n)} e EF e consideremos k ≥ k0. A ideia e mostrar

que {P (k,k+n)} e uma sequencia de Cauchy na norma ‖ · ‖.De fato, se {P (n)} e EF, entao

limn→+∞

P (k,k+n)

existe independentemente de k. Logo, para algum n1 ≥ 1

‖P (k,k+m) − P (k,k+n)‖ ≤ ε, ∀m,n ≥ n1. (2.11)

Usando (2.10) e (2.11) temos que

‖P (k,k+m) − P (k,k+n)‖ ≤ ‖P (k,k+m) − P (k,k+m)‖+ ‖P (k,k+m) − P (k,k+n)‖+‖P (k,k+n) − P (k,k+n)‖

≤ 3ε,

para todo k ≥ k0 e m,n ≥ n1.

Logo, {P (k,k+n)} e uma sequencia de Cauchy, e portanto limn→+∞

P (k,k+n) existe inde-

pendentemente de k.

Seja Q a matriz estocastica tal que

limn→+∞

‖P (k,k+n) −Q‖ = 0.

Assim, existe n2 ∈ N tal que

|δ(P (k,k+n))− δ(Q)| ≤ ‖P (k,k+n) −Q‖ < ε,∀n ≥ n2,

ou seja,

limn→+∞

δ(P (k,k+n)) = δ(Q).

Mas, {P (n)} e Ef, isto e, limn→+∞

δ(P (k,k+n)) = 0, ∀k. Logo, pela unicidade do limite,

segue que δ(Q) = 0, e portanto Q e uma matriz constante.

2


Observacao. Segue da demonstracao do teorema anterior que se {P (n)} e EF e con-

verge para uma matriz constante Q, entao {P (n)} tambem sera EF e tera a mesma

matriz limite Q.

Exemplo 2. Sejam {P (n)} e {Q(n)} as sequencias de matrizes de transicao de Ca-

deias de Markov Nao-Homogeneas com

P (n) =

1− 2/n2 1/n2 1/n2

1/n2 0 1− 1/n2

0 1− 1/n2 1/n2

e Q(n) = Q =

1 0 0

0 0 1

0 1 0

.

Observe que

Qn =

{I se n e par

Q se n e ımpar,

sendo I a matriz identidade.

Como δ(I) = δ(Q) = 1, segue que nao existe k ∈ N tal que δ(Qk) < 1. Logo, pelo

Teorema 2.2.1 {Q(n)} nao e Ef.

Por outro lado, temos que

P (n)−Q =

1− 2/n2 1/n2 1/n2

1/n2 0 1− 1/n2

0 1− 1/n2 1/n2

− 1 0 0

0 0 1

0 1 0

=

−2/n2 1/n2 1/n2

1/n2 0 −1/n2

0 −1/n2 1/n2

,

implicando,

‖P (n)−Q‖ =4

n2.

Logo, ∑n≥1

‖P (n)−Q‖ =∑n≥1

4

n2< +∞,

consequentemente, pelo Teorema 2.2.1, a cadeia {P (n)} tambem nao e Ef, e portanto,

nao pode ser EF.

Teorema 2.2.2 (Dorea e Cruz [3]). Suponhamos que {P (n)} seja a sequencia de matri-

zes de transicao de uma Cadeia de Markov Nao-Homogenea Ef e que existam matrizes

estocasticas constantes R(1), R(2), . . . e R tais que∑n≥1

‖R(n)P (n)−R(n+ 1)‖ < +∞ (2.12)


e

limn→+∞

‖R(n)−R‖ = 0. (2.13)

Entao {P (n)} e EF com matriz limite R.

Demonstracao. Defina V (n) = P (n)−R(n+ 1). Como R(1), R(2), . . . sao matrizes

estocasticas constantes, segue da Proposicao A.0.2 que

R(n)P (n)−R(n+ 1) = R(n)P (n)−R(n)R(n+ 1)

= R(n)[P (n)−R(n+ 1)]

= R(n)V (n),

e

V (k)R(l) = [P (k)−R(k + 1)]R(l) = P (k)R(l)−R(k + 1)R(l)

= R(l)−R(l)

= 0,

quaisquer que sejam n, k, l. De

V (k)V (k + 1) = V (k) [P (k + 1)−R(k + 2)] = V (k)P (k + 1),

temos ainda que

V (l,l+n) = V (l) . . . V (l + n− 2)V (l + n− 1)

= V (l) . . . V (l + n− 2)P (l + n− 1)...

= V (l)V (l + 1)P (l+2,l+n)

= V (l)P (l+1,l+n).

Por (2.12), dado ε > 0 existe k0 ∈ N tal que∑l≥m

‖R(l)V (l)‖ =∑l≥m

‖R(l)P (l)−R(l + 1)‖ ≤ ε, ∀m ≥ k0. (2.14)


Assim, usando o fato que ‖P (l+1,l+n)‖ = 1, obtemos∑l≥m

‖R(l)V (l,l+n)‖ (2.14)=

∑l≥m

‖R(l)V (l)P (l+1,l+n)‖

(2.4)

≤∑l≥m

‖R(l)V (l)‖

(2.14)

≤ ε, (2.15)

para todo n ∈ N.

Como {P (n)} e Ef, segue do Teorema 2.1.4 que existe n0 = n0(ε) tal que

‖V (k,k+n)‖ ≤ ε, n ≥ n0. (2.16)

Vejamos ainda que

P (k,k+n)

= [V (k) +R(k + 1)][V (k + 1) +R(k + 2)]P (k+2,k+n)

= [V (k)V (k + 1) + V (k)R(k + 2)

+R(k + 1)V (k + 1) +R(k + 1)R(k + 2)]P (k+2,k+n)

= [V (k,k+2) + V (k)V (k+1,k+2) +R(k + 2)]P (k+2,k+n)

...

= V (k,k+n) +k+n−1∑l=k+1

R(l)V (l,l+n) +R(k + n)

≤ V (k,k+n) +∑l≥k+1

R(l)V (l,l+n) +R(k + n).

Dessa forma,

‖P (k,k+n) −R(k + n)‖ ≤ ‖V (k,k+n) +∑l≥k+1

R(l)V (l,l+n)‖

≤ ‖V (k,k+n)‖+∑l≥k+1

‖R(l)V (l,l+n)‖

(2.15)

≤ ‖V (k,k+n)‖+∑l≥k+1

‖R(l)V (l)‖.


Se k ≥ k0, segue de (2.15) e (2.16) que

‖P (k,k+n) −R(k + n)‖ ≤ 2ε, n ≥ n0,

implicando

limn→+∞

‖P (k,k+n) −R(k + n)‖ = 0,

e como ‖R(n)−R‖ n→ 0, concluımos que {P (n)} e EF com matriz limite R.

Caso k < k0, tome n′ = n+ k − k0. De ‖P (k,k0)‖ = 1 temos que

P (k,k+n) −R(k0 + n′) = P (k,k0)P (k0,k+n) −R(k0 + n′)

= P (k,k0)[P (k0,k0+n′) −R(k0 + n′)]

⇒ ‖P (k,k+n) −R(k0 + n′)‖ = ‖P (k,k0)[P (k0,k0+n′) −R(k0 + n′)]‖≤ ‖P (k0,k0+n′) −R(k0 + n′)‖.

e daı, basta tomar n tal que n′ ≥ n0.

2

Observacao. Se supusermos que a cadeia {P (n)} admite a existencia de uma sequen-

cia de distribuicoes estacionarias {π(n)} satisfazendo∑n≥1

‖π(n)− π(n+ 1)‖ < +∞, (2.17)

entao o Teorema 2.1.5 torna-se consequencia imediata do teorema anterior. Para ver-

mos isto, basta tomarmos as linhas da matriz R(n) iguais ao vetor π(n), isto e, tomar

Rij(n) = πj(n), ∀ i, j. Daı, teremos que∑n≥1

‖R(n)P (n)−R(n+ 1)‖ =∑n≥1

‖π(n)− π(n+ 1)‖.

Como (2.17) implica na existencia de π tal que ‖π(n)− π‖ n→ 0, obtemos

‖R(n)−R‖ n→ 0,

sendo R a matriz constante com Rij = πj, ∀ i, j.

Teorema 2.2.3 (Dorea e Cruz [3]). Seja {P (n)} a sequencia de matrizes de transicao

de uma Cadeia de Markov Nao-Homogenea. Suponha que exista uma matriz estocastica

Q Ef tal que

limn→+∞

‖P (n)−Q‖ = 0. (2.18)


Entao {P (n)} e EF.

Demonstracao. Sendo Q fracamente ergodica, dado ε > 0 existem n0 = n0(ε) e uma

matriz estocastica constante Q∞ tal que

‖Qn −Q∞‖ ≤ ε,

para todo n ≥ n0.

Observe que para n suficientemente grande

‖P (k,k+n−n0)Qn0 −Q∞‖ = ‖P (k,k+n−n0)Qn0 − P (k,k+n−n0)Q∞‖= ‖P (k,k+n−n0)(Qn0 −Q∞)‖

(2.4)

≤ ‖Qn0 −Q∞‖≤ ε.

E pela Proposicao 2.1.2

‖P (k,k+n) − P (k,k+n−n0)Qn0‖ = ‖P (k,k+n−n0)(P (k+n−n0,k+n) −Qn0)‖≤ ‖P (k+n−n0,k+n) −Qn0‖

≤n0−1∑j=0

‖P (k + n− n0 + j)−Q‖.

Seja ε′ =ε

n0

. Entao, de (2.18) existe n1 = n1(ε′) tal que

‖P (m)−Q‖ ≤ ε′,

para todo m ≥ n1.

Logo, tomando n ∈ N tal que k + n− n0 ≥ n1, temos que

n0−1∑j=0

‖P (k + n− n0 + j)−Q‖ ≤ n0ε′ = ε,

donde concluımos que

‖P (k,k+n) −Q∞‖ ≤ ‖P (k,k+n) − P (k,k+n−n0)Qn0‖+ ‖P (k,k+n−n0)Qn0 −Q∞‖≤ 2ε,

para todo n ≥ n0 − k + n1. E portanto, {P (n)} e EF.


2

Observacao. Observe que o teorema anterior e mais forte que o Teorema 2.1.6, ja que

nao foi necessario assumir a existencia de uma sequencia de distribuicoes estacionarias.

Como consequencia do Teorema 2.2.3, enunciamos o seguinte corolario, valido so-

mente para cadeias com espaco de estados finito.

Corolario 2.2.1. Seja {P (n)} a sequencia de matrizes de transicao de uma Cadeia

de Markov Nao-Homogenea com espaco de estados finito tal que

P (n) =

{P1(n), n ∈ IP2(n), n ∈ P

,

sendo I e P os conjuntos dos numeros ımpares e pares positivos, respectivamente. Supo-

nha ainda, que existam matrizes estocasticas P e Q Ef’s com distribuicoes estacionarias

iguais tais que

limn→+∞

‖P1(n)− P‖ = limn→+∞

‖P2(n)−Q‖ = 0. (2.19)

Entao a cadeia {P (n)} e EF.

Antes de demonstrar este corolario, apresentamos o seguinte lema.

Lema 2.2.1. Sejam P e Q matrizes estocasticas finitas Ef’s e suponha que ambas

possuem mesma distribuicao estacionaria. Entao PQ e QP sao Ef’s e ambas tem

mesma distribuicao estacionaria que P e Q.

Demonstracao. Pelo Teorema 2.1.3, para mostrar que PQ e QP sao Ef’s, basta

mostrar que elas sao ergodicas.

Seja π a distribuicao estacionaria de P e Q, isto e,

π = πP = πQ.

Logo,

π = πQ = (πP ) ·Q = πPQ,

e

π = πP = (πQ) · P = πQP.

Ou seja, PQ e QP sao Ef’s e tem mesma distribuicao estacionaria π.

2


Demonstracao (do Corolario 2.2.1). Defina, para todo n ≥ 1,

V (n) = P (k + 2n− 2)P (k + 2n− 1), k ≥ 1

e observe que

V (1,n2+1) = V (1)V (2) . . . V

(n2

)= P (k)P (k + 1)P (k + 2)P (k + 3) . . . P (k + n− 2)P (k + n− 1)

= P (k,k+n),

para todo n, k ≥ 1.

Alem disso, veja que

limn→+∞

‖V (n)− PQ‖ = limn→+∞

‖P (k + 2n− 2)P (k + 2n− 1)− PQ‖ = 0,

se k ∈ I. E,

limn→+∞

‖V (n)−QP‖ = limn→+∞

‖P (k + 2n− 2)P (k + 2n− 1)−QP‖ = 0,

se k ∈ P.

Por hipotese, P e Q sao Ef’s (ergodicas, ja que S e finito), entao existe uma unica

matriz estocastica constante π∞ satisfazendo

limn→+∞

‖P n − π∞‖ = limn→+∞

‖Qn − π∞‖ = 0.

Assim, elo Lema 2.2.1 temos que PQ e QP sao Ef’s e

limn→+∞

‖(PQ)n − π∞‖ = limn→+∞

‖(QP )n − π∞‖ = 0. (2.20)

Se k ∈ I tem-se que ‖V (n)− PQ‖ n→ 0. Logo, de (2.20) e do Teorema 2.2.3 segue

que

limn→+∞

‖P (k,k+n) − π∞‖ = 0.

Se k ∈ P tem-se que ‖V (n) − QP‖ n→ 0. Daı, por (2.20) e pelo Teorema 2.2.3

obtemos

limn→+∞

‖P (k,k+n) − π∞‖ = 0.

Como π∞ e tal que

limn→+∞

‖P (k,k+n) − π∞‖ = 0,

2.3 Ergodicidade Fraca e Forte: Condicoes para Equivalencia 19

para todo k ≥ 1, segue da Definicao 2.1.2 que {P (n)} e EF.

2

Exemplo 3. A Cadeia de Markov Nao-Homogenea com sequencia de matrizes de tran-

sicao {P (n)} dada por

P (2n) =

1/2 1/4 1/4

1− 2/n 1/n 1/n

0 1/2 1/2

e P (2n− 1) =

1/2 0 1/2

1 0 0

0 1 0

.

e EF.

De fato, observe que

limn→+∞

‖P (2n)− P‖ = limn→+∞

‖P (2n− 1)−Q‖ = 0,

sendo

P =

1/2 1/4 1/4

1 0 0

0 1/2 1/2

e Q =

1/2 0 1/2

1 0 0

0 1 0

.

Note ainda que P e Q sao Ef’s (por serem ergodicas, pois o espaco de estados e

finito) e convergem para a matriz estocastica constante

π∞ =

1/2 1/4 1/4

1/2 1/4 1/4

1/2 1/4 1/4

Entao, pelo Corolario 2.2.1 {P (n)} e EF.

2.3 Ergodicidade Fraca e Forte: Condicoes para

Equivalencia

Seja {P (n)} a sequencia de matrizes de transicao de uma Cadeia de Markov Nao-

Homogenea com espaco de estados S = {1, 2, . . . , N} e suponhamos que para cada n


a matriz de transicao P (n) admite uma distribuicao estacionaria π(n), isto e, π(n) =

π(n)P (n). Para verificarmos a EF de {P (n)}, geralmente, verificamos se {P (n)} e Ef

e, em seguida, se a sequencia {π(n)} satisfaz a condicao

∑n≥1

‖π(n)− π(n+ 1)‖ < +∞. (2.21)

Esta ultima condicao e frequentemente a parte complicada nessas verificacoes, especi-

almente nos casos em que o termo geral π(n) nao pode ser obtido de forma fechada.

Nesta secao, estudamos algumas condicoes suficientes para equivalencia entre os

conceitos de ergodicidade estabelecidas por Anily e Federgruen [1]. Em resumo, es-

tudamos algumas condicoes sobre as entradas pij(n) de modo a garantir que (2.21)

sempre ocorra.

Observacao. E interessante observar que os conceitos de ergodicidade fraca e forte

sao equivalentes se existe uma matriz estocastica P Ef tal que

limn→+∞

‖P (n)− P‖ = 0.

Entretanto, a maioria das matrizes limite das sequencias de matrizes de transicao

associadas a algoritmos aleatorios nao satisfazem a hipotese da observacao anterior. Em

geral, quando existe tal matriz P , ela e igual a identidade, e a identidade, obviamente,

nao e Ef, tornando este resultado inaplicavel nessas situacoes.

A ideia inicial proposta por Anily e Federgruen [1] consiste em dois passos:

1o) Escrever o Teorema 2.1.5 em termos de extensoes contınuas das entradas das ma-

trizes de transicao das Cadeias de Markov Nao-Homogeneas.

2o) Verificar que a condicao (2.21) e equivalente a existencia de um vetor-funcao contı-

nuo h(c) de variacao limitada no intervalo (0, 1] com a seguinte propriedade: para

alguma sequencia real (cn) ↓ 0, h(cn) e uma distribuicao estacionaria da matriz

f(cn) = P (n), para todo n ≥ 1.

Para usarmos a propriedade de “variacao limitada”, precisamos, primeiramente, en-

tender o conceito de“estender”uma sequencia de matrizes {P (n)} para o caso contınuo,

ou seja, para funcoes matriciais contınuas de variavel definida em um intervalo limitado.


Isto entao nos motiva as seguintes definicoes:

Definicao 2.3.1 (Extensao contınua de uma sequencia de matrizes estocasticas). Seja

{P (n)} uma sequencia de matrizes estocasticas finitas. Dizemos que a funcao

f : (0, 1] → Mr×r

c 7→ f(c) = (fij(c))

e uma extensao contınua de {P (n)}, se existir uma sequencia de numeros reais positivos

(cn) ↓ 0 tal que f(cn) = P (n), ∀n ≥ 1.

Exemplo 4. Considere a sequencia de matrizes estocasticas {P (n)} com

P (n) =

(1− 1/n 1/n

1/n2 1− 1/n2

).

Entao, a funcao f : (0, 1]→M2x2 definida por

f(c) =

(1− c c

c2 1− c2

)

e uma extensao contınua de {P (n)}, pois f(cn) = P (n) para todo n ≥ 1, com cn =1

n.

Evidentemente ha, em geral, diversas extensoes contınuas de uma mesma sequencia

de matrizes estocasticas {P (n)}.


f(c), extensao contınua da sequencia {P (n)};

h(c), extensao contınua da sequencia {π(n)};

Definicao 2.3.2 (Funcao de variacao limitada). Dizemos que uma funcao

f : (0, 1] → Mr×s

c 7→ f(c) = (fij(c))

e de variacao limitada se, para todo i ∈ {1, 2, . . . , r} e j ∈ {1, 2, . . . , s},

sup

{∑n≥1

|fij(cn)− fij(cn+1)|;∀ (cn) com 0 < · · · < cn < · · · < c1 = 1 e cn ↓ 0

}< +∞.

(2.22)


Teorema 2.3.1 (Anily e Federgruen [1]). Sejam {P (n)} a sequencia de matrizes de

transicao de uma Cadeia de Markov Nao-Homogenea Ef e {π(n)} a sequencia de dis-

tribuicoes estacionarias associada a {P (n)}. Considere f(c) uma extensao contınua

de {P (n)} correspondente a alguma sequencia real positiva (cn) ↓ 0.

1. Se h(c) e uma extensao contınua de variacao limitada de {π(n)} satisfazendo

h(c) = h(c)f(c). Entao {P (n)} e EF.

2. Se ∑n≥1

‖π(n)− π(n+ 1)‖ < +∞, (2.23)

entao existe uma extensao contınua h(c) de {π(n)} de variacao limitada.

Demonstracao. Por definicao, temos

h(cn) = π(n), ∀n (2.24)

e, sendo h(c) uma extensao de variacao limitada, temos para cada i ∈ S

sup

{∑n≥1

|hi(cn)− hi(cn+1)|, 0 < · · · < cn < . . . < c1 = 1 e cn ↓ 0

}< +∞ (2.25)

Usando (2.24), (2.25) e o fato de S ser finito, vem:

∑n≥1

‖π(n)− π(n+ 1)‖ =∑n≥1

N∑i=1

|πi(n)− πi(n+ 1)|

=∑n≥1

N∑i=1

|hi(cn)− hi(cn+1)|

=N∑i=1

∑n≥1


≤N∑i=1

sup

{∑n≥1


}︸︷︷︸

<+∞< +∞.

Portanto, segue do Teorema 2.1.5 que {P (n)} e EF, o que completa a demonstracao

de (1).

Para o item (2), considere h(c) = π(bc−1c), sendo bxc o maior inteiro menor ou

igual a x, e uma sequencia real positiva (cn) com cn ↓ 0.


Assim,

+∞∑i=2

‖h(ci)− h(ci−1)‖

=+∞∑i=2

‖π(bc−1i c)− π(bc−1i−1c)‖

=+∞∑i=2

‖π(ni)− π(ni−1)‖

=+∞∑i=2

‖π(ni)− π(ni − 1) + π(ni − 1) + · · ·+ π(ni−1 + 1)− π(ni−1)‖

≤+∞∑i=2

‖π(ni)− π(ni − 1)‖+ ‖π(ni − 1)− π(ni − 2)‖

+ · · ·+ ‖π(ni−1 + 1)− π(ni−1)‖

=+∞∑i=2

‖π(ni)− π(ni − 1)‖+ · · ·++∞∑i=2

‖π(ni−1 + 1)− π(ni−1)‖

≤+∞∑n=2

‖π(n)− π(n− 1)‖+ · · ·++∞∑i=2

‖π(n+ 1)− π(n)‖.

De (2.23) concluımos que

+∞∑i=2

‖h(ci)− h(ci−1)‖ < +∞.

2

Como vimos anteriormente, se uma cadeia nao-homogenea e Ef e admite uma

sequencia de distribuicoes estacionarias com extensao contınua de variacao limitada,

entao ela e EF. Com esta conclusao, formulamos a seguinte questao: Que propriedades

as entradas das matrizes de transicao devem satisfazer para garantir que a sequencia

{π(n)} tenha sua extensao de variacao limitada?

Naturalmente, nossa primeira ideia e assumir que todas as pij(n) sejam tais que

suas extensoes contınuas fij(c) sejam de variacao limitada no intervalo (0, 1]. Porem,

o exemplo seguinte mostra que essa hipotese e, infelizmente, insuficiente para que h(c)

seja de variacao limitada no intervalo (0, 1].


Exemplo 5. Seja a sequencia de matrizes estocasticas {P (n)} com

P (n) =

(1− e−n e−n

e−n sin2(nπ

2

)1− e−n sin2

(nπ2

) ) .Considere a sequencia numerica cn = 1/n ↓ 0. Entao, a funcao f : (0, 1] → M2x2

dada por

f(c) =

(1− e−1/c e−1/c

e−1/c sin2( π

2c

)1− e−1/c sin2

( π2c

) )

e uma extensao contınua de {P (n)} e, alem disso, f e de variacao limitada no intervalo

(0, 1].

Com efeito, calculando a derivada de f , obtemos

df

dc=

−e−1/c

c2e−1/c

c2e−1/c

2c2[1− cos(π/c)− π sin(π/c)]

e−1/c

2c2[π sin(π/c) + cos(π/c)− 1]

e, como

limc↓0

df

dc=

(0 0

0 0

)segue que f ′ e contınua em todo o intervalo (0, 1]. Logo, f e de variacao limitada no

intervalo (0, 1].

Para determinar o termo geral da sequencia {π(n)} basta resolver o sistema de

equacoes {π1 + π2 = 1

(1− e−n)π1 +(e−n sin2

(nπ2

))π2 = π1

.

Resolvendo, encontramos que

π(n) =

(1

1 + sin−2(nπ2

) , 1

1 + sin2(nπ2

)) .Como

limn→+∞

π(2n− 1) = (1/2, 1/2) e limn→+∞

π(2n) = (0, 1),

entao, segue da Proposicao A.0.1 que,∑n≥1

‖π(n)− π(n+ 1)‖ nao converge.


Definicao 2.3.3. Dizemos que uma funcao g : (0, 1]→ R e assintoticamente monotona

se existe um numero real c∗ > 0 tal que g(c) e monotona ∀c < c∗.

O resultado a seguir apresenta uma condicao suficiente para que h(c) seja de variacao

limitada.

Lema 2.3.1. Seja h(c) ∈ C1 uma extensao contınua da sequencia {π(n)}. Se h(c) e

assintoticamente monotona, isto e, se cada hi(c) (i = 1, 2, . . . , N) e assintoticamente

monotona, entao h(c) e de variacao limitada no intervalo (0, 1].

Um problema que podemos observar no Exemplo 5 esta em quocientes de entradas

pij(n) obtidos no calculo do termo geral π(n), que podem nao possuir extensoes con-

tınuas de variacao limitada, mesmo com todas as entradas da matriz P (n) possuindo

extensoes contınuas de variacao limitada.

Duas classes de funcoes definidas sobre o intervalo (0, 1] apresentam propriedades

de regularidade sob as quais a condicao de extensao de variacao limitada a h(c) pode

ser provada.

Definicao 2.3.4 (Classe de Funcoes Assintoticamente Monotonas - CAM). A classe

F ⊂ C1 de funcoes definidas no intervalo (0, 1] e uma classe de funcoes assintotica-

mente monotonas se

• f ∈ F ⇒ f ′ ∈ F e −f ∈ F ;

• f, g ∈ F ⇒ (f + g) e (f · g) ∈ F ;

• toda f ∈ F muda de sinal finitas vezes em [0, 1].

Definicao 2.3.5 (Classe de Funcoes Racionais de Variacao Limitada - CRVL). Diz-se

que uma classe F de funcoes definidas em (0, 1] e uma classe de funcoes racionais de

variacao limitada se

• f ∈ F ⇒ f e de variacao de limitada em (0, 1];

• f ∈ F ⇒ −f ∈ F ;

• f, g ∈ F ⇒ (f + g) e (f · g) ∈ F ;

• f, g ∈ F com (f/g) limitado no (0, 1]⇒ f/g e de variacao limitada em (0, 1].


Definicao 2.3.6 (Extensao Contınua Regular). A sequencia de matrizes de transicao

{P (n)} de uma Cadeia de Markov Nao-Homogenea e dita ter extensao contınua regular

f(c), se existe um numero real c∗ > 0 tal que a colecao de sub-cadeias de f(c) sao iguais

para todo c < c∗.

Teorema 2.3.2 (Anily e Federgruen [1]). Sejam {P (n)} a sequencia de matrizes de

transicao de uma Cadeia de Markov Nao-Homogenea Ef com S finito e f(c) uma exten-

sao contınua regular de {P (n)} tal que todas as funcoes fij(c) com i, j ∈ {1, 2, . . . , N}pertencem a

1. Classe de funcoes assintoticamente monotonas, ou

2. Classe de funcoes racionais de variacao limitada.

Entao {P (n)} e EF e, para n suficientemente grande, cada P (n) tem uma unica dis-

tribuicao estacionaria π(n).

Demonstracao. Primeiramente, iremos provar que para n suficientemente grande,

cada P (n) tem unica distribuicao estacionaria π(n) ou, de maneira equivalente, que

para c suficientemente pequeno, f(c) possui unica distribuicao estacionaria h(c). Para

isso, basta concluirmos que f(c) tem uma unica sub-cadeia.

Com efeito, suponhamos que existam dois subconjuntos de estados S1 e S2, tais que

S1 e S2 formam sub-cadeias em f(c). Como f(c) e uma extensao regular, entao existe

c∗ > 0 tal que S1 e S2 sao sub-cadeias iguais, para todo c < c∗, isto e, existe k ≥ 1 tal

que S1 e S2 sao sub-cadeias iguais em P (n), ∀ n ≥ k. Entretanto, note que

∀ i ∈ S1, limn→+∞

∑j∈S1

P(k,k+n)ij = 1 e ∀ i ∈ S2, lim

n→+∞

∑j∈S1

P(k,k+n)ij = 0,

contradizendo a ergodicidade fraca da cadeia. Logo, cada P (n) possui uma unica sub-

cadeia e, portanto unica distribuicao estacionaria π(n).

Seja h(c), para todo c suficientemente pequeno, a unica distribuicao estacionaria de

f(c) e note que h(c) e obtido como a solucao unica do sistema:

h1(c) =N∑i=1

hi(c)fi1(c)

...

hN(c) =N∑i=1

hi(c)fiN(c)

h1(c) + . . .+ hN(c) = 1

.


Escrevendo o sistema anterior em sua forma matricial (na forma Ax = b), obtemos1− f1,1(c) · · · −fN−1,1(c) −fN,1(c)

.... . .

......

−f1,N−1(c) · · · 1− fN−1,N−1(c) −fN,N−1(c)1 1 · · · 1 1

︸︷︷︸

A

·

h(c)1

...

h(c)N−1

h(c)N

︸︷︷︸

x

=

0...

0

1

︸︷︷︸

b

.

Usando a regra de Cramer para resolucao de sistemas lineares, temos que

h(c)i =Qi(c)

Q(c), i = 1, 2, . . . , N,

sendo Qi(c) (i = 1, 2, . . . , N) o determinante da matriz obtida de A substituindo-se a

i-esima coluna pelo vetor b, e Q(c) o determinante da matriz A. Note que Qi(c) (i =

1, 2, . . . , N) e Q(c) sao somas (ou diferencas) finitas de produtos finitos de funcoes

fij(c).

Se as funcoes fij(c) pertencem a classe CRVL, entao todas as funcoes hi(c) serao

de variacao limitada e pelo Teorema 2.3.1, segue que {P (n)} e EF.

Se as funcoes fij(c) pertencem a classe CAM, entao podemos escrever a derivada

de h(c)i por

h′(c)i =Q′i(c)Q(c)−Qi(c)Q

′(c)

Q2(c),

o qual o numerador e, agora, a diferenca de duas somas finitas de produtos finitos

das funcoes fij(c). Como h′i(c) muda de sinal finitas vezes no intervalo (0, 1] e sao

assintoticamente monotonas, segue que h(c) e de variacao limitada. Novamente pelo

Teorema 2.3.1 {P (n)} e EF.

2

A seguinte proposicao enumera algumas classes de funcoes definidas no intervalo

(0, 1] que sao CAM e/ou CRVL.

Proposicao 2.3.1 (Anily e Federgruen [1]). As seguintes classes de funcoes definidas

no intervalo (0, 1] sao CAM e/ou CRVL.

1. Dos polinomios (CAM e CRVL);

2. Das funcoes racionais (CAM e CRVL);

3. Das funcoes racionais com restricoes (definidas por mais de uma sentenca)(CRVL);


4. Das funcoes racionais exponenciais (CAM).

Dessa forma, se {P (n)} e uma cadeia Ef com extensao regular f(c) com c ∈ (0, 1]

e com suas componentes pertencentes a alguma das classes de funcoes acima, entao a

cadeia e EF.

Capıtulo 3

Resultados Assintoticos em Cadeias

de Markov com Transicoes Raras

Seja F = ({Xn}n∈N,S, Pβ)β∈R+ uma famılia de Cadeias de Markov Homogeneas

com espaco de estados S = {1, 2, . . . , N} e matrizes de transicao Pβ tais que para todo

i, j ∈ S

limβ→+∞

− 1

βlogPβ(Xn = j|Xn−1 = i) = V (i, j), (3.1)

sendo V : S× S→ R+3 ∪ {+∞}. Neste caso, a famılia F e dita ter Transicoes Raras.

Cadeias de Markov com Transicoes Raras aparecem nos mais variados contextos,

inclusive, na otimizacao estocastica via algoritmos aleatorios como, por exemplo, o

Simulated Annealing Generalizado (veja Catoni [2], Trouve [11]) e o Algoritmo Genetico

(veja Suzuki [10]). Muitas questoes foram estudadas sobre essa classe de Cadeias de

Markov, entre elas esta o comportamento limite de suas distribuicoes estacionarias,

recentemente usado por Suzuki [10] no estudo da convergencia do Algoritmo Genetico,

e a distribuicao do tempo de entrada em um subconjunto nao vazio de estados.

Neste capıtulo revisamos os resultados sobre o comportamento assintotico das dis-

tribuicoes estacionarias (pre-requisito para qualquer outro estudo sobre esse tema) e o

tempo medio de entrada em subconjuntos de estados em Cadeias de Markov com Tran-

sicoes Raras usando o conceito de W -grafo, metodo grafico desenvolvido por Freidlin

e Wentzell [4] do qual se obtem expressoes fechadas para a distribuicao estacionaria

e o tempo medio de entrada em um subconjunto nao vazio de estados de Cadeias de

3R+ = [0,+∞)

29

3.1 W -grafos 30

Markov Homogeneas irredutıveis. Destacamos neste capıtulo, o calculo da distribuicao

estacionaria da Cadeia de Markov associada ao modelo de Ehrenfest, como aplicacao

do conceito de W -grafo.

3.1 W -grafos

Sejam E um conjunto finito de elementos, W ⊂ E um subconjunto nao-vazio de

E e W c seu complementar. Um W -grafo e um grafo orientado com vertices em E que

nao contem nenhuma aresta partindo dos vertices em W e e tal que, para todo i ∈ W c

existe um unico caminho no grafo ligando i a algum j ∈ W . Veja a Figura 3.1.

i

jW

Figura 3.1: Exemplo de um W -grafo


g, grafo orientado em E;

(i→ j), aresta partindo de i para j em g;

Definicao 3.1.1. Para todo grafo orientado g em E e i ∈ E, definimos

g(i) = {j ∈ E; (i→ j) ∈ g}

3.1 W -grafos 31

e

gn(i) =⋃

j∈gn−1(i)

g(j) = {j ∈ E; (i = i1 → i2 → · · · → in = j) ∈ g}.

Em outras palavras, g(i) representa o conjunto de elementos de E que estao ligados

com i por exatamente uma aresta partindo de i e gn(i) e o conjunto de elementos de

E ligados com i por um caminho de exatamente n arestas saindo de i.

Definicao 3.1.2 (W -grafo). Seja W um subconjunto nao-vazio arbitrario de E. Um

grafo orientado g com vertices em E e dito um W -grafo se, e somente se

1. Nenhuma aresta inicia em vertices de W e exatamente uma aresta inicia em cada

vertice de W c;

2. Para todo i ∈ E tem-se que i /∈ Og(i), sendo Og(i) =+∞⋃n=1

gn(i) a orbita do vertice

i no grafo g. Em outras palavras, nao ha ciclos em g.

Equivalentemente, podemos substituir a condicao 2 por:

2’. Para todo i ∈ W c tem-se que Og(i) ∩W 6= ∅, ou seja, para todo i ∈ W c existe

um caminho orientado para algum j ∈ W .


G(W ), conjunto de todos os W -grafos;

G(i), conjunto de todos os {i}-grafos;

Observacao. Segue da definicao anterior que, para todo i ∈ W c existe um unico j ∈ Etal que (i→ j) ∈ g, ou seja, g(i) e unico.

Definicao 3.1.3 (Grafos Gi,j(W )). Para todo i ∈ E e j ∈ W , definimos

Gi,j(W ) =

{g ∈ G(W ); j ∈ Og(i)}, se i ∈ W c;

G(W ), se i = j;

∅, se i ∈ W\{j}.

Ou seja, Gi,j(W ) representa o conjunto de todos os W -grafos que contem um ca-

minho ligando o vertice i ao vertice j. Assim, para todo i ∈ E e j ∈ W tem-se que

Gi,j(W ) ⊆ G(W ).

Exemplo 6. Suponhamos um conjunto E com quatro elementos quaisquer, digamos

E = {i, j, k, l} e tomemos, por exemplo, W = {i, j}. Entao, o conjunto G(W ) e dado

pelos grafos:

3.2 Teoremas para Cadeias de Markov Irredutıveis 32

j

k k

i ik

i

j

k

l

i

j

k

l

i

j

l

k i i

lj l

j

k

l

k

l

i

lj j

g1 g2 g3

g4g5 g6

g7 g8 G(W )

Figura 3.2

Assim, terıamos os conjuntos Gl,i(W ) = {g1, g2, g6, g7}, Gk,j(W ) = {g4, g5, g6, g8},entre outros.

3.2 Teoremas para Cadeias de Markov Irredutıveis

Seja {Xn}n∈N uma Cadeia de Markov Homogenea irredutıvel4 com espaco de estados

S = {1, 2, . . . , N} e matriz de transicao P = (pij)(i,j)∈S×S. Nesta secao, abordamos os

resultados que estabelecem formulas para o calculo das distribuicoes estacionarias de

Cadeias de Markov Homogeneas irredutıveis, bem como para o valor esperado para a

primeira visita da cadeia a um subconjunto nao vazio de estados.

Definicao 3.2.1. Sejam P a matriz de transicao de uma Cadeia de Markov Homogenea

4Uma Cadeia de Markov Homogenea com matriz de transicao P e dita ser irredutıvel se, para todoi, j ∈ S, pnij > 0 para algum n ≥ 1.


com espacos de estados S e W ⊂ S nao-vazio. Definimos P restrita a W c ×W c por

P |W c×W c = (pij)(i,j)∈W c×W c ,

Exemplo 7. Considere uma Cadeia de Markov Homogenea com espaco de estados

S = {1, 2, 3, 4} e matriz de transicao

P =

0 1 0 0

1/2 0 1/4 1/4

0 0 0 1

0 0 1 0

.

Seja W = {3}. Logo, W c = {1, 2, 4} e

P |W c×W c =

0 1 0

1/2 0 1/4

0 0 0

.

Definicao 3.2.2. Sejam W ⊂ S nao vazio e g ∈ G(W ). Definimos a probabilidade

p(g) por:

p(g) =∏

(i→j)∈g

pij =∏

(i→j)∈g

P (Xn = j|Xn−1 = i),

sendo (i→ j) ∈ g a aresta partindo do vertice i para o vertice j no grafo g.

E imediato que se uma Cadeia de Markov e irredutıvel, entao para todo W ⊂ S

nao vazio existe um grafo g ∈ G(W ) tal que

p(g) > 0.

O teorema a seguir, estabelecido por Catoni [2], e usado para escrever as formulas

para o tempo medio de entrada em subconjuntos arbitrarios nao vazios de estados e

para a distribuicao estacionaria da matriz de transicao P . Antes, demonstraremos o

lema a seguir, que sera usado na demonstracao do teorema.

Lema 3.2.1. Sejam P a matriz de transicao de uma Cadeia de Markov Homogenea

irredutıvel com espaco de estados S, W ⊂ S nao vazio e i, j ∈ W c. Consideremos os

conjuntos C1 = {(k, g); k ∈ {i}c, g ∈ Gi,j(W ∪ {j})} e C2 = {(k, g); k ∈ W c ∩ {i}c, g ∈Gk,j(W ∪ {j})}.


(a) Se i 6= j, entao a funcao ξ1 : C1 → C2 dada por

ξ1(k, g) =

{(k, g) se g ∈ Gk,j(W ∪ {j})

(g(i), (g ∪ {(i→ k)})\{(i→ g(i))}) se g /∈ Gk,j(W ∪ {j})

e bijetiva e ∑(k,g)∈C1

p(g)pik =∑

(k,g)∈C2

p(g)pik.

(b) Se i = j, entao a funcao ξ2 : C1 ∩ Cc2 → G(W ) dada por

ξ2(k, g) = g ∪ {(j → k)}

e bijetiva e ∑(k,g)∈C1∩Cc

2

p(g)pik =∑

g∈G(W )

p(g).

Demonstracao. Suponhamos i 6= j. Para verificarmos que ξ1 e bijetiva veremos que,

para todo (k, g) ∈ C2 existe um unico par (k, g) ∈ C1 tal que ξ1(k, g) = (k, g).

De fato, dado (k, g) ∈ C2, temos que k ∈ W c ∩ {i}c e g ∈ Gk,j(W ∪ {j}). Observe,

neste caso, que k pode ser j, pois j /∈ W e j 6= i, e daı, Gk,j(W ∪ {j}) = G(W ∪ {j}).

Se j ∈ Og(i), entao g ∈ Gi,j(W ∪ {j}).(veja ilustracao na Figura 3.3).

W ∪ {j}

ik

j

Figura 3.3

Como k ∈ W c ∩ {i}c, temos que k ∈ {i}c. Assim, tomando (k, g) = (k, g) teremos


(k, g) ∈ C1 e

ξ1(k, g) = (k, g).

Se j /∈ Og(i), entao g /∈ Gi,j(W ∪ {j}). Neste caso, considere o unico vertice g(i)

tal que a aresta (i→ g(i)) ∈ g, e note que g(i) ∈ {i}c (veja ilustracao na Figura 3.4).

W ∪ {j}j

ki

g(i)

Figura 3.4

Tomando k = g(i) e g = (g∪{(i→ k)})\{(i→ g(i))}, temos que g ∈ Gi,j(W ∪{j})(veja ilustracao na Figura 3.5).

W ∪ {j}j

ki

g(i)

Figura 3.5


Assim, o par (k, g) ∈ C1 e

ξ1(k, g) = (k, g).

Observe que, em ambos os casos, o par (k, g) ∈ C1 foi obtido de maneira unica.

Logo, segue que ξ1 e bijetiva.

Do fato de ξ1 bijetiva, temos que∑(k,g)∈C1

p(g)pikξ1=

∑(k,g)∈C2

p(g)pik,

donde concluımos a verificacao de (a).

Agora, suponhamos i = j. Para provarmos que ξ2 e bijetiva verificaremos que, para

todo g ∈ G(W ) existe um unico par (k, g) ∈ C1∩Cc2 tal que ξ2(k, g) = g. Ou seja, vamos

encontrar um unico par (k, g) ∈ {(k, g) ∈ (W ∩{i}c)×G(W ∪{i}); g /∈ Gk,i(W ∪{i})}.Com efeito, dado g ∈ G(W ) considere o unico vertice g(i) tal que a aresta (i →

g(i)) ∈ g (veja ilustracao na Figura 3.6). Observe, neste caso, que g(i) ∈ W ∩ {i}c,pois i ∈ W c.

i

W

g(i)

Figura 3.6

Assim, tomando (k, g) = (g(i), g\{(i → g(i))} teremos (k, g) ∈ C1 ∩ Cc2, pois

g ∈ G(W ∪ {j}) e g /∈ Gk,i(W ∪ {i}) (veja ilustracao na Figura 3.7).


i

W ∪ {i}

g(i)

Figura 3.7

Como ξ2(k, g) = g e (k, g) e unico, por consequencia de g(i) ser unico, concluımos

que ξ2 e bijetiva.

De ξ2 ser bijetiva, temos que∑(k,g)∈C1∩Cc

2

p(g)pik =∑

(k,g)∈C1∩Cc2

p(g ∪ {(j → k)})

ξ2=

∑g∈G(W )

p(g),

o que conclui a prova de (b).

2

Teorema 3.2.1 (Catoni [2]). Sejam {Xn}n∈N uma Cadeia de Markov Homogenea ir-

redutıvel com matriz de transicao P e espaco de estados S finito. Dados W ⊂ S nao

vazio e i, j ∈ W c temos que

(I|W c − p|W c×W c)−1ij =

(+∞∑n=0

pnij|W c×W c

)

=

∑g∈Gi,j(W∪{j}) p(g)∑

g∈G(W ) p(g),

sendo I|W c a matriz identidade restrita a W c.


Demonstracao. Dados i, j ∈ W c, defina

mij =

∑g∈Gi,j(W∪{j})

p(g)

∑g∈G(W )

p(g)

−1 . (3.2)

Vamos mostrar que

(I|W c − P |W c×W c)m = I|W c ,

ou seja, ∑k∈W c

(Iik − pik)mkj = Iij, ∀ i, j ∈ W c. (3.3)

Note que a expressao (3.3) e equivalente a ∑(k,g)∈C1

pikp(g)

∑g∈G(W )

p(g)

−1 = Iij +

∑(k,g)∈C2

pikp(g)

∑g∈G(W )

p(g)

−1 ,sendo C1 = {(k, g); k ∈ {i}c, g ∈ Gi,j(W ∪ {j})} e C2 = {(k, g); k ∈ (W ∪ {i})c, g ∈Gk,j(W ∪ {j})}.

De fato, usando a igualdade pii = 1−∑k∈{i}c

pik, a expressao (3.3) e reescrita por

∑k∈W c

(Iik − pik)mkj = Iij

⇒ (Iii − pii)mij +∑

k∈W c∩{i}c(Iik − pik)mkj = Iij

⇒ mij − (1−∑k∈{i}c

pik)mij +∑

k∈W c∩{i}c(Iik − pik)mkj = Iij

⇒∑k∈{i}c

pikmij = Iij −∑

k∈W c∩{i}c(Iik − pik)mkj.

Como Iik = 0 para todo k ∈ (W ∪ {i}c), vem que∑k∈{i}c

pikmij = Iij +∑

k∈(W∪{i})cpikmkj, (3.4)


e daı, substituindo (3.2) em (3.4), obtemos

∑k∈{i}c

pik


p(g)

∑g∈G(W )

p(g)

−1 =

Iij +∑

k∈(W∪{i})cpik

∑g∈Gk,j(W∪{j})

p(g)

∑g∈G(W )

p(g)

−1 ,ou seja, ∑

(k,g)∈C1

pikp(g)

∑g∈G(W )

p(g)

−1 = Iij +

∑(k,g)∈C2

pikp(g)

∑g∈G(W )

p(g)

−1 ,(3.5)

Pelo Lema 3.2.1(a) temos que ∑(k,g)∈C1

pikp(g)

∑g∈G(W )

p(g)

−1 =

∑(k,g)∈C2

pikp(g)

∑g∈G(W )

p(g)

−1 ,donde concluımos que Iij = 0 quando i 6= j.

Por outro lado, podemos reescrever a equacao (3.2) por ∑(k,g)∈C1∩Cc

2

pikp(g) +∑

(k,g)∈C2

pikp(g)

∑g∈G(W )

p(g)

−1 =

Iii +

∑(k,g)∈C2

pikp(g)

∑g∈G(W )

p(g)

−1 ,quando i = j. Logo, temos que ∑

(k,g)∈C1\C2

pikp(g)

∑g∈G(W )

p(g)

−1 = Iii.

Pelo Lema 3.2.1(b), segue que

Iii = 1.

2

Definicao 3.2.3. Sejam {Xn}n∈N uma Cadeia de Markov Homogenea com espaco de

estados S finito e W ⊂ S nao-vazio. Definimos o tempo de primeira entrada em W


por

τ(W ) = inf{n ≥ 0;Xn ∈ W}.

Lema 3.2.2. Sejam {Xn}n∈N uma Cadeia de Markov Homogenea com matriz de tran-

sicao P e espaco de estados S finito. Para todo W ⊂ S nao vazio e i ∈ W c tem-se

P (τ(W ) > n|X0 = i) =∑j∈W c

pnij|W c×W c ,

sendo pnij|W c×W c a entrada ij da matriz P n|W c×W c.

Demonstracao. De fato. Observe que

P (τ(W ) > n|X0 = i) = P (Xn ∈ W c, Xn−1 ∈ W c, . . . , X1 ∈ W c|X0 = i)

=∑j∈W c

P (Xn = j,Xn−1 ∈ W c, . . . , X1 ∈ W c|X0 = i)

=∑j∈W c

∑k∈W c

P (Xn = j,Xn−1 = k, . . . , X1 ∈ W c|X0 = i)

...

=∑j∈W c

∑k∈W c

· · ·∑l∈W c

P (Xn = j,Xn−1 = k, . . . , X1 = l|X0 = i)

Agora, pela Regra do Produto e da Propriedade de Markov segue que

P (Xn = j,Xn−1 = k, . . . , X1 = l|X0 = i) = pkjpmk . . . pil.

Da definicao de produto de matrizes, obtemos

∑j∈W c

∑k∈W c

· · ·∑l∈W c

P (Xn = j,Xn−1 = k, . . . , X1 = l|X0 = i)

=∑j∈W c

∑k∈W c

· · ·∑l∈W c

pkjpmk . . . pil

=∑j∈W c

∑k∈W c

· · ·∑r∈W c

pkjpmk . . . prs∑l∈W c

pilplr


=∑j∈W c

∑k∈W c

· · ·∑r∈W c

pkjpmk . . . p2ir|W c×W c

...

=∑j∈W c

∑k∈W c

pkjpn−1ik |W c×W c

=∑j∈W c

pnij|W c×W c .

Portanto,

P (τ(W ) > n|X0 = i) =∑j∈W c

pnij|W c×W c .

2

O teorema seguinte estabelece uma expressao fechada para o calculo do tempo

esperado para a primeira visita de uma Cadeia de Markov a um subconjunto arbitrario

nao vazio de estados W dado que o processo inicia em algum estado i ∈ W c usando

W -grafos.


redutıvel com matriz de transicao P e espaco de estados S finito. Para todo W ⊂ Snao vazio e i ∈ W c tem-se

E(τ(W )|X0 = i) =

∑j∈W c

∑g∈Gi,j(W∪{j}) p(g)∑g∈G(W ) p(g)

.

Demonstracao.

E(τ(W )|X0 = i) =∞∑n=0

P (τ(W ) > n|X0 = i)

=∞∑n=0

∑j∈W c

pnij|W c×W c , pelo Lema 3.2.2

=∑j∈W c

∞∑n=0

pnij|W c×W c

=

∑j∈W c

∑g∈Gi,j(W∪{j}) p(g)∑g∈G(W ) p(g)

, pelo Teorema 3.2.1

2

Para determinar a expressao para o calculo da unica distribuicao estacionaria da

matriz de transicao P , usaremos o seguinte lema.


Lema 3.2.3. Seja P a matriz de transicao de uma Cadeia de Markov Homogenea

irredutıvel com espaco de estados S, e seja i ∈ S. Consideremos, para cada k 6= i, o

conjunto Ak = {(j, g) : j 6= i, g ∈ Gj,k({i, k})} e a funcao ϕk : Ak → G(k) definida

por:

ϕk(j, g) = g ∪ {(i→ j)}.

Entao, ϕk e bijetiva e∑k 6=i

∑j 6=i

∑g∈Gj,k({i,k})

pijp(g) =∑k 6=i

∑g∈G(k)

p(g).

Demonstracao. Para verificarmos que ϕk e bijetiva veremos que, para todo g ∈ G(k)

existe um unico par (j, g) ∈ Ak tal que ϕk(j, g) = g.

De fato, dado g ∈ G(k) considere o unico vertice g(i) tal que (i → g(i)) ∈ g e

digamos que j = g(i) (veja ilustracao na Figura 3.8). Observe, neste caso, que j pode

ser k e daı, Gj,k({i, k}) = G({i, k}) .

k

i

g(i)

Figura 3.8

Fazendo g = g\{(i → j)} (note que g e unico, pois j e unico), teremos que g ∈Gj,k({i, k}), como ilustra a Figura 3.9.


i

k

g(i)

Figura 3.9

Note que (j, g) ∈ Ak e o unico par tal que ϕk(j, g) = g. Logo, ϕk e bijetiva.

Pelo que vimos, para todo g ∈ G(k) existem unicos (j, g) ∈ Ak tal que g ∪ {(i →j)} = g. Logo, para todo g ∈ G(k),

p(g) = p(g ∪ {(i→ j)}) = p(g)pij.

Portanto, para cada k 6= i,∑k 6=i

∑j 6=i

∑g∈Gj,k({i,k})

pijp(g) =∑k 6=i

∑(j,g)∈Ak

pijp(g)

ϕk=∑k 6=i

∑g∈G(k)

p(g).

2

O teorema a seguir, de Freidlin e Wentzell [4], estabelece uma maneira alternativa

para o calculo da unica distribuicao estacionaria da matriz de transicao P de uma

Cadeia de Markov Homogenea irredutıvel usando o conceito de W -grafos. Para a

prova deste teorema, usamos a demonstracao dada por Catoni [2].


redutıvel com matriz de transicao P e espaco de estados S finito. A unica distribuicao


estacionaria de P e dada por:

πi =

∑g∈G(i)

p(g)

∑k∈S

∑g∈G(k)

p(g)

−1 , i ∈ S.

Demonstracao. Seja ν(i) = inf{n ≥ 1;Xn = i}. Das Proposicoes A.0.3 e A.0.5,

temos que

πi = E(ν(i)|X0 = i)−1

(A.1)=

(1 +

∑j 6=i

pijE(τ(i)|X0 = j)

)−1

=

(∑g∈G(i) p(g)∑g∈G(i) p(g)

+

∑j 6=i pij

∑k 6=i∑

g∈Gj,k({i,k}) p(g)∑g∈G(i) p(g)

)−1, pelo Teorema 3.2.2

=

( ∑g∈G(i) p(g)∑

g∈G(i) p(g) +∑

j 6=i∑

k 6=i∑

g∈Gj,k({i,k}) pijp(g)

)

=

( ∑g∈G(i) p(g)∑

g∈G(i) p(g) +∑

k 6=i∑

g∈G(k) p(g)

), pelo Lema 3.2.3

=

( ∑g∈G(i) p(g)∑

k∈S∑

g∈G(k) p(g)

).

2

Exemplo 8 (Modelo de Ehrenfest - [7]). Sejam 2b bolas numeradas de 1 ate 2b dis-

tribuıdas em duas urnas, I e II. Suponha que no tempo n um numero entre 1 e 2b

e escolhido ao acaso e a bola com este numero e transferida da urna onde esta para

a outra. Seja {Xn}n∈N o numero de bolas na urna I apos a n-esima transferencia.

Entao {Xn}n∈N e uma Cadeia de Markov com espaco de estados S = {0, 1, 2, . . . , 2b} e

matriz de transicao

P =

0 1 0 0 · · · 0 0 01

2b0 1− 1

2b0 · · · 0 0 0

02

2b0 1− 2

2b· · · 0 0 0

......

......

. . ....

......

0 0 0 0 · · · 1− 1

2b0

1

2b0 0 0 0 · · · 0 1 0

.


Sua representacao grafica e

2b − 1210 2b· · ·

1 1− 1

2b1− 2

2b

2

2b

1

2b

1

2b

2

2b

3

2b1− 1

2b1

Podemos perceber claramente, pelo grafo anterior, que a cadeia e irredutıvel e, como

P e finita, segue que a unica distribuicao estacionaria da cadeia e dada por

πi =

∑g∈G(i) p(g)∑2b

j=0

∑g∈G(j) p(g)

, i ∈ {0, 1, . . . , 2b}. (3.6)

Agora, observe que o unico grafo g ∈ G(0) tal que p(g) 6= 0 e

· · ·0 1 2

1

2b

2

2b

3

2b1

2b

donde obtemos ∑g∈G(0)

p(g) =2b∏k=1

k

2b,

e o unico grafo g ∈ G(2b) tal que p(g) 6= 0 e

0 2b· · · 2b− 2 2b− 1

1

2b

2

2b

3

2b1

implicando ∑g∈G(2b)

p(g) =2b∏k=1

k

2b.

Alem disso, para cada i ∈ {1, 2, . . . , 2b − 1} temos que o unico grafo g ∈ G(i) tal que

p(g) 6= 0 e


· · ·· · ·0 1 i 2b

2b− 1

2b1

2b− (i− 1)

2b

i+ 1

2b

1

2b

e ∑g∈G(i)

p(g) =2b∏

k=2b−(i−1)

k

2b·

2b∏k=i+1

k

2b.

Substituindo estes valores em (3.6), obtemos

π0 = π2b =

∏2bk=1

k2b∏2b

k=1k2b

+∏2b

k=1k2b

+∑2b−1

j=1

∏2bk=2b−(j−1)

k2b·∏2b

k=j+1k2b

,

e, para i ∈ {1, 2, . . . , 2b− 1}

πi =

∏2bk=2b−(i−1)

k2b·∏2b

k=i+1k2b∏2b

k=1k2b

+∏2b

k=1k2b

+∑2b−1

j=1

∏2bk=2b−(j−1)

k2b·∏2b

k=j+1k2b

.

Do Apendice A, segue que a distribuicao estacionaria da cadeia {Xn}n∈N e dada por

πi =

(2b

i

)2−2b, ∀i ∈ {0, 1, . . . , 2b}.

Para este exemplo, constatamos que o calculo da distribuicao estacionaria torna-se

mais simples por meio de W -grafos, ja que pelo metodo classico, isto e, pela resolucao

do sistema formado pelas equacoes π = πP e π · 1 = 1, a solucao e dada de maneira

recursiva (veja Kannan [7]).

3.3 Resultados Assintoticos para o Tempo Medio e

Distribuicoes Estacionarias

Definicao 3.3.1. Seja S um espaco de estados finito. Considere uma famılia de Ca-

deias de Markov Homogeneas F = ({Xn}n∈N, S, Pβ)β∈R+ indexadas por um parametro

positivo β com espaco de estados S e uma funcao V : S× S→ R+ ∪ {+∞}. A famılia

F e dita ter transicoes raras com funcao V se para todo i, j ∈ S

limβ→+∞

− 1

βlogPβ(Xn = j|Xn−1 = i) = V (i, j), (3.7)


com a convencao que log 0 = −∞.


pβ(i, j) = Pβ(Xn = j|Xn−1 = i);

Pβ = (pβ(i, j))(i,j)∈S×S, matriz de transicao da cadeia {Xn}n∈N;

πβ = (πβ(i))i∈S, distribuicao estacionaria da matriz Pβ.

Observacoes:

1. Este β e, por exemplo, a temperatura inversa, no caso em que F esta associado

ao algoritmo Simulated Annealing.

2. Dada uma famılia F = ({Xn}n∈N,S, Pβ)β∈R+ , podemos associar a F uma Cadeia

de Markov Nao-Homogenea com sequencia de matrizes de transicao dada por

{P (βn)}n∈N e probabilidades de transicoes

Pβ.(Xn = j|Xn−1 = i) = pij(βn), i, j ∈ S.

Exemplo 9. A Cadeia de Markov Nao-Homogenea com a sequencia de matrizes de

transicao {P (n)} dada por

P (n) =

(e−n 1− e−n

1 0

)

tem transicoes raras.

De fato, basta verificar que todas as entradas da matriz P (n) satisfaz a condicao

(3.7).

As entradas p11(n), p21(n) e p22(n) claramente satisfazem a condicao (3.7). Veri-

fiquemos a entrada p12(n).

limn→+∞

− 1

nlog(p12(n)) = lim

n→+∞− 1

nlog(1− e−n)

= limn→+∞

e−n

1− e−n, pela Regra de L′Hopital,

= 0.

Mas, a Cadeia de Markov Nao-Homogenea com a sequencia de matrizes de transicao


{Q(n)} dada por

Q(n) =

(1− e−n e−n

sin2(nπ

2

)1− sin2

(nπ2

) )nao tem transicoes raras.

Com efeito, considere as subsequencias de inteiros positivos an = 2n− 1 e bn = 2n

e note que

limn→+∞

− 1

nlog(

sin2(anπ

2

))= lim

n→+∞− 1

nlog 1

= 0,

porem,

limn→+∞

− 1

nlog

(sin2

(bnπ

2

))= lim

n→+∞− 1

nlog 0

= +∞.

Ou seja, nao existe o limite

limn→+∞

− 1

nlog(

sin2(nπ

2

))e, portanto, {Q(n)} nao tem transicoes raras.

Definicao 3.3.2. A funcao V : S × S → R+ ∪ {+∞} e dita ser irredutıvel, se para

todo i, j ∈ S existe um caminho i = i0 → i1 → · · · → ir = j tal que

V (ik, ik+1) < +∞, k = 0, 1, . . . , r.

Teorema 3.3.1 (Catoni [2]). Seja F = ({Xn}n∈N,S, Pβ)β∈R+ uma famılia de Cadeias

de Markov Homogeneas irredutıveis com Transicoes Raras e funcao V irredutıvel. En-

tao suas distribuicoes estacionarias πβ sao tais que, para todo i ∈ S

limβ→+∞

− 1

βlog πβ(i) = U(i) = min

g∈G(i)V (g)−min

j∈Sming∈G(j)

V (g), (3.8)

sendo V (g) =∑

(i→j)∈g

V (i, j).

Alem disso, para todo W ⊂ S nao vazio e i ∈ W c, temos que

limβ+→∞

1

βlogEβ(τ(W )|X0 = i) = min

g∈G(W )V (g)− min

j∈W cmin

g∈G(W∪{j})V (g). (3.9)


A quantidade U(i) e chamada de “energia virtual” do estado i.

Demonstracao. Por hipotese, temos que

limβ→+∞

− 1

βlogPβ(Xn = j|Xn−1 = i) = V (i, j), ∀ i, j ∈ S (3.10)

e, dados i, j ∈ S existe um caminho i = i0 → i1 → · · · → ir = j tal que

V (ik, ik+1) < +∞, k = 0, 1, . . . , r.

Sendo Pβ irredutıvel, pelo Teorema 3.2.3 segue que, para cada i ∈ S

πβ(i) =

∑g∈G(i) pβ(g)∑

j∈S∑

g∈G(j) pβ(g), (3.11)

sendo

pβ(g) =∏

(i→j)∈g

pβ(i, j). (3.12)

Queremos mostrar que

limβ→+∞

− 1

βlog πβ(i) = min

g∈G(i)V (g)−min

j∈Sming∈G(j)

V (g).

Com efeito, de (3.11), temos que

limβ→+∞

− 1

βlog πβ(i)

= limβ→+∞

− 1

βlog

∑g∈G(i)

pβ(g)

− limβ→+∞

− 1

βlog

∑j∈S

∑g∈G(j)

pβ(g)

,

e considerando card(G(W )),W ⊂ S a cardinalidade do conjunto G(W ), segue a se-

guinte desigualdade

maxg∈G(i)

pβ(g) ≤∑g∈G(i)

pβ(g) ≤ card(G(i)) · maxg∈G(i)

pβ(g),

e daı,

1

βlog

(maxg∈G(i)

pβ(g)

)≤ 1

βlog

∑g∈G(i)

pβ(g)

≤ 1

βlog card(G(i)) +

1

βlog

(maxg∈G(i)

pβ(g)

).


Como a funcao log e crescente, temos ainda que

maxg∈G(i)

(1

βlog pβ(g)

)≤ 1

βlog

∑g∈G(i)

pβ(g)

≤ 1

βlog card(G(i))

+ maxg∈G(i)

(1

βlog pβ(g)

).

De (3.10) e (3.12), segue que

limβ→+∞

− 1

βlog pβ(g) = V (g). (3.13)

Assim, passando o limite na desigualdade anterior com β → +∞ e usando (3.13) e o

fato do maximo esta sendo tomado sobre um numero finito de termos, temos que

maxg∈G(i)

(−V (g)) ≤ limβ→+∞

1

βlog

∑g∈G(i)

pβ(g)

≤ maxg∈G(i)

(−V (g)).

Como maxg∈G(i)

(−V (g)) = − ming∈G(i)

V (g), segue do Teorema do Confronto que

limβ→+∞

− 1

βlog

∑g∈G(i)

pβ(g)

= ming∈G(i)

V (g). (3.14)

De maneira analoga, obtemos que

limβ→+∞

− 1

βlog

∑j∈S

∑g∈G(j)

pβ(g)

= minj∈S

ming∈G(j)

V (g). (3.15)

De (3.13) e (3.14), temos finalmente

limβ→+∞

− 1

βlog πβ(i) = min

g∈G(i)V (g)−min

j∈Sming∈G(j)

V (g).

Agora, consideremos W ⊂ S e i ∈ W c. Do Teorema 3.2.2, temos que

limβ→+∞

1

βlogEβ(τ(W )|X0 = i) = lim

β→+∞

1

βlog

∑j∈W c


pβ(g)

− lim

β+→∞

1

βlog

∑g∈G(W )

pβ(g)

.


Observe que,

maxj∈W c

maxg∈Gi,j(W∪{j})

pβ(g) ≤∑j∈W c


pβ(g)

≤ card(C) · maxj∈W c


pβ(g),

sendo C = {(j, g); j ∈ W c, g ∈ Gi,j(W ∪ {j})}.Logo,

1

βlog max

j∈W cmax

g∈Gi,j(W∪{j})pβ(g) ≤ 1

βlog

∑j∈W c


pβ(g)

≤ 1

βlog card(C) +

1

βlog max

j∈W cmax

g∈Gi,j(W∪{j})pβ(g),

e como a funcao log e crescente, temos que

maxj∈W c


(1

βlog pβ(g)

)≤ 1

βlog

∑j∈W c


pβ(g)

≤ 1

βlog card(C) + max

j∈W cmax

g∈Gi,j(W∪{j})

(1

βlog pβ(g)

).

Usando (3.13) e o fato que o maximo esta sendo tomado sobre uma quantidade finita

de termos, temos que

− minj∈W c

ming∈Gi,j(W∪{j})

V (g) ≤ limβ→+∞

1

βlog

∑j∈W c


pβ(g)

≤ − min

j∈W cmin

g∈Gi,j(W∪{j})V (g)

Segue do Teorema do Confronto que

limβ→+∞

1

βlog

∑j∈W c


pβ(g)

= − minj∈W c

ming∈Gi,j(W∪{j})

V (g). (3.16)

De modo analogo, podemos mostrar que

limβ→+∞

1

βlog

∑g∈G(W )

pβ(g)

= − ming∈G(W )

V (g). (3.17)


Portanto, de (3.16) e (3.17), segue que

limβ→+∞

1

βlogEβ(τ(W )|X0 = i) = min

g∈G(W )V (g)− min

j∈W cmin

g∈Gi,j(W∪{j})V (g).

2

Observe que, para calcularmos a energia virtual de um estado qualquer em uma

famılia F de Cadeias de Markov Homogeneas irredutıveis com Transicoes Raras nao e

necessario conhecermos as entradas de suas matrizes de transicao, mas, simplesmente

como estas entradas se comportam no limite, facilitando a analise da convergencia de

algoritmos aleatorios, ja que em muitos algoritmos e inviavel determinar as probabili-

dades de transicao.

Vale ainda ressaltar que no estudo da ergodicidade forte, o comportamento limite

das distribuicoes estacionarias tem papel fundamental (veja Teorema 2.1.5). Sendo

assim, os resultados obtidos nesta secao sobre o comportamento assintotico das distri-

buicoes estacionarias em Cadeias de Markov com Transicoes Raras pode ser utilizado

no estudo da convergencia de Cadeias de Markov Nao-Homogeneas.

Capıtulo 4

Conclusoes

O objetivo principal do nosso trabalho foi reunir alguns resultados gerais em Cadeias

de Markov Nao-Homogeneas utilizados com frequencia no estudo da convergencia de

algoritmos aleatorios que sao usados para estimar pontos mınimos ou maximos globais

de funcoes.

Nossa pesquisa focalizou resultados onde o comportamento ergodico fraco e forte

de Cadeias de Markov sao caracterizados sob a hipotese da existencia da sequencia de

distribuicoes estacionarias e resultados sem esta suposicao. Ha casos onde nao pode-

mos determinar uma expressao fechada para as distribuicoes estacionarias, tornando

o estudo da convergencia das cadeias, usando as distribuicoes estacionarias, inviavel.

Aqui, conseguimos estabelecer o Corolario 2.2.1, que sob algumas hipoteses, garante

a ergodicidade forte de uma cadeia que possui a sequencia de matrizes de transicao

definida por subsequencias convergentes.

Estudamos tambem, condicoes que estabelecem equivalencia entre os conceitos

de ergodicidade. Esta equivalencia simplifica a analise assintotica de cadeias nao-

homogeneas, especialmente nos casos em que o comportamento limite da sequencia de

distribuicoes estacionarias nao pode ser estudado.

Em seguida, fizemos um estudo sobre uma classe particular de Cadeias de Markov

finitas chamadas de Cadeias de Markov com Transicoes Raras. Mais especificamente,

revisamos resultados sobre o comportamento limite de suas distribuicoes estacionarias,

importante pre-requisito para estudos posteriores sobre esta classe de cadeias, e do

tempo medio de entrada em subconjuntos nao vazios arbitrarios de estados. Aqui,

53

54

falamos sobre o conceito de W -grafo e apresentamos uma maneira alternativa para o

calculo da distribuicao estacionaria de uma Cadeia de Markov Homogenea irredutıvel,

bem como uma aplicacao deste metodo no Modelo de Ehrenfest. Alem disso, fizemos

uma associacao entre a propriedade de “Transicoes Raras” e Cadeias de Markov Nao-

Homogeneas permitindo utilizar os resultados assintoticos sobre o comportamento das

distribuicoes estacionarias de Cadeias de Markov com Transicoes Raras em Cadeias de

Markov Nao-Homogeneas.

Como trabalhos futuros propomos inicialmente encontrar um modelo matematico

onde o Corolario 2.2.1 seja aplicavel. Propomos ainda encontrar exemplos onde o

calculo da distribuicao estacionaria de uma Cadeia de Markov seja mais simples usando

o conceito de W -grafo. Alem disso, vislumbramos determinar condicoes suficientes sob

as quais o calculo da distribuicao estacionaria de uma Cadeia de Markov usando o

metodo por W -grafo seja possıvel quando seu espaco de estados e infinito enumeravel,

algo que ja se mostrou possıvel em exemplos.

Referencias Bibliograficas

[1] Anily, Shoshana e Federgruen, Awi., Ergodicity in Parametric Nonstationary Mar-

kov Chains: An Application to Simulated Annealing Methods, Operations Rese-

arch Society of America, 35: 867-874, 1987.

[2] Catoni, Olivier. Simulated annealing algorithms and Markov chains with rare tran-

sitions. In: Seminaire de probabilites XXXIII. Springer Berlin Heidelberg, 1999.

p. 69-119.

[3] Dorea, Chang C. Y. e Cruz, Juan A. R., Approximation Results for Nonstatio-

nary Homogeneous Markov Chains and Some Applications. The Indian Journal

of Statistics, 66: 243-252, 2004.

[4] Freidlin, M. I. e Wentzell, A. D. Random perturbations of dynamical systems, 1984.

[5] Hajnal, J., Weak Ergodicity in Non-Homogeneous Markov Chains. Theory and

Applications, 54: 233-246, 1958.

[6] Isaacson, Dean L. e Madsen, Richard W., Markov Chains: Theory and Applicati-

ons. John Wiley & Sons, 1976.

[7] Kannan, Dhandapani. An introduction to stochastic processes. New York: North

Holland, 1979.

[8] Paz, A., Ergodic Theorems for Finite Probabilistic Tables. Annals of Mathematical

Statistics, 41: 539-550, 1970.

[9] Parzen, Emanuel. Stochastic processes. Vol. 24. SIAM, 1962.

55

56

[10] Suzuki, Joe et al. A Markov chain analysis of genetic algorithms: large deviation

principle approach. Journal of Applied Probability, v. 47, n. 4, p. 967-975, 2010.

[11] Trouve, Alain. Cycle decompositions and simulated annealing. SIAM Journal on

Control and Optimization, 34: 966-986, 1996.

Apendice A

Resultados e Propriedades Gerais

Resultados usados no Capıtulo 2

Proposicao A.0.1. Se∑n≥1

‖π(n)−π(n+1)‖ <∞ entao {π(n)} e sequencia de Cauchy

na norma ‖ · ‖ e, portanto

limn→∞

π(n) = π.

Proposicao A.0.2. Se P e uma matriz estocastica e Q uma matriz estocastica cons-

tante, entao

PQ = Q.

Resultados usados no Capıtulo 3

Proposicao A.0.3 (Isaacson e Madsen [6]). Seja {Xn}n∈N uma Cadeia de Markov

Homogenea irredutıvel com espaco de estados S finito. Entao {Xn}n∈N e recorrente

positiva.

Proposicao A.0.4 (Kannan [7]). Sejam i, j ∈ S e suponha que P (Xn = j|Xn−1 =

i) > 0. Se i e recorrente, entao j e recorrente e fij = fji = 1, sendo fij =∑n≥1

P (Xn =

j,Xn−1 6= j, . . . , X1 6= j|X0 = i).

Proposicao A.0.5 (Existencia e Unicidade - Isaacson e Madsen [6]). Uma Cadeia de

Markov Homogenea irredutıvel e recorrente positiva com espaco de estados S tem unica

distribuicao estacionaria π dada por

πi = (E(ν(i)|X0 = i))−1 , i ∈ S.

57

58

Proposicao A.0.6 (Parzen [9]). Seja {Xn}n∈N uma Cadeia de Markov Homogenea

irredutıvel e recorrente positiva. Entao:

E(ν(i)|X0 = i) = 1 +∑j 6=i

pijE(τ(i)|X0 = j). (A.1)

Apendice B

Algumas Demonstracoes

Prova de que δ(PQ) = δ(P ) · δ(Q) para o caso em que

P e Q sao matrizes estocasticas 2x2

Sejam P e Q matrizes estocasticas 2x2. Vamos mostrar que δ(PQ) = δ(P ) · δ(Q).

De fato, fazendo

P =

p11 p12

p21 p22

e Q =

q11 q12

q21 q22

,e usando a expressao 2.6, temos que os coefientes ergodicos de P e Q sao dados,

respectivamente, por:

δ(P ) =1

2

2∑k=1

|p1k − p2k| e δ(Q) =1

2

2∑k=1

|q1k − q2k|,

implicando

δ(P )δ(Q) =1

4

(2∑

k=1

|p1k − p2k|

).

(2∑

k=1

|q1k − q2k|

). (B.1)

Por definicao, as entradas da matriz PQ sao dadas por (pq)ij =2∑

k=1

pikqkj, e usando

59

60

novamente a igualdade 2.6, obtemos:

δ(PQ) =1

2

(|

2∑k=1

p1kqk1 −2∑

k=1

p2kqk1|+ |2∑

k=1

p1kqk2 −2∑

k=1

p2kqk2|

)

=1

2

(|

2∑k=1

(p1k − p2k)qk1|+ |2∑

k=1

(p1k − p2k)qk2|

).

Agora, veja que

2∑k=1

(p1k − p2k)qk1 + (p11 − p21)q21 − (p11 − p21)q21 = (p11−21)(q11 − q21)

e

2∑k=1

(p1k − p2k)qk2 + (p11 − p21)q22 − (p11 − p21)q22 = (p11 − p21)(q12 − q22).

Assim, fazendo as manipulacoes necessarias e substituindo as ultimas igualdades

em δ(PQ), vem:

δ(PQ)

=1

2(|(p11 − p21)(q11 − q21)|+ |(p11 − p21)(q12 − q22)|)

=1

4(|(p11 − p21)(q11 − q21)|+ |(p11 − p21)(q12 − q22)|

+|(p11 − p21)(q11 − q21)|+ |(p11 − p21)(q12 − q22)|) .

Usando o fato que

|(p11 − p21)(q11 − q21) + (p12 − p22)(q11 − q21)− (p12 − p22)(q11 − q21)|

= |(p12 − p22)(q11 − q21)|,

e

|(p11 − p21)(q12 − q22) + (p12 − p22)(q12 − q22)− (p12 − p22)(q12 − q22)|

= |(p12 − p22)(q12 − q22)|.

61

Temos finalmente que:

δ(PQ)

=1

4(|(p11 − p21)(q11 − q21)|+ |(p11 − p21)(q12 − q22)|

+|(p12 − p22)(q11 − q21)|+ |(p12 − p22)(q12 − q22)|)

=1

4

(2∑

k=1

|p1k − p2k|

).

(2∑

k=1

|q1k − q2k|

)= δ(P ) · δ(Q)

Calculo da Distribuicao Estacionaria no Modelo de

Ehrenfest

Vimos que a distribuicao estacionaria no Modelo de Ehrenfest e dada por

π0 = π2b =

∏2bk=1

k2b∏2b

k=1k2b

+∏2b

k=1k2b

+∑2b−1

j=1

∏2bk=2b−(j−1)

k2b·∏2b

k=j+1k2b

, (B.2)

e, para i ∈ {1, 2, . . . , 2b− 1}

πi =

∏2bk=2b−(i−1)

k2b·∏2b

k=i+1k2b∏2b

k=1k2b

+∏2b

k=1k2b

+∑2b−1

j=1

∏2bk=2b−(j−1)

k2b·∏2b

k=j+1k2b

. (B.3)

Vamos mostrar que

πi =

(2b

i

)2−2b, ∀i ∈ {0, 1, . . . , 2b}.

De fato, de (B.2), temos que

π0 = π2b =1

1 + 1 +∑2b−1

j=1

∏2bk=2b−(j−1)

k2b·∏2b

k=j+1k2b∏2b

k=1k2b

,

e observe que,∏2bk=2b−(j−1)

k2b·∏2b

k=j+1k2b∏2b

k=1k2b

=

∏2bk=2b−(j−1)

k2b·∏2b

k=j+1k2b∏j

k=1k2b·∏2b

k=j+1k2b

=

∏2bk=2b−(j−1)

k2b∏j

k=1k2b

.

62

Note que, na ultima expressao da igualdade anterior, a quantidade de termos do pro-

dutorio do numerador e igual ao do denominador, entao

∏2bk=2b−(j−1)

k2b∏j

k=1k2b

=

(2b)!

(2b− j)!j!

=

(2b

j

). (B.4)

Logo,

π0 = π2b =1

1 + 1 +∑2b−1

j=1

(2bj

) =1∑2b

j=0

(2bj

) .Para i ∈ {1, 2, . . . , 2b− 1}, temos de (B.3) que

πi =1

2 ·∏2b

k=1k2b∏2b

k=2b−(i−1)k2b·∏2b

k=i+1k2b

+∑2b−1

j=1

∏2bk=2b−(j−1)

k2b·∏2b

k=j+1k2b∏2b

k=2b−(i−1)k2b·∏2b

k=i+1k2b

.

Mas, observe que∏2bk=2b−(j−1)

k2b·∏2b

k=j+1k2b∏2b

k=2b−(i−1)k2b·∏2b

k=i+1k2b

=

∏2bk=2b−(j−1)

k2b·∏i

k=j+1k2b·∏2b

k=i+1k2b∏2b−j

k=2b−(i−1)k2b·∏2b

k=2b−(j−1)k2b·∏2b

k=i+1k2b

=

∏ik=j+1

k2b∏2b−j

k=2b−(i−1)k2b

=

i!j!

(2b−j)!(2b−i)!

=i!(2b− i)!j!(2b− j)!

quando j 6= i e j < i.

63

Quando j 6= i e j > i, obtemos∏2bk=2b−(j−1)

k2b·∏2b

k=j+1k2b∏2b

k=2b−(i−1)k2b·∏2b

k=i+1k2b

=

∏2b−ik=2b−(j−1)

k2b·∏2b

k=2b−(i−1)k2b·∏2b

k=j+1k2b∏2b

k=2b−(i−1)k2b·∏j

k=i+1k2b·∏2b

k=j+1k2b

=

∏2b−ik=2b−(j−1)

k2b∏j

k=i+1k2b

=

(2b−i)!(2b−j)!j!i!

=i!(2b− i)!j!(2b− j)!

De (B.4), temos que ∏2bk=1

k2b∏2b

k=2b−(i−1)k2b·∏2b

k=i+1k2b

=(2b− i)!i!

(2b)!.

Logo,

πi =1

2 · (2b− i)!i!(2b)!

+∑2b−1

j=1

i!(2b− i)!j!(2b− j)

=1

i!(2b− i)!∑2b

j=0

1

j!(2b− j)

=1

i!(2b− i)!(2b)!

∑2bj=0

(2b)!

j!(2b− j)

=1[(

2bi

)]−1∑2bj=0

(2bj

)=

(2bi

)∑2bj=0

(2bj

) .para todo i ∈ {1, 2, . . . , 2b− 1}.

Sendo,

(2b

0

)=

(2b

2b

)= 1, obtemos ainda que

πi =

(2bi

)∑2bj=0

(2bj

) , ∀i ∈ {0, 1, . . . , 2b}.

64

Como2b∑j=0

(2b

j

)= 22b,

temos finalmente que

πi =

(2b

i

)2−2b, ∀i ∈ {0, 1, . . . , 2b}.

2

new ergodicidade em cadeias de markov n~ao-homog^eneas e … · 2017. 11. 2. · entre ambas usando...

Documents