classificação de estados em uma cadeia de markov€¦ · classificação de estados em uma cadeia...

Classificação de estados em

uma cadeia de Markov

Professora Eliana Carvalho



1) Um estado j é absorvente se retornar para ele mesmo, com certeza em uma transição de 𝑃𝑖𝑗 = 1.

Os estados de uma cadeia de Markov podem ser

classificados com base na probabilidade de transição 𝑃𝑖𝑗 de 𝑷.



2) Um estado j é transiente ou transitório se puder

alcançar outro estado mas não puder voltar ao mesmo

estado em que estava com base em outro estado. Isso acontecerá se lim

𝑛→∞𝑃𝑖𝑗𝑛 = 0 para todo i.

3) Um estado j é recorrente se a probabilidade de voltar

ao estado em que estava com base em outros estado é

1, se e somente se o estado não for transiente.

0 e 1 são transientes enquanto os estados 2 e 3 são recorrentes



4) Um estado j é periódico com períodos 𝑡 > 1 se

um retorno só for possível em 𝑡, 2𝑡, 3𝑡,⋯ etapas. Isso significa que sempre que n não for

divisível por t.

1 2 0

1 0,30

0,70



4) Um estado periódico exemplo:

𝑃 =0 0,6 0,40 1 00,6 0,4 0

𝑃2 =0,24 0,76 00 1 00 0,76 0,24

𝑃3 =0 0,904 0,09600 1 00,144 0,856 0

𝑃2 =0,0576 0,9424 00 1 00 0,9424 0,0576

𝑃5 =0 0,97696 0,23040 1 0

0,03456 0,96544 0



• Estados 1 e 2 são transientes

𝑃 =

0 1000

000

0 010,30,4

00,70,6

• Estados 3 e 4 juntos desempenham o papel de

absorventes – conjunto fechado (se comunicam

ou são comunicantes)

Cadeia Ergótica

Uma cadeia de Markov fechada é Ergótica se todos os seus estados forem recorrente e aperiódicos.

1

1 0 0,75 0,25

Estados absorvente e transientes

Os estados 1 e 2 são transientes porque alcançam o

estado 3 mas não podem voltar ao estado anterior.

O estado 3 é absorvente porque 𝑃33 = 1. lim𝑛→∞𝑃𝑖𝑗𝑛 = 0

𝑃 =0,2 0,5 0,30 0,5 0,50 0 1

Exemplo do agricultor, sem fertilizantes

𝑃100 =0 0 10 0 10 0 1

Cadeia irredutível

Cadeia é chamada de irredutível, se tem só uma classe de equivalência.

Definimos também 𝜇𝑖 = 𝑛𝑓𝑖𝑖𝑛∞

𝑛=1 ,

Onde µi indica o número médio de etapas necessárias para retornar ao estado inicial i.

µi é chamado tempo médio de recorrência.

Probabilidades Estacionárias

Em uma Cadeia de Markov irredutível e Ergódica decorrido um número

muito elevado de períodos de tempo n → ∞ , a probabilidade de o

processo estar no estado j é constante e independente do estado inicial i

B W

P16 =B

W0,6677 0,33230,6644 0,3356

A probabilidade chama-se probabilidade estacionária do estado j e

representado por πi.

(pelas equações de Chapman-Kolmogorov) 𝑃𝑖𝑗𝑛+1 pode ser

escrito como o produto [linha i x Pn] x [coluna j de P], então para

n muito grande, podemos escrever

π𝑗 = 𝜋 coluna 𝑗 de 𝑷 , sendo π o vetor linha [𝜋1, 𝜋2, 𝜋3, … , 𝜋𝑠].


Probabilidade de estado no equilíbrio, ou

◦ Probabilidade do Estado Estável, ou

◦ Propriedade duradouras da cadeia de Markov, e

Tempos médios de retorno de Cadeias Ergótica:

[Probabilidade de uma transição saindo do estado j] =

= [Probabilidade de uma transição para o estado j]

O que significa que a longo prazo a permanência em cada estado é

dada pelo vetor π, independentemente do estado inicial.


sistema de equações (𝜋 = 𝜋𝑃)

número de equações é igual ao número de variáveis,

sistema é indeterminado, equações é redundante;

no exemplo do whisky, quais as probabilidades estacionárias?

𝜋𝐵 = 0,90𝜋𝐵 + 0,20𝜋𝑊

𝜋𝑊 = 0,10𝜋𝐵 + 0,80𝜋𝑊

𝜋𝐵 + 𝜋𝑊 = 1

𝜋𝑗 = 𝜋𝑗𝑖 𝑝𝑖𝑗 (1)

𝜋𝑗𝑗 = 1 (2)

𝜋𝐵 𝜋𝑊 = 𝜋𝐵 𝜋𝑊0,90 0,100,20 0,80

𝜋𝐵 = 0,6666

𝜋𝑊 = 0,3333

Tempo médio de retorno ou

Tempo médio de recorrência

Duas medidas quantitativas de interesse para

cadeias de Markov Ergódicas são:

◦ Número médio de passos para retornar a um

determinado estado;

◦ Número médio de passos para ir de um estado para

outro.


Tempo médio de recorrência

valor esperado E tij = μij tempo esperado de

transição.

o número esperado de períodos será igual a

𝜇𝐵𝐵 = 1 + 0,10𝜇𝑊𝐵 𝜇𝐵𝐵 = 1,5 𝜇𝐵𝑊 = 1 + 0,90𝜇𝐵𝑊 𝜇𝐵𝑊 = 10 𝜇𝑊𝐵 = 1 + 0,80𝜇𝑊𝐵 𝜇𝑊𝐵 = 5 𝜇𝑊𝑊 = 1 + 0,20𝜇𝐵𝑊 𝜇𝑊𝑊 = 3

μij = 1 + p𝑖𝑘 x μkj𝑘≠𝑗

P = 0,90 0,100,20 0,80

No exemplo do whisky

períodos


tempo médio de recorrência

𝜇𝐵𝐵 =1

0,6666 𝜇𝐵𝐵 = 1,5

𝜇𝑊𝑊 =1

0,3333 𝜇𝑊𝑊 = 3

μij =1

𝜋𝑗

no exemplo do whisky, quais as probabilidades estacionárias?

𝜋𝐵 = 0,6666 𝜋𝑊 = 0,3333

𝑗 = 1,2, … , 𝑛

Exemplo do agricultor

No longo prazo, a condição do solo será boa

aproximadamente 10% das vezes, razoável 52% das

vezes e ruim 37% das vezes.

𝜋1𝜋2𝜋3 = 𝜋1𝜋2𝜋3

0,3 0,6 0,10,1 0,6 0,30,05 0,4 0,55

𝜋1 = 0,3𝜋1 + 0,1𝜋2 + 0,05𝜋3 𝜋2 = 0,6𝜋1 + 0,6𝜋2 + 0,4𝜋3 𝜋3 = 0,1𝜋1 + 0,3𝜋2 + 0,55𝜋3 𝜋1 + 𝜋2 + 𝜋3 = 1

𝝅𝟏 = 𝟎, 𝟏𝟎𝟏𝟕, 𝝅𝟐 = 𝟎,𝟓𝟐𝟓𝟒 𝐞 𝝅𝟑 = 𝟎, 𝟑𝟕𝟐𝟗

Exemplo do agricultor

Os tempos médio do primeiro retorno são calculados por:

𝜋1𝜋2𝜋3 = 𝜋1𝜋2𝜋3

0,3 0,6 0,10,1 0,6 0,30,05 0,4 0,55

𝝅𝟏 = 𝟎, 𝟏𝟎𝟏𝟕, 𝝅𝟐 = 𝟎, 𝟓𝟐𝟓𝟒 𝐞 𝝅𝟑 = 𝟎, 𝟑𝟕𝟐𝟗

𝜇11 =1

0,1017= 𝟗, 𝟖𝟑 𝜇22 =

1

0,5254= 𝟏, 𝟗 e 𝜇33 =

1

0,3729= 𝟐, 𝟔𝟖

Isso significa que dependendo do estado atual do solo, levará

aproximadamente 10 estações de plantio para o solo voltar

ao estado bom, 2 estações para voltar ao estado razoável e

3 estações para voltar ao estado ruim.

Considerando o problema do agricultor. Suponha que o custo do fertilizante

seja R$ 50,00 por saco e que o terreno precise de dois sacos se o solo

estiver bom. A quantidade de fertilizante é 25% maior se o solo estiver

razoável e 60% maior se o solo estiver ruim. O agricultor estima que o

rendimento anual será R$ 250,00 se não for utilizado fertilizantes e R$ 420,00

se ele for aplicado. Vale a pena usar fertilizante?

Custo anual esperado do fertilizante

= 2 x 50 x 𝜋1 + (1,25 x 2) x 50 x 𝜋2 + (1,60 x 2) x 50 x 𝜋3

Aumento no valor anual do rendimento = 420 – 250 = 170

= 100 x 0,1017 + 125 x 05254 + 160 x 0,3729

= R$ 135,51

A média , a utilização de fertilizante dá um rendimento líquido de 170 – 135,51 = 34,49

Portanto a fertilização é recomendada

Exemplo 7 (cadeia de montagem) Os produtos

finais de uma cadeia de montagem, após uma

supervisão à que são submetidas, podem ser

consideradas defeituosos ou não. Segue uma matriz

estocástica de;

𝑃 =0,8 0,20,6 0,4

a) Calcular as probabilidade estacionarias das peças com

defeito e sem defeito.

b) Calcular os tempos médios de retornos de cada um dos

estados.

classificação de estados em uma cadeia de markov€¦ · classificação de estados em uma cadeia...

Documents