1

Modelagem de um sistema por cadeias de Markov

Sistemas “sem memória”: somente o estado imediatamente

anterior influencia o estado futuro.

Processo estacionário: probabilidades de transição de um estado

para outro são as mesmas em qualquer instante de tempo.

Problema:

Encontrar as probabilidades de transição a partir de dados

históricos ou experimentais;

Encontrar as probabilidades limites do sistema estar em cada

um dos seus estados.

2

Matriz de transição

Matriz de transição estocástica (2 estados):

Pij = probabilidade da transição do estado i para o estado j,

depois de 1 intervalo de tempo, dado que o sistema estava

no estado i no início do intervalo.

2221

1211

PP

PPP Soma de cada linha = 1

3

Probabilidades de Estados

As probabilidades do sistema estar nos estados 1 e 2 após n

períodos de tempo:

P10 e P2

0 são as condições iniciais do sistema: se o sistema

partir do estado 1, P10 = 1 e P2

0 = 0, e vice-versa caso partir

do estado 2.

n

nn

PP

PPPPPP

2221

12110

2

0

121

4

Probabilidades limite

Sob certas condições, as probabilidades de estado estabilizam-

se após vários períodos de tempo em determinados valores,

denominadas probabilidades limite (ou de regime permanente)

da cadeia de Markov.

As probabilidades serão denominadas P1 e P2 para o caso de

dois estados, e satisfazem à equação:

21

2221

1211

21 PPPP

PPPP

Sabendo-se que P1 + P2 =1

5

Exemplo 2

Tempo bom

(1) Tempo ruim

(2)

1/2

1/2

1/4

3/4

Processo com dois estados possíveis: tempo bom e tempo ruim

6

Probabilidades de transição

Como estará o tempo após 2 transições (2 dias), supondo que a

condição inicial seja tempo bom – estado 1: árvore de

probabilidades.

1

2

1

2

1

2

1

CI: t =0 t =1 t = 2

1/2

1/2

1/2

1/2

1/4

3/4

t P1 P2

0 (CI) 1 0

1 1/2 1/2

2 3/8 5/8

7

Exemplo 2 – Continuação

Após 2 intervalos de tempo:

Após n intervalos de tempo:

4/34/1

2/12/1

PP

PPP

2221

1211

16/1116/5

8/58/3

4/34/1

2/12/1P

2

2

n

n

4/34/1

2/12/1 P

Matriz de transição:

8

Exemplo 2 – Probabilidades Limite

Após 2 estados quais são as probabilidades do sistema estar

nos estados 1 e 2?

Supondo P10 = 1 e P2

0 = 0:

Supondo P10 = 0 e P2

0 = 1:

8/58/316/1116/5

8/58/3 01PP

2

2

2

1

16/1116/516/1116/5

8/58/3 10PP

2

2

2

1

9

Exemplo 2 – Probabilidades Limite

2121 PP4/34/1

2/12/1PP

sDependente eLinearment Eqs. P)4/3(P)2/1(P

P)4/1(P)2/1(P

221

121

Mas, sabe-se que P1 + P2 = 1 1PP

PP)4/1(P)2/1(

21

121

3333,0)4/3(

)4/1(P1 6667,0

)4/3(

)2/1(P2 Probabilidades limite

10

Exemplo 2 - Probabilidades Limite

A condição inicial modifica as probabilidades transitórias, mas não as

probabilidades limite, que permanecem as mesmas.

Probabilidades de estado em função

das condições iniciais: estado 1 ou 2

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

0 1 2 3 4 5 6 7 8 9 10 11

Tempo

P(1) 1

P(2) 0

P(1) 0

P(2) 1

11

Aplicação de Cadeias de Markov: um componente sujeito a renovação

Processos a Parâmetros Contínuos e Estados Discretos, com

restauração (possibilidade de reparo – taxa de reparo ).

Seja um sistema com um único componente sujeito à

renovação com taxas de falha e reparo caracterizadas por

distribuições exponenciais:

Operando

(1) Falhado

(2)

1-

1-

12

Probabilidades limite

2121 PP)1(

)1(PP

1TM1

1TM2

L.D. Eqs. P)1(PP

PP)1(P

221

121

Mas, sabe-se que P1 + P2 = 1

1PP

0PP

21

21

TMPRTMPF

TMPFP1

TMPRTMPF

TMPRP2

Lembrando:

1

TMPF

1

TMPR

13

Exemplo 2 - Continuação

Sabendo que “taxa de falha” igual a 1/2 (probabilidade de tempo

mudar de bom para ruim) e que “taxa de reparo” igual a 1/4

(probabilidade de tempo mudar de ruim para bom, as

probabilidades limites de cada estado (1- tempo bom e 2 – tempo

ruim) serão:

3/14/12/1

4/1P1

3/2

4/12/1

2/1P2

14

Disponibilidade e Indisponibilidade

Disponibilidade A(t) (Availability): probabilidade do elemento

estar disponível em qualquer tempo, em um processo sujeito

a reparo.

Indisponibilidade U(t) (Unavailability): A(t) + U(t) = 1 A(t)

1 U(t)

1

15

Aplicação de Cadeias de Markov: 2 componentes sujeitos a renovação

Seja um sistema com dois componentes sujeitos à renovação

com taxas de falha e reparo caracterizadas por distribuições

exponenciais:

OP – em operação; NOP – Fora de operação.

OP

OP

OP

NOP

NOP

NOP

1 3 2 2

2

16

Matriz de transição

Cadeia de Markov: apenas transição entre estados

“adjacentes”.

Pij = ij t

321321 PPP

2120

1

0221

PPP

22

1P

22

2P

22

3P

17

Exemplo 3

Suponha um gerador elétrico que tenha taxas de falha e de

reparo constante:

= 0,001 falhas/hora; = 0,49 ocorrências/hora

Calcule as probabilidades limite do gerador estar nos estados

de operação e não operação.

99796,049,0001,0

49,0Poperar

00204,049,0001,0

001,0P operar não

18

Exemplo 4

Sejam agora dois geradores elétricos idênticos, que tenham

taxas de falha e de reparo constante:

= 0,001 falhas/hora; = 0,49 ocorrências/hora

Calcule as probabilidades limite do sistema formado pelos dois

geradores estar nos estados: ambos operando, apenas um

operando, nenhum operando.

9959,0

)49,0001,0(

49,0P

2

2

2

2

1

0041,0

)49,0001,0(

49,0001,022P

222

0

)49,0001,0(

001,0P

2

2

2

2

3

Processos Estocásticos Normais ou Gaussianos

Xt é normal/gaussiano se Xt(t1), ... , Xt(tn) forem normais

conjuntas para qualquer n componentes de um vetor

aleatório gaussiano X de dimensão n.

Completamente caracterizados por média e autocorrelação

(autocovariância).

Xt gaussiano na entrada de um filtro linear Yt na saída será

também gaussiano => teorema de combinações lineares.

Xt gaussiano estacionário no sentido amplo será também no

estrito.

19

Processo de Wiener (movimento Browniano)

Processo estocástico Xt será de Wiener se:

For um processo normal.

Tiver incrementos independentes estacionários.

μt = E[Xt] = 0 para todos os t 0.

Autocorrelação: R(t1,t2) = a × min(t1, t2).

20

Processo Ruído Branco Gaussiano

Modelo para o ruído térmico em condutores: “contamina”

sinal que chega a um receptor.

Ruído observado em um osciloscópio.

Ruído em uma TV sem canal sintonizado.

Para um processo ruído branco gaussiano Xt com t [-, ]

E[Xt] = 0

C(t1,t2) = E[Xt1 Xt2]

21