cadeias de markov - engenharia elétricao diagrama de transição de estados é dado por 7 cadeias...
TRANSCRIPT
36341 - Introdução aos Processos EstocásticosCurso de Pós-Graduação em Engenharia Elétrica
Departamento de Engenharia ElétricaUniversidade de Brasília
Cadeias de Markov
Geovany A. [email protected]
Cadeias de Markov
¥ Definição: um processo X estocástico é dito cadeia de Markov em tempopode assumir K valores discretos s0, · · · , sK−1 e
Pr{Xk = xk|X0 = x0, · · · , Xk−1 = xk−1} = Pr{Xk = xk|Xk−1 = xk−1}
com k sendo o tempo discreto correspondente ao instante tk = kT . Emmuitos casos, X pode ser um conjunto de símbolos indexados por si.
¥ De acordo com a forma de representação dos estados e do tempo,segue-se a seguinte tabela para denominação de processos Markovianos:
Estados Tempo Classificaçãocontínuo contínuo Processo Markoviano em tempo contínuocontínuo discreto Processo Markoviano em tempo discretodiscreto contínuo Cadeia de Markov em tempo contínuodiscreto discreto Cadeia de Markov em tempo discreto
1
¥ Nesta fase do curso trataremos de cadeias de Markov em tempo discreto.
¥ Representação gráfica: diagrama de transição de estados. Usando anotação
Pr{Xk = sj|Xk−1 = si} = pij(k) (1)o diagrama de transição abaixo aplica-se para K = 3 estados possíveis epara um dado instante k.
2
¥ Matriz de transição de probabilidades: P(k) = {pij(k)}, i, j = 0, · · · , K − 1.No caso de K = 3
P(k) =
p00(k) p01(k) p02(k)p10(k) p11(k) p12(k)p20(k) p21(k) p22(k)
(2)
Observa-se queK−1∑
j=0
pij(k) = 1 (3)
implicando que a soma de todos os elementos de uma mesma linha deP deve ser 1. Ou seja,
P(k)
1...1
=
1...1
. (4)
Para o diagrama de transição de estados, isto implica que a soma de
3
todos os pesos dos arcos saindo de um estado deve ser 1.
¥ Em alguns casos, o número de estados é não-contável:
P(k) =
p00(k) p01(k) p02(k) · · ·p10(k) p11(k) p12(k)p20(k) p21(k) p22(k)
... . . .
(5)
¥ Dependência do tempo k:
• Sendo pij dependente do tempo: cadeia de Markov não-homogênea• Sendo pij independente do tempo: cadeia de Markov homogênea.
4
Cadeias de Markov Homogêneas
Exemplo 1:
Considere o caso de uma máquina que pode assumir dois estados: F (emfuncionamento) e P (com problema) [1]. Os estados podem ser indexadospor s0 = 0 e s1 = 1, correspondentes a P e F , respectivamente. A cada horak, um sistema supervisório de verificação do funcionamento da máquina fazum check-up completo da mesma, indicando um dos estados. Considere que
I. A probabilidade de a máquina estar funcionando normalmente na hora k eapresentar problema na hora k + 1 é α;
II. A probabilidade de a máquina ser reparada na hora k + 1 estando comproblema na hora k é β.
5
Cadeias de Markov Homogêneas
Solução:
Este problema pode ser modelado pelas probabilidades
Pr{Xk = s1|Xk−1 = s0} = β, (6)
Pr{Xk = s0|Xk−1 = s1} = α, (7)
das quais, a partir das relações
Pr{Xk = s0|Xk−1 = s1} + Pr{Xk = s1|Xk−1 = s1} = 1, (8)
Pr{Xk = s0|Xk−1 = s0} + Pr{Xk = s1|Xk−1 = s0} = 1, (9)
pode-se obter
Pr{Xk = s1|Xk−1 = s1} = 1 − α, (10)
Pr{Xk = s0|Xk−1 = s0} = 1 − β. (11)
6
Portanto, a matriz de transição de estados é dada por
P =
[1 − β β
α 1 − α
]
(12)
O diagrama de transição de estados é dado por
7
Cadeias de Markov HomogêneasExemplo 2:
Seja uma fila de uma porta de comunicação serial, cujo número de elementosna fila após ocorrência do k-ésimo evento é representado por Xk, econsiderando que
I. A fila pode armazenar até no máximo K − 1 elementos:Xk ∈ {0, 1, · · · ,K − 1}
II. Os eventos são: chegada de um elemento e partida de um elemento, quenão podem ocorrer simultâneamente.
III. pa : probabilidade do k-ésimo evento ser a chegada de um elemento;
IV. pd : probabilidade do k-ésimo evento ser a partida de um elemento.
Este é um exemplo típico de Sistema a Evento Discreto, podendo sermodelado por uma cadeia de Markov.
8
Cadeias de Markov Homogêneas
Solução:
Sendo somente “chegada de um elemento” e “saída de um elemento” oseventos do modelo, e que o indíce k é incrementado quando da ocorrência deum evento, então
pa + pd = 1 (13)
de forma que para 0 < n < K − 1
Pr{Xk = n + 1|Xk−1 = n} = pa (14)
Pr{Xk = n − 1|Xk−1 = n} = pd (15)
Considerando que o número de elementos na fila nunca pode ser negativo,
Pr{Xk = −1|Xk−1 = 0} = 0, (16)
9
implicando em
Pr{Xk = 1|Xk−1 = 0} = 1, (17)
pois com a fila vazia o único evento possível é a chegada de um elemento.De forma similar, quando a pilha está cheia (Xk−1 = K − 1), eventos dechegada de novos elementos são inibidos:
Pr{Xk = K|Xk−1 = K − 1} = 0,
e assim
Pr{Xk = K − 2|Xk−1 = K − 1} = 1.
10
A matriz de transição de estados para este sistema fica
P =
0 1 0 · · ·pd 0 pa 0 · · ·0 pd 0 pa 0 · · ·... 0 pd 0 pa 0 · · ·
... . . .0 pd 0 pa 0
0 pd 0 pa
0 1 0
(18)
O diagrama de transição de estados é dado por
11
Cadeias de Markov Homogêneas
Exemplo 3:
Considere o problema do Passeio Aleatório em uma única dimensão:
Xk =
{Xk−1 + 1 com probabilidade α
Xk−1 − 1 com probabilidade β = 1 − α(19)
tal que X0 = 0 e p + q = 1. Xk é uma cadeia de Markov em tempo discreto.No entanto, Xk pode assumir um número infinito de valores no espaçodiscreto
{· · · ,−3,−2,−1, 0, 1, 2, 3, · · · }
12
Cadeias de Markov Homogêneas
Solução:
Este modelo pode ser escrito na forma
Xk = ak−1Xk−1 + bk−1uk−1 + wk (20)
com ak−1 = 1, bk−1 = 0 e
wk =
{+1 com probabilidade α
−1 com probabilidade β = 1 − α(21)
Observa-se que
Pr{Xk = sj|Xk−1 = si} =
α se sj = si + 1β = 1 − α se sj = si − 10 qualquer outra caso.
(22)
13
de modo que, considerando sn = n, a partir das seguintes relações:
pii = Pr{Xk = i|Xk−1 = i} = 0 (23)
pi(i+1) = Pr{Xk = i + 1|Xk−1 = i} = α (24)
p(i+1)i = Pr{Xk = i|Xk−1 = i + 1} = β (25)
a matriz de transição de estados é dada por
P =
. . .. . .
. . .· · · 0 β 0 α 0
· · · 0 β 0 α 0 · · ·· · · 0 β 0 α 0 · · ·
. . .. . .
. . .
(26)
14
O diagrama de transição de estados é dado por
15
Dinâmica de cadeias de Markov homogêneas
Considereπj(k) = Pr{Xk = sj} (27)
que pode ser escrito como
πj(k) =
K−1∑
i=0
Pr{Xk = sj, Xk−1 = si} (28)
=
K−1∑
i=0
Pr{Xk = sj|Xk−1 = si}Pr{Xk−1 = si} (29)
=
K−1∑
i=0
Pr{Xk = sj|Xk−1 = si}πi(k − 1) (30)
=
K−1∑
i=0
pijπi(k − 1) (31)
16
A partir desta relação, se definirmos o vetor (linha) de probabilidades
π(k) =[
π0(k) · · · πK−1(k)]
(32)
então pode-se verificar que
π(k) = π(k − 1)P (33)
que é uma forma recursiva para atualização das probabilidades π(k). De fato,π(k) representa a FDP da cadeia no k-ésimo instante de tempo.
Assim, dado um vetor de probabilidades iniciais π(0), verifica-se que
π(k) = π(0)P · P · · · · P︸ ︷︷ ︸k vezes
= π(0)Pk (34)
para k = 1, 2, · · · .
O alto poder do modelo (34) poder ser verificado se tentarmos construir ummodelo equivalente em espaço de estados para a cadeia de Markov. Assim,
17
considere o espaço seja Xk particionado em K = 2 estados
s0 =[
1 0]T
, s1 =[
0 1]T
.
Então, um modelo equivalente em espaço de estados seria
Xk = Ak−1Xk−1 (35)
em que Ak−1 seria uma matriz estocástica tal que
Se Xk−1 = s0 −→ Ak−1 =
[1 γ
0 γ
]
com probabilidade Pr{Xk = s0|Xk−1 = s0}
Se Xk−1 = s0 −→ Ak−1 =
[0 γ
1 γ
]
com probabilidade Pr{Xk = s1|Xk−1 = s0}
Se Xk−1 = s1 −→ Ak−1 =
[γ 0γ 1
]
com probabilidade Pr{Xk = s1|Xk−1 = s1}
18
Se Xk−1 = s1 −→ Ak−1 =
[γ 1γ 0
]
com probabilidade Pr{Xk = s0|Xk−1 = s1}
com γ ∈ R.
19
Simulação de cadeias de Markov homogêneas
No algoritmo abaixo, o vetor de probabilidades π é usado para gerar o índicei do estado si com probabilidade πi(k). Portanto, usa-se a notação i ∼ π(k).Algoritmo 1: Simulador de cadeias de Markov homogêneas
I. Amostre i ∼ π(0) e selecione X0 = si;
II. Para k = 1, 2, · · ·
I. Calcule π(k) = π(k − 1)PII. Amostre Xk de Pr (Xk = sj|Xk−1 = si):
i. j ∼ [P]i, em que [P]i significa a i-ésima linha da matriz P.
ii. Xk = sj
iii. i := j
Neste algoritmo a etapa 2.a pode ser descartada se não for de interesseconhecer a evolução da distribuição da cadeia.
20
Simulação de cadeias de Markov homogêneas
Exemplo 4: Simulação da uma fila de uma USART com capacidade para 16bytes
Para esta simulação, podemos usar o modelo do Exemplo 2 com K = 17estados 0, 1, · · · , 16. Considerando X0 = 0 e pa = 0, 6 = 1 − pd, obtem-se oseguinte resultado:
0 20 40 60 80 100 120 140 160 180 2000
2
4
6
8
10
12
14
16
k
Núm
ero
de b
ytes
na
fila
21
Se quisermos simular uma fila com inicialmente n bytes, basta fazer
πi(0) =
{1 i = n
0 i 6= n.
No caso de n = 6, obtem-se a seguinte execução:
0 20 40 60 80 100 120 140 160 180 2006
8
10
12
14
16
k
Núm
ero
de b
ytes
na
fila
22
Distribuição de regime permanente
Sob certas condições [1], dado π(0), a seqüência gerada por
π(k) = π(k − 1)P (36)
estabiliza em um valor π(k) = π̄, denominada de distribuição de regime dacadeia de Markov. Quando existe, a distribuição de regime satisfaz aosistema de equações
π̄ = π̄P (37)
Quando alcançado o regime permanente, sendo π̄ ={π̄i}, π̄i pode serinterpretado como a fração esperada do tempo que a cadeia dedica aoestado si.
23
Distribuição de regime permanente
Exemplo 5:
Considere o Exemplo 1, que modela uma máquina que pode assumir doisestados: F (em funcionamento) e P (com problema). Para aquele exemplo,
P =
[1 − β β
α 1 − α
]
(38)
com α e β sendo probabilidades relacionadas à falha da máquina e ao seureparo da máquina em um determinado lapso de tempo.
Neste problema, deseja-se que a máquina passe satisfaça a um limitesuperior do tempo de falha:
π̄0 < 0, 4 (39)
Considerando α = 0, 5, pede-se determinar que objetivo deve ser alcançadocom relação ao parâmetro β de forma a se garantir o objetivo acima.
24
Distribuição de regime permanente
Solução:
Para resolver este poroblema, deve-se antes determinar as distribuições deregime π̄0 e π̄1:
[π̄0 π̄1
]=
[π̄0 π̄1
]P
=[
π̄0 π̄1
][
1 − β β
0, 5 0, 5
]
da qual obtem-se
π̄0 = π̄0(1 − β) + 0, 5π̄1 (40)
π̄1 = π̄0β + 0, 5π̄1 (41)
25
Sendo π̄0 + π̄1 = 1, obtem-se
π̄0 =0, 5
β + 0, 5π̄1 =
β
β + 0, 5
Assim, para satisfazer (39) e 0 ≤ β ≤ 1, deve-se ter
0, 75 < β ≤ 1.
26
Tópicos futuros
Quando possível, os seguintes tópicos serão acrescentados a este material:
¥ Propriedades de cadeias de Markov
¥ Identificação da matriz P de cadeias de Markov
¥ Modelos de Markov Ocultos (HMM, do inglês)
¥ Simulação de cadeias de Markov por Monte Carlo (Markov Chain MonteCarlo)
27
Referências
[1] CASSANDRAS, C. G.; LAFORTUNE, S. Introduction to Discrete EventSystems. [S.l.]: Kuwer Academic Pulishers, 1999.
28