processos estocasticos 1 slide pg
TRANSCRIPT
1
PROCESSOS ESTOCÁSTICOS E
CADEIAS DE MARKOV
id1380640 pdfMachine by Broadgun Software - a great PDF writer! - a great PDF creator! - http://www.pdfmachine.com http://www.broadgun.com
2
Problemas de tomada de decisão → tomada de decisão
baseada em fenômenos que possuem incerteza associada a
eles.
Causas da incerteza: inconsistência do fenômeno natural
ou fontes de variação que estão fora de controle.
PROCESSOS ESTOCÁSTICOS
Objetivo: tratar a variabilidade quantitativamente, incorporando-a a um modelo matemático.
Modelos probabilísticos para processos que evoluem com o tempo de uma maneira probabilística: foco em cadeias de Markov.
3
Um processo estocástico é definido como uma coleção
indexada de variáveis aleatórias, Xt, no qual o índice t
varia em um dado conjunto T {Xt, t T}.
Em geral, T corresponde ao conjunto dos inteiros não
negativos e Xt representa uma característica de interesse que pode ser medida no instante t.
PROCESSOS ESTOCÁSTICOS
Exemplos:
X1, X2, X3, ...
níveis de estoques mensais de um produto.
demanda mensal para um produto.
número de programas na fila para serem processados por hora.
4
PROCESSOS ESTOCÁSTICOS
Instantes de tempo: 0, 1, 2, sistema: categoria ou estado
número finito de estados mutuamente excludentes
0, 1, ..., M
igualmente espaçados ou não
Representação matemática do sistema físico
Processo estocástico {Xt}, no qual as variáveis aleatórias são
observadas em t = 0, 1, ... e no qual cada variável aleatória pode assumir um dos M+1 inteiros 0, 1, ..., M
caracterização dos M + 1 estados do processo
Observar o comportamento de um sistema operando por algum período de tempo frequentemente leva à análise de um processo estocástico
5
PROCESSOS ESTOCÁSTICOS
EstadoDiscreto Xt: enumerável ou finito
Contínuo Xt: caso contrário
Estado discreto e tempo contínuo: número de pessoas em um supermercado em um determinado instante.
Estado contínuo e tempo discreto: perda associada ao corte de padrões
de corte diária.
Estado discreto e tempo discreto: número de peças vendidas por dia.
Classificação
TempoDiscreto T: finito ou enumerável
Contínuo T: caso contrário
Exemplos:
6
CADEIAS DE MARKOV
Diz-se que um processo estocástico Xt tem a propriedade Markoviana
se:
a probabilidade condicional de qualquer evento futuro dado qualquer evento passado e o estado presente Xt = i é independente do evento
passado e depende somente do estado presente
P(Xt+1 = j | X0 = k0, X1 = k1, .., Xt-1 = k
t-1, Xt= i)
= P(Xt+1 = j | X
t= i)
para todo t = 0, 1, ... e toda seqüência i, j, k0, k1, ..., kt-1
P(Xt+1 = j | X
t= i) Probabilidades de Transição
probabilidade do estado do sistema ser j no instante t+1 dado que o
estado é i, no instante t
7
CADEIAS DE MARKOV
Se para cada i e j, P(Xt+1 = j | X
t= i) = P(X1 = j | X0 = i)
para todo t = 0, 1, 2...
probabilidades de transição (em um passo) são chamadas
estacionárias, geralmente denotadas por pij
probabilidade de transição não
mudam com o tempoProbabilidade de transição
estacionárias
Probabilidades de transição estacionárias (em um passo)
implica que para cada i, j e n (n = 0, 1, 2, ...)
P(Xt+n
= j | Xt= i) = P(Xn = j | X0 = i), t = 0, 1, 2, ...
probabilidades de transição em n passos,
probabilidade condicional que a variável aleatória Xiniciando no estado i, estará no estado j após n
passos (unidades de tempo)
)(nijp
8
CADEIAS DE MARKOV
probabilidades condicionais: devem ser não negativas e
o processo deve fazer uma transição para algum estado
0)(
nijp
M
j
nijp
0
)( 1
para todo i e j; n = 0, 1, 2, ...
para todo i; n = 0, 1, 2, ...
)0(ijppara n = 0, é exatamente P{X0 = j / X0 = i} que é 1 se i = j
e 0 se i j
para n = 1, é a probabilidade de transição (em um passo)
)(nijp
)1(ijp
9
CADEIAS DE MARKOV
Notação Probabilidades de transição
Matriz de Transição em n passos
)()(0
)(0
)(00
nMM
nM
nM
n
pp
pp
P(n) =
n = 1 Matriz de Transição
Estados 0 1 M
0
1
M
)(0
nMp
)(0nMp
)(00n
p
)(nMMp
Um processo estocástico {Xt} (t=0,1,2,...) é uma Cadeia de Markov
se tiver a propriedade Markoviana
número finito de estados
probabilidades de transição estacionárias
Assumido: um conjunto de probabilidades iniciais P(X0= i) para todo i
Considere
Cadeia de Markov
10
CADEIAS DE MARKOV
Matriz de Transição ou Estocástica
- É quadrada
- Os elementos da matriz são probabilidades, isto é,
- A soma dos elementos de uma linha deve ser igual a 1
0 ≤ pij ≤1
11
PROCESSOS ESTOCÁSTICOS
Exemplo 1: estoque de uma loja de câmeras
Uma loja de câmeras estoca um modelo particular de câmera que pode ser pedida semanalmente
D1, D2, ... : demanda para a filmadora durante a primeira semana, segunda semana, ..., respectivamente
Di: v.a.i.i.d., distribuição de probabilidade conhecida
Assuma que X0 = 3. Sábado à noite a loja faz um pedido que seráentregue em tempo na segunda-feira, quando a loja é aberta.
X0 = número de câmeras disponíveis no inícioX1 = número de câmeras disponíveis no final da primeira semanaX2 = número de câmeras disponíveis no final da segunda semana
12
PROCESSOS ESTOCÁSTICOS
A loja utiliza a política de encomenda (s, S)
Se o número de câmeras no final da semana for menor que s = 1
(nenhuma câmera em estoque), a loja pede S = 3
Caso contrário a loja não faz pedido
Se demanda > estoque: vendas são perdidas
Possíveis estados do processo:
0, 1, 2, 3 que representam o número de câmeras
disponíveis no final da semana
{Xt} para t = 0,1,2,... é um Processo Estocástico
Xt+1 = max {3 � D
t+1,0} se Xt< 1
max {Xt� D
t+1,0} se Xt 1
t = 0, 1, 2, ...
13
CADEIAS DE MARKOV
{Xt}, Xt: número de câmeras em estoque no final da semana t (antes que um pedido seja recebido), é uma Cadeia de Markov
Exemplo 1 da loja de câmeras
33323130
23222120
13121110
03020100
pppp
pppp
pppp
pppp
P =
Dt demanda durante a semana t
Distribuição de Poisson com parâmetro = 1
14
CADEIAS DE MARKOV
Xt+1 = max {3 � D
t+1,0} se Xt< 1
max {Xt� D
t+1,0} se Xt 1
Para obter p00 é necessário avaliar P(Xt= 0 | X
t-1 = 0)
Se Xt-1 = 0, então X
t= max {3 � D
t, 0}
Se Xt= 0, então a demanda durante a semana é 3 ou mais
Desta forma:
p00 = P(Dt 3) = 1 � P(D
t 2) = = 1 � 0,9197=
0,0803 probabilidade que uma variável aleatória do tipo Poisson com parâmetro =1 assuma o valor de 3 ou mais
!2
1
!1
1
!0
11
211101eee
15
CADEIAS DE MARKOV
p10 = P(Xt= 0 | X
t-1 = 1)
Se Xt-1 = 1, então X
t= max {1 � D
t,0}
Para que Xt= 0, a demanda durante a semana tem que ser 1 ou mais
Desta forma:
p10 = P(Dt 1) = 1 � P(D
t= 0) = = 0,6321
p21 = P(Xt= 1 | X
t-1 = 2)
Se Xt-1 = 2, então X
t= max {2 � D
t,0}.
Para que Xt
= 1, a demanda durante a semana tem que ser exatamente igual a , logo:
p21 = P(Dt=1) = = 0,3678
!0
11
01
e
!1
111e
16
CADEIAS DE MARKOV
Continuando...
P =
3680368018400800
0368036802640
0036806320
3680368018400800
,,,,
,,,
,,
,,,,
17
CADEIAS DE MARKOV
Exemplo 2: jogador
P =
1000
010
001
0001
pp
pp
Um jogador tem $1,00 e cada vez que joga ganha $1,00 com probabilidade p > 0 ou perde $1,00 com probabilidade 1 � p. O jogo termina quando o jogador acumula $3,00 ou $0,00. Este jogo é uma Cadeia de Markov cujos estados representam a quantia esperada de dinheiro que o jogador possui a cada vez que joga. Oespaço de estados é E = {0 1 2 3} e a matriz de transição P é
dada por:
18
EQUAÇÕES DE CHAPMAN-KOLMOGOROV
Probabilidades de transição em n passos, )(nijp
úteis quando o processo está no estado i é
desejada a probabilidade de que o processo estaráno estado j depois de n passos
Equações de Chapman-Kolmogorov
método para calcular probabilidades de transição em n passos
quando se vai do estado i para o estado j em n passos, o processo estará em algum estado k depois de exatamente v (menor que n) passos
probabilidade condicional de que, começando no estado i, o processo vá para o estado k depois de v passos e, então para o estado
j em n-v passos
)()( vnkj
vik pp
Soma das probabilidades condicionais para todo k
M
k
vnkj
vik
nij nvnjippp
0
)()()( 0 e , , todopara ,
)(nijp
19
EQUAÇÕES DE CHAPMAN-KOLMOGOROV
v = 1
M
k
nkjik
nij ppp
0
)1()(
v = n � 1
M
kkj
nik
nij ppp
0
1)(
Probabilidades de transição em n
passos
Probabilidades de transição em um
passo
para todo i, j, n
Casos especiais
20
n = 2
M
k
kjikij jippp
0
)2( , todopara ,
probabilidades de transição em
um passo
P(2)
Generalizando
P(n) = P P P = Pn = PPn-1 = Pn-1P
P(n) = Pn
EQUAÇÕES DE CHAPMAN-KOLMOGOROV
P(2) = PP = P2
A matriz probabilidade de transição em n passos pode ser obtida calculando-se a n-ésima potência da matriz de transição em um passo
21
EQUAÇÕES DE CHAPMAN-KOLMOGOROV
Exemplo 1 da loja de câmeras
P(2) = P2 =
=
= 0,283 dado que existe uma câmera em estoque no final da
semana, a probabilidade de que não haverá câmera em estoque duas
semanas depois, é de 0,283
)2(10p
3680368018400800
0368036802640
0036806320
3680368018400800
,,,,
,,,
,,
,,,,
3680368018400800
0368036802640
0036806320
3680368018400800
,,,,
,,,
,,
,,,,
165,0300,0286,0249,0
097,0233,0319,0351,0
233,0233,0252,0283,0
165,0300,0286,0249,0
22
EQUAÇÕES DE CHAPMAN-KOLMOGOROV
Probabilidades não condicionais? P{Xn = j} (n)
(0) = [0 0 0 1] X0 = 3
(1) = (0) P = [0 0 0 1]
(1) = [0,080 0,184 0,368 0,368]
3680368018400800
0368036802640
0036806320
3680368018400800
,,,,
,,,
,,
,,,,
)(nijp probabilidades condicionais
distribuição de probabilidade do estado inicial: (0)
(0) = P{X0 = i} para i = 0, 1, 2,
23
PROCESSO MARKOVIANO � Exemplo 3 � uso da terra
O estado no ano de 1997 da ocupação da terra em uma cidade de 70 quilômetros
quadrados de área é:
Estado da ocupação da terra I Uso residencial 30% II Uso comercial 20% III Uso industrial 50%
Vetor de probabilidade de estado = [0,30 0,20 0,50]
Probabilidades de transição para
intervalos de 3 anos
0,90,10III
0,20,70,1II
0,10,10,8I
IIIIII
Probabilidades de Transição
9,01,00,0
2,07,01,0
1,01,08,0
P
(1) = (0) P = [0,30 0,20 0,50]
9,01,00,0
2,07,01,0
1,01,08,0 = [0,26 0,22 0,52]
Prob. estado para 2000
24
CLASSIFICAÇÃO DOS ESTADOS DE UMA
CADEIA DE MARKOV
Acessível Estado j é dito ser acessível a partir do estado i, se> 0, para algum n > 0)(n
ijp
é possível para o sistema entrar no estado j
(eventualmente) quando ele começa no estado i
Exemplo 4:)2(
ijp
165,0300,0286,0249,0
097,0233,0319,0351,0
233,0233,0252,0283,0
165,0300,0286,0249,0=
Probabilidades de transição papel importante no estudo das Cadeias de Markov
Propriedades das Cadeias de Markov conceitos e definições sobre os estados
estado tododepartir a acessível é estado todo, e todopara 0,)2(jipij
25
CLASSIFICAÇÃO DOS ESTADOS DE UMA
CADEIA DE MARKOV
Comunicante Estado j é acessível do estado i, e o estado ié acessível do estado j estados i e j são
comunicantes
qualquer estado se comunica com ele mesmo
se o estado i se comunica com o estado j, então o estado j se comunica com o estado i
se um estado i se comunica com um estado k e o estado k se comunica com um estado j, então o estado i se comunica com o estado j
Equações de Chapman-Kolmogorov
26
CLASSIFICAÇÃO DOS ESTADOS DE UMA
CADEIA DE MARKOV
Todos estados comunicantes
Cadeia de Markov Irredutível
mesma classeDois estados que se comunicam
única classe
cadeia de Markov do exemplo da loja de câmeras
Considerando as três propriedades de comunicação
espaço de estados pode ser particionado em classes disjuntas
Exemplo 2 do jogador: 3 classes
estado 0: uma classe
estado 3: uma classe
estados 1 e 2: uma classe
1000
010
001
0001
pp
pp
27
CLASSIFICAÇÃO DOS ESTADOS DE UMA
CADEIA DE MARKOV
fii probabilidade que o processo irá retornar ao estado i,
dado que ele iniciou no estado i
Entrando neste estado, o processo definitivamente iráretornar para este estado
É recorrente se não é transiente
Recorrente
Entrando neste estado, o processo pode nunca retornar novamente para este estado
Transiente
Estado i é transiente se e somente se existe um estado j (j i) que é alcançável a partir do estado i, mas não vice-versa
Exemplo: P(2)
28
CLASSIFICAÇÃO DOS ESTADOS DE UMA
CADEIA DE MARKOV
Todos os estados em uma classeRecorrente
Entrando neste estado, o processo nunca irá deixar este estado
Absorvente
pii = 1; caso especial de estado recorrente
Transiente
Cadeia de Markov de estados finitos irredutível
todos os estados são recorrentes
Todos os estados do processo se comunicam
Cadeia de Markov Irredutível
ou
29
CLASSIFICAÇÃO DOS ESTADOS DE UMA
CADEIA DE MARKOV
Estado i retorno a este estado é possível somente em t, 2t, ...
Aperiódico
Propriedades de periodicidade
Período do estado i
existem dois números consecutivos s e s+1 tal que o processo pode estar no estado i nos tempos s e s+1
período 1
inteiro t (t >1) tal que = 0 para todos os valores de n com exceção
de t, 2t, 3t, ... e t é o maior inteiro com esta propriedade
)(niip
Exemplo 2 do jogador: iniciando no estado 1 é possível retornar a este estado somente nos tempos 2, 4, período 2
aperiódico
Se o estado i em uma classe tem período t, então todos os estados nesta classe
têm período t
período do estado 2 = 2 (estado 2 está na mesma classe que o estado 1)
30
CLASSIFICAÇÃO DOS ESTADOS DE UMA
CADEIA DE MARKOV
Cadeia de Markov de estado finito, estados recorrentes que são
aperiódicos estados ergódicos
Cadeia de Markov ergódica todos os estados são recorrentes e aperiódicos
Cadeia de Markov Ergódica
31
CLASSIFICAÇÃO DOS ESTADOS
Estado Transiente Um eventual retorno a este estado não é garantido
Estado Recorrente Entrando neste estado, um eventual retorno é garantido
Estado Absorvente Entrando neste estado, nunca mais o deixará
Estado Periódico Pode ser alcançado nos tempos t, 2t, 3t, (t > 1)
Estado Ergódico Estado recorrente e aperiódico
Cadeia Ergódica Todos os estados são recorrentes e aperiódicos
Cadeia Irredutível Todos os estados são comunicantes
32
CLASSIFICAÇÃO DE ESTADOS � CADEIAS DE MARKOV
Estado Acessível
Exemplo 2 do jogador: Um jogador tem $1,00 e cada vez que joga ganha $1,00 com probabilidade p>0 ou perde $1,00 com probabilidade 1 � p. O jogo termina quando o jogador acumula $3,00 ou $0,00. Este jogo é uma Cadeia de Markovcujos estados representam a quantia esperada de dinheiro que o jogador possui a cada vez que joga. O espaço de estados é E = {0 1 2 3} e a matriz de transição
P é dada por:
1000
p0p10
0p0p1
0001
Pp: ganha $1,00
1 � p: perde $1,00
Estado 2 não é acessível a partir do estado 3 0)(32 n
p
Estado 3 é acessível a partir do estado 2 0)1(23 p
Estados Comunicantes
Estados 2 e 3 do exemplo acima não são comunicantes
33
CLASSIFICAÇÃO DE ESTADOS � CADEIAS DE MARKOV
Cadeia de Markov Irredutível
Todos os estados são comunicantes exemplo 1 do estoque da loja de
câmeras
165,0300,0286,0249,0
097,0233,0319,0351,0
233,0233,0252,0283,0
165,0300,0286,0249,0P(2) =
34
CLASSIFICAÇÃO DE ESTADOS � CADEIAS DE MARKOV
Estado 3 é transiente se o processo está no estado 3 existe uma probabilidade positiva que ele nunca irá retornar para este estado.
Estados Recorrentes e Transientes � Exemplo 4
00001
03/23/100
00100
0002/12/1
0004/34/1
P
Estado 4 é transiente se o processo começa neste estado imediatamente o processo o deixa e nunca mais vai retornar para ele.
Estados 0 e 1 são recorrentes se o processo começar no estado 0 ou 1, nunca mais deixará esses estados. Sai do estado 0 e eventualmente vai para o estado 1 e vice-versa.
Estados 2 é absorvente uma vez que o processo entra no estado 2, nunca mais o deixará.
35
CLASSIFICAÇÃO DE ESTADOS � CADEIAS DE MARKOV
Estado Periódico
Exemplo 2 � jogador: Um jogador tem $1,00 e cada vez que joga ganha $1,00 com probabilidade p>0 ou perde $1,00 com probabilidade 1 � p. O jogo termina quando o jogador acumula $3,00 ou $0,00. Este jogo é uma Cadeia de Markovcujos estados representam a quantia esperada de dinheiro que o jogador possui a cada vez que joga. O espaço de estados é E = {0 1 2 3} e a matriz de transição
P é dada por:
1000
010
001
0001
pp
ppP
p: ganha $1,00
1 � p: perde $1,00
O estado 1 possui período t = 2 começando no estado 1, é possível para o processo entrar no estado 1 somente nos tempo 2, 4, 6, ...
0)(11
np para n ímpar
36
TEMPO DE PRIMEIRA PASSAGEM
: probabilidades de transição em n passos dado que o processo estáno estado i determinar a probabilidade (condicional) que o processo estaráno estado j após n passos
Frequentemente se quer saber sobre o número de transições feitas pelo
processo para ir do estado i para o estado j pela primeira vez
comprimento de tempo Tempo de Primeira Passagem
para ir do estado i para o estado j
Se j = i Tempo de Primeira Passagem
número de transições para o processo retornar
ao estado inicial i
Tempo de Recorrência para o estado i
)(nijp
37
TEMPO DE PRIMEIRA PASSAGEM
Exemplo 1 do estoque de câmeras
X0 = 3 X1 = 2 X2 = 1 X3 = 0 X4 = 3 X5 = 1
Tempo de primeira passagem a partir do estado 3 para o estado 1: 2 semanas
Tempo de primeira passagem a partir do estado 3 para o estado 0: 3 semanas
Tempo de recorrência para o estado 3 : 4 semanas
Suponha o seguinte estado do estoque para as seis primeiras semanas
38
TEMPO DE PRIMEIRA PASSAGEM
Em geral os tempos de primeira passagem
variáveis aleatórias
probabilidade que o tempo de primeira passagem do estado i
para j seja n
distribuição de probabilidade
depende das probabilidades de transição do processo
)(nijf
jjijijij pfpf)1()2()2(
ijijij ppf )1()1(
probabilidade do tempo de primeira passagem do estado i para o estado j em n passos
recursivamente
probabilidades de transição
em um passo
jjn-
ijn
ijn
ijn
ijn
ij pfpfpfpfjjjj
)1()2((2))1()1()()(
39
TEMPO DE PRIMEIRA PASSAGEM
Exemplo 1 do estoque da loja de câmeras
distribuição de probabilidade do tempo de primeira passagem
de ir do estado 3 para o estado 0
Dados i e j
00)1(
30)2(
30)2(
30 pfpf
080030)1(
30 ,pf
11
)(
n
n
ijf
1 Se 1
)(
n
n
ijf processo inicialmente no estado i pode nunca alcançar o estado j
1 Se 1
)(
n
n
ijf distribuição de probabilidade para a variável aleatória tempo de primeira passagem
0,243)0800)(0800(2490)2(30 ,,,f
3680368018400800
0368036802640
0036806320
3680368018400800
,,,,
,,,
,,
,,,,
P =
165,0300,0286,0249,0
097,0233,0319,0351,0
233,0233,0252,0283,0
165,0300,0286,0249,0
P(2) =
40
TEMPO DE PRIMEIRA PASSAGEM
Tempo de Primeira Passagem Esperado do estado i para o estado j, ij
kj
jk
ikij p
1
1 se
1 se
1
)(
1
)(
1
)(
n
nij
n
nij
n
nij
ij
fnf
f
11
)(
n
n
ijf ij unicamente satisfaz a equaçãoSempre que
Embora calcular para todo n possa ser difícil, é relativamente simples obter o tempo de primeira passagem esperado do estado i para o estado j
)(nijf
Se i = j ii, Tempo de Recorrência Esperado para o estado i
41
TEMPO DE PRIMEIRA PASSAGEM
Exemplo 1 da loja de câmeras: as equações podem ser utilizadas para
calcular o tempo esperado até que o estoque esteja vazio, assumindo que o processo inicia com 3 câmeras, 30
30132012101110
30232022102120
30332032103130
1
1
1
ppp
ppp
ppp
1010
201020
30201030
36801
368036801
3680368018401
,
,,
,,,
10 = 1,58 semanas20 = 2,51 semanas30 = 3,50 semanas
O tempo esperado até que a loja esteja com estoque vazio é3,5 semanas
3680368018400800
0368036802640
0036806320
3680368018400800
,,,,
,,,
,,
,,,,
P =
42
PROPRIEDADES DE EQUILÍBRIO DAS CADEIAS DE MARKOV
Probabilidades de Equilíbrio
n = 1 P(1) =
3680368018400800
0368036802640
0036806320
3680368018400800
,,,,
,,,
,,
,,,, n = 2 P(2) =
165,0300,0286,0249,0
097,0233,0319,0351,0
233,0233,0252,0283,0
165,0300,0286,0249,0
1660264028502860
1660264028502860
1660264028502860
1660264028502860
,,,,
,,,,
,,,,
,,,,n = 8 P(8) =n = 4 P(4) =
1640261028602890
1710263028302840
1660268028502820
1640261028602890
,,,,
,,,,
,,,,
,,,,
43
1660264028502860
1660264028502860
1660264028502860
1660264028502860
448)8(
,,,,
,,,,
,,,,
,,,,
PPPP
PROPRIEDADES DE EQUILÍBRIO DAS CADEIAS DE MARKOV
Cada uma das quatro linhas têm as mesmas entradas
probabilidade de estar no estado j após 8 semanas éindependente do estado inicial do estoque
Parece existir uma probabilidade limite que o sistema estará no estado j
após um grande número de transições, e esta probabilidade é
independente do estado inicial
44
j unicamente satisfaz as equações de estado de equilíbrio abaixo
Mjp
M
i
ijij ,0,1, para 0
M
j
j
0
1
j probabilidades de estado de equilíbrio ou estacionária da Cadeia de
Markov
Para qualquer Cadeia de Markov ergódica e irredutível
0lim
j)n(
ijn
p
)(lim nij
np
existe e é independente de i
Além disso,
Mjjj
j ,0,1, para 1
Tempo de Recorrência Esperado
M+2 equações
M+1 variáveis
uma equação
redundante
PROPRIEDADES DE EQUILÍBRIO DAS CADEIAS DE MARKOV
45
Probabilidade de encontrar o processo em algum estado (j) após um grande número de transições, tende ao valor j, independente da distribuição de
probabilidade inicial definida sobre os estados
Probabilidades de equilíbrio:
Não implica que o processo fica parado em um estado. Pelo contrário, o processo continua a fazer transições de estado para estado, e em algum passo n a probabilidade de transição do estado i para o estado j é ainda pij
PROPRIEDADES DE EQUILÍBRIO DAS CADEIAS DE MARKOV
46
Exemplo 1 da loja de câmeras
3210
3332321310303
3232221210202
3132121110101
3032021010000
1
pppp
pppp
pppp
pppp
3210
32103
32102
32101
32100
1
3680003680
3680368003680
1840368036801840
0800264063200800
,,
,,,
,,,,
,,,,
= [0 1 2 3] = [0,286 0,285 0,264 0,166]
Após várias semanas a probabilidade de encontrar 0, 1 ,2 e 3 câmeras em
estoque tende a 0,286, 0,285, 0,264 e 0,166, respectivamente
semanas 3,501
000
semanas 3,80
1
222
semanas 6,021
333
semanas 3,51
1
111
Tempo de recorrência esperado para a loja de câmeras
PROPRIEDADES DE EQUILÍBRIO DAS CADEIAS DE MARKOV
47
i e j estados recorrentes pertencentes a classes diferentes
n,p)n(
ij todopara 0
j estado transiente
i,p)n(
ijn
todopara 0lim
probabilidade de encontrar o processo em um estado transiente após um grande número de transições tende a zero
P() =
3210
3210
3210
3210
)(
)(
)(
)(
1660264028502860
1660264028502860
1660264028502860
1660264028502860
,,,,
,,,,
,,,,
,,,,
PROPRIEDADES DE EQUILÍBRIO DAS CADEIAS DE MARKOV
48
CUSTO MÉDIO ESPERADO POR UNIDADE DE TEMPO
Cadeia de Markov ergódica
recorrentes aperiódicos )(lim n
ijn
p
pode não existir
Exemplo 5: considere P
P =
01
10se o processo começa no estado 0 no tempo 0
estará no estado 0 nos tempos 2, 4, 6,
estará no estado 1 nos tempos 1, 3, 5,
1)(00 n
p se n é par
0)(00 n
p se n é ímpar
)(00lim n
np
não existe
49
CUSTO MÉDIO ESPERADO POR UNIDADE DE TEMPO
importante para calcular custo médio a longo período por unidade de tempo
processo está no estado Xt no instante t, para t = 0,1,2,
Custo, C(Xt) função do estado da Cadeia de Markov
j
n
k
)k(ij
np
n
1
1limmas sempre existe
Cadeia de Markov irredutível
C(Xt) variável aleatória: C(0), C(1), , C(M)
C() independente de t
Custo médio esperado para os
n primeiros períodos)(
0
jCM
j
j
custo médio esperado por
unidade de tempo
50
CUSTO MÉDIO ESPERADO POR UNIDADE DE TEMPO
Exemplo 1 do estoque da loja de câmeras: função de custo
)j(C)X(Cn
Elim
M
j
j
n
t
tn
01
1
custo médio esperado do estoque
por semana
se Xt = 0
18
8
2
0
)( tXCse Xt = 1se Xt = 2
se Xt = 3 = 0,286(0) + 0,285(2) + 0,263(8) + 0,166(18) = 5,67
51
REFERÊNCIA
HILLIER, F. S.; LIEBERMAN, G. J. Introdução à pesquisa operacional. 8 ed. São Paulo: McGraw-Hill, 2006.