métodos estocásticos da engenharia i - capítulo 6 - processos...

58
Métodos Estocásticos da Engenharia I Capítulo 6 - Processos Estocásticos e Cadeias de Markov Prof. Magno Silvério Campos 2019/1 (UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 1 / 57

Upload: others

Post on 28-Oct-2020

1 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Métodos Estocásticos da Engenharia ICapítulo 6 - Processos Estocásticos e Cadeias de Markov

Prof. Magno Silvério Campos

2019/1

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 1 / 57

Page 2: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Bibliografia

Bibliografia

Essas notas de aulas foram baseadas nas seguintes obras:1 ANTON, H.; BUSBY, R. C. Álgebra Linear Contemporânea. Porto

Alegre: Bookman, 2006.2 HILLIER, F. S.; LIEBERMAN, G. J. Introdução à Pesquisa

Operacional. 8. ed. São Paulo: McGraw Hill, 2010.3 HINES, W.W.; et al. Probabilidade e Estatística na Engenharia. 4. ed.

Rio de Janeiro: LTC, 2006.4 TAHA, H. A. Pesquisa Operacional. 8. ed. São Paulo: Pearson

Prentice Hall, 2008.Aconselha-se pesquisá-las para se obter um maior aprofundamento e ummelhor aproveitamento nos estudos.

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 2 / 57

Page 3: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Conteúdo Programático

Conteúdo Programático

1 Seção 1 - Processos EstocásticosDefinição de processos estocásticos;

2 Seção 2 - Cadeias de MarkovPropriedade Markoviana;Probabilidades de transição;Matriz de transição;Equações de Chapman-Kolmogorov;Classificação dos estados em uma Cadeia de Markov;Probabilidades de estado estável;Tempo Médio para a primeira passagem;Tempo de recorrência esperado;Estados Absorventes;Cadeias de Markov de tempo contínuo.

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 3 / 57

Page 4: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Seção 1 - Processos Estocásticos

Processos Estocásticos e Cadeias de Markov

IntroduçãoSerão apresentados modelos para processos que evoluem ao longo do tempode forma probabilística. Tais processos são chamados processos estocásticos.

Focaremos em um tipo especial, denominado Cadeias de Markov.

As Cadeias de Markov possuem a propriedade especial de que, as proba-bilidades referentes a como o processo evolui no futuro dependem apenasdo estado atual do processo e, portanto, são independentes de eventos nopassado.

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 4 / 57

Page 5: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Seção 1 - Processos Estocásticos

Processos Estocásticos

Definição - [Hillier e Lieberman(2010)]

Um processo estocástico é definido como um conjunto indexado de vari-áveis aleatórias, {Xt}, em que o índice t percorre dado conjunto T . Nor-malmente, admite-se que T seja o conjunto de inteiros não-negativos e Xt

represente uma característica mensurável de interesse no instante t. Porexemplo, Xt poderia representar o nível de estoque de determinado produtono final da semana t.

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 5 / 57

Page 6: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Seção 1 - Processos Estocásticos

Um processo estocástico normalmente apresenta a seguinte estrutura:

O estado atual do sistema pode cair em qualquer uma das M +1 categoriasmutuamente exclusivas denominadas estados. Para facilitar a notação, essesestados são identificados como 0, 1, . . . ,M . A variável aleatória Xt repre-senta o estado do sistema no instante t, de modo que seus únicos valorespossíveis sejam 0, 1, . . . ,M .

Os sistema é observado em pontos determinados do tempo, identificadospor t = 0, 1, 2, . . . . Portanto, o processo estocástico Xt = X0, X1, X2, . . .fornece uma representação matemática de como o estado do sistema físicoevolui ao longo do tempo.

Esse tipo de processo é conhecido como um processo estocástico em tempodiscreto com um espaço de estado finito.

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 6 / 57

Page 7: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Seção 1 - Processos Estocásticos

Exemplo 1 - Adaptado de [Hillier e Lieberman(2010)]

O tempo na cidade de Ouro Preto pode mudar de maneira bastante rápidade um dia para o outro. Entretanto, as chances de termos tempo seco (semchuvas) amanhã são ligeiramente maiores, caso esteja seco hoje, do que sechover hoje.

Particularmente, a probabilidade de termos tempo seco amanhã é de 0, 8caso hoje esteja seco, porém é de apenas 0, 6 caso hoje chova.

Essas probabilidade não mudam, caso as informações sobre o tempo antesde hoje também forem levadas em consideração.

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 7 / 57

Page 8: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Seção 1 - Processos Estocásticos

A evolução do tempo, dia a dia, em Ouro Preto é um processo estocás-tico. Começando em dado dia inicial (chamado aqui de dia 0), o tempo éobservado em cada dia t, para t = 0, 1, 2, . . ..

O estado do sistema no dia t pode serEstado 0: dia t é seco;Estado 1: dia t com chuva.

Portanto, para t = 0, 1, 2, . . ., a variável aleatória Xt assume os seguintesvalores:

Xt =

{0, se o dia t estiver seco1, se o dia t estiver chovendo.

O processo estocástico Xt = X0, X1, X2, . . . fornece uma representaçãomatemática de como o estado do tempo em Ouro Preto evolui ao longo dotempo.

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 8 / 57

Page 9: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Seção 2 - Cadeias de Markov

Cadeias de Markov

Propriedade MarkovianaUm processo estocástico Xt é dito ter propriedade markoviana se

P (Xt+1 = j|X0 = k0, X1 = k1, . . . , Xt−1 = kt−1, Xt = i) = P (Xt+1 = j|Xt = i),

para t = 0, 1, . . . e toda sequência i, j, k0, k1, . . . , kt−1.

Traduzindo isso em palavras, essa propriedade markoviana diz que a proba-bilidade condicional de qualquer “evento” futuro, dados “quaisquer” eventospassados e o estado presente Xt = i, é independente dos eventos passadose depende apenas do estado atual.

Um processo estocásticoXt(t = 0, 1, . . .) é uma Cadeia de Markov se possuira propriedade markoviana.

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 9 / 57

Page 10: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Seção 2 - Cadeias de Markov

Probabilidades de transiçãoAs probabilidades condicionais P (Xt+1 = j|Xt = i) para uma Cadeia deMarkov são chamadas probabilidades de transição (uma etapa). Se, paracada i e j,

P (Xt+1 = j|Xt = i) = P (X1 = j|X0 = i)

, para todo t = 1, 2, . . . , então as probabilidades de transição (uma etapa)são ditas estacionárias.

Portanto, ter probabilidades de transição estacionárias implica que as pro-babilidades de transição não mudam ao longo do tempo. A existência deprobabilidades de transição (em uma etapa) estacionárias também implica omesmo, para cada i, j e n (n = 0, 1, 2, . . .),

P (Xt+n = j|Xt = i) = P (Xn = j|X0 = i)

para todo t = 0, 1, . . . . Essas probabilidades condicionais são denominadasprobabilidades de transição (em n etapas).

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 10 / 57

Page 11: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Seção 2 - Cadeias de Markov

NotaçãoPara simplificar a notação com probabilidades de transição estacionárias,façamos que

pij = P (Xt+1 = j|Xt = i)

p(n)ij = P (Xt+n = j|Xt = i).

Assim, a probabilidade de transição em n etapas p(n)ij é simplesmente a pro-babilidade condicional de que o sistema estará no estado j após exatamenten etapas (unidades de tempo), dado que ele inicia no estado i a qualquerinstante t. Quando n = 1, note que p(1)ij = pij .

Para n = 0, p(0)ij é apenas P (X0 = j|X0 = i) e, consequentemente, é 1quando i = j e 0 quando i 6= j.

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 11 / 57

Page 12: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Seção 2 - Cadeias de Markov

Como as p(n)ij são probabilidades condicionais, elas devem satisfazer as se-guintes propriedades:

p(n)ij ≥ 0 , ∀i, j, n,

M∑j=0

p(n)ij = 1 , ∀i, n.

Uma maneira conveniente de mostrar todas as probabilidades de transiçãoem n etapas é o formato de matriz a seguir:

que é denominada de matriz de transição em n etapas. Note que a proba-bilidade de transição em determinada linha e coluna é para a transição doestado de linha para o estado de coluna.

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 12 / 57

Page 13: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Seção 2 - Cadeias de Markov

Exemplo 2 - Adaptado de [Hillier e Lieberman(2010)]

Para o exemplo envolvendo o clima na seção anterior, relembre-se de quea evolução diária do clima em Ouro Preto foi formulada como um processoestocástico Xt = X0, X1, X2, . . ., em que

Xt =

{0, se o dia t estiver seco1, se o dia t estiver chovendo.

P (Xt+1 = 0|Xt = 0) = 0, 8

P (Xt+1 = 0|Xt = 1) = 0, 6.

Além disso, como essas probabilidades não mudam, caso informações sobreo tempo anteriores a hoje (dia t) também forem levadas em conta, então

P (Xt+1 = 0|X0 = k0, X1 = k1, . . . , Xt−1 = kt−1, Xt = 0) = P (Xt+1 = 0|Xt = 0),

P (Xt+1 = 0|X0 = k0, X1 = k1, . . . , Xt−1 = kt−1, Xt = 1) = P (Xt+1 = 0|Xt = 1),

P (Xt+1 = 1|X0 = k0, X1 = k1, . . . , Xt−1 = kt−1, Xt = 0) = P (Xt+1 = 1|Xt = 0),

P (Xt+1 = 1|X0 = k0, X1 = k1, . . . , Xt−1 = kt−1, Xt = 1) = P (Xt+1 = 1|Xt = 1),

para t = 0, 1, . . . e toda sequência i, j, k0, k1, . . . , kt−1.(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 13 / 57

Page 14: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Seção 2 - Cadeias de Markov

Assim, o processo estocástico possui a propriedade markoviana, de formaque o processo é uma Cadeia de Markov.

Usando a notação introduzida nesta seção, as probabilidades de transição(em uma etapa) são

p00 = P (Xt+1 = 0|Xt = 0) = 0, 8

p10 = P (Xt+1 = 0|Xt = 1) = 0, 6

para todo t = 0, 1, . . ., de maneira que estas sejam as probabilidades detransição estacionárias. Além disso,

p00 + p01 = 1, de modo que p01 = 1− 0, 8 = 0, 2,

p10 + p11 = 1, de modo que p11 = 1− 0, 6 = 0, 4.

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 14 / 57

Page 15: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Seção 2 - Cadeias de Markov

Portanto, a matriz de transição fica

em que essas probabilidades de transição referem-se à transição do estadode linha para o estado de coluna. O diagrama de transição abaixo representagraficamente as mesmas informações dadas pela matriz de transição.

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 15 / 57

Page 16: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Seção 2 - Cadeias de Markov

Equações de Chapman-KolmogorovAs equações de Chapman-Kolmogorov fornecem um método para calcularas probabilidades de transição em n etapas:

p(n)ij =

M∑k=0

p(m)ik p

(n−m)kj ,

para todo i, j = 0, 1, . . . ,M e qualquer m = 1, 2, . . . , n−1, n = m+1,m+2, . . . .

Observação: p(m)ik p

(n−m)kj indica que, dado um ponto de partida de estado

i, o processo vai ao estado k após m etapas e depois para o estado j emn −m etapas. Logo, a soma das probabilidades sobre todos os possíveis kleva a p(n)ij .

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 16 / 57

Page 17: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Seção 2 - Cadeias de Markov

No entanto, pode-se mostrar que

P(n) = Pn

Portanto, a matriz de probabilidades de transição em n etapas P(n) pode serobtida calculando-se a n-ésima potência da matriz de de transição em umaetapa P .

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 17 / 57

Page 18: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Seção 2 - Cadeias de Markov

Exemplo 3Para o nosso exemplo do clima, podemos calcular algumas matrizes de tran-sição em n etapas. Por exemplo, n=2

Portanto, se o tempo estiver no estado 0 (seco) em dado dia, a probabilidadede se encontrar no estado 0 dois dias após é 0,76 e a probabilidade de seencontrar no estado 1 (chuva) então é 0,24. Similarmente, se o tempo seencontrar no estado 1 agora, a probabilidade de se encontrar no estado 0dois dias após é 0,72, ao passo que a probabilidade de se encontrar no estado1 então é 0,28.

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 18 / 57

Page 19: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Seção 2 - Cadeias de Markov

As probabilidades do estado do tempo daqui a três, quatro ou cinco diastambém podem ser lidas da mesma maneira:

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 19 / 57

Page 20: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Seção 2 - Cadeias de Markov

Classificação dos estados em uma Cadeia de Markov

Estado AbsorventeUm estado j é absorvente caso, após adentrar esse estado, o processo jamaisdeixará este estado novamente. Portanto, pjj = 1.

Estado TransienteUm estado i é transiente se, após entrar nesse estado, existir a possibilidadede alcançar outro estado j mas não puder voltar ao estado i em que estava

Estado RecorrenteO estado i é dito ser recorrente se, após entrar neste estado, o processo comcerteza for retornar a este estado novamente em outra etapa. Para isso,este estado não pode ser transiente.

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 20 / 57

Page 21: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Seção 2 - Cadeias de Markov

Exemplo 4Suponha que uma Cadeia de Markov possua a seguinte matriz de transição

P =

0, 25 0, 75 0 0 00, 5 0, 5 0 0 00 0 1 0 00 0 0, 33 0, 67 01 0 0 0 0

Os estados 0 e 1 são recorrentes, pois se o processo iniciar em qualquer um desses estados, oprocesso com certeza retornará a este estado.

O estado 2 é absorvente (e portanto, recorrente) , pois se o processo entrar neste estado, elejamais o deixará. Note que p22 = 1.

Os estados 3 e 4 são transientes, pois se o processo iniciar ou chegar a um destes estados, existea possibilidade de irem para outros estados e não poderem jamais voltar.

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 21 / 57

Page 22: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Seção 2 - Cadeias de Markov

Estado Periódico

O período do estado i é definido como o inteiro t,(t > 1), tal que p(n)ii = 0para todos os valores de n diferentes de t, 2t, 3t, . . ., e t é o maior inteirocom essa propriedade.

Estado AperiódicoSe existirem dois números consecutivos s e s+ 1 tais que, o processo possase encontrar no estado i nos instantes s e s+1, o estado é dito como tendoperíodo 1 e é dito aperiódico.

Estados ErgódicosEm uma Cadeia de Markov de estados finitos, os estados recorrentes queforem aperiódicos são denominados estados ergódigos.

Cadeia ErgódigaUma Cadeia de Markov é dita ergódiga se todos os seus estados foremergódigos, isto é, se todos os estados forem recorrentes e aperiódicos.

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 22 / 57

Page 23: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Seção 2 - Cadeias de Markov

Probabilidades de Estado Estável

Para qualquer Cadeia de Markov ergódica e irredutível (todos os estados secomunicam), tem-se que

limn→+∞

p(n)ij = πj > 0,

e é independente de i.

Os πj são chamados probabilidades de estado estável de uma Cadeia deMarkov e satisfazem às seguintes equações de estado estável:

πj =

M∑i=0

πipij , ∀ j = 0, 1, . . . ,M,

M∑i=0

πj = 1.

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 23 / 57

Page 24: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Seção 2 - Cadeias de Markov

Exemplo 5Encontrar as probabilidades de estado estável para o exemplo do clima deOuro Preto.

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 24 / 57

Page 25: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Seção 2 - Cadeias de Markov

Tempo Médio para a Primeira Passagem

Normalmente, é desejável determinar o número médio de transições realiza-das pelo processo para ir do estado i ao estado j, pela primeira vez.

Essa expectativa é representada por µij , e é definida por:

µij =

∞, se a partir do estado i jamais se atinja o estado j;

1 +∑

k 6=j pikµkj , caso contrário.

A segunda equação acima reconhece que a primeira transição de i pode sertanto diretamente para j quanto para algum outro estado k.

Se for diretamente para j ou para outro estado k antes de ir para j, a segundaequação diz que µij é igual ao valor 1 somado com todas as possibilidadespara a primeira transição.

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 25 / 57

Page 26: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Seção 2 - Cadeias de Markov

Exemplo 6Encontrar os tempos médios para a primeira passagem para o exemplo doclima de Ouro Preto.

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 26 / 57

Page 27: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Seção 2 - Cadeias de Markov

Tempo de Recorrência Esperado

O número esperado de transições até que o processo retorne ao estadoinicial i é chamado de tempo de recorrência esperado e, é dado por:

µii =1

πi, ∀ i = 0, 1, 2, . . . ,M,

em que πi são as probabilidades de estado estável.

Assim, para o exemplo do clima de Ouro Preto, temos:

µ00 =1

π0=

1

0, 75∼= 1, 33 dia,

µ11 =1

π1=

1

0, 25= 4 dias.

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 27 / 57

Page 28: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Seção 2 - Cadeias de Markov

Exemplo 7Considere a seguinte matriz de transição de uma Cadeia de Markov:

P =

0, 3 0, 6 0, 10, 1 0, 6 0, 30, 05 0, 4 0, 55

1 Determine as probabilidades de transição após 4, 8 e 16 etapas;2 Verifique se essa Cadeia é ergódiga e irredutível;3 Se o item anterior for verificado, determine as probabilidades de

estado estável;4 Determine o tempo médio para a primeira passagem do estado 2 para

o estado 0;5 Determine os tempos médios de recorrência para todos os estados.

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 28 / 57

Page 29: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Seção 2 - Cadeias de Markov

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 29 / 57

Page 30: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Seção 2 - Cadeias de Markov

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 30 / 57

Page 31: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Seção 2 - Cadeias de Markov

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 31 / 57

Page 32: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Seção 2 - Cadeias de Markov

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 32 / 57

Page 33: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Seção 2 - Cadeias de Markov

Estados Absorventes

Sabe-se que um estado j é absorvente se pjj = 1, de modo que assim quea cadeia visitar j ela permanecerá ali para sempre.

Quando existirem dois ou mais estados absorventes em uma Cadeia de Mar-kov e for evidente que o processo será absorvido por um desses estados, édesejável encontrar essas probabilidades de absorção.

As probabilidades de absorção são importantes em caminhos aleatórios.Um caminho aleatório é uma Cadeia de Markov com a propriedade de que,se o sistema se encontrar em um estado i, então em uma única transiçãoo sistema permanece em i ou então se desloca para um dos dois estadosimediatamente adjacentes a i.

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 33 / 57

Page 34: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Seção 2 - Cadeias de Markov

A análise de cadeias de Markov com estados absorventes pode ser executadaconvenientemente usando matrizes. Em primeiro lugar, a cadeia de Markové repartida da seguinte maneira:

O arranjo requer que todos os estados absorventes ocupem o canto sudesteda nova matriz. Por exemplo, considere a seguinte matriz de transição:

P =

0, 2 0, 3 0, 4 0, 10 1 0 00, 5 0, 3 0 0, 20 0 0 1

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 34 / 57

Page 35: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Seção 2 - Cadeias de Markov

A matriz P pode ser rearranjada e repartida como

P ∗ =

0, 2 0, 4 0, 3 0, 10, 5 0 0, 3 0, 20 0 1 00 0 0 1

, onde

N =

[0, 2 0, 40, 5 0

], A =

[0, 3 0, 10, 3 0, 2

]e I =

[1 00 1

].

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 35 / 57

Page 36: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Seção 2 - Cadeias de Markov

Dada a definição de A e N, e o vetor coluna unitário 1 de todos os elementos1, pode-se mostrar que:

Número médio de passagens no estado j começando no estado i =

Elemento (i, j) de (I −N)−1

Tempo esperado para absorção pelo estado j saindo do estado i =

(I −N)−1 · 1

Probabilidade de absorção pelo estado j =

(I −N)−1 ·A

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 36 / 57

Page 37: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Seção 2 - Cadeias de Markov

Exemplo 8 - Adaptado de [Taha(2008)]

Uma máquina é projetada para funcionar adequadamente com tensão entre108 e 112 volts; Se a tensão sair dessa faixa, a máquina pára. O reguladorde tensão da máquina pode detectar variações em incrementos de 1 volt.A experiência mostra que variações de tensão ocorrem uma vez a cada 15minutos e que, dentro da faixa admissível (108 a 112 volts), a tensão podesubir 1 volt, permanecer inalterada ou baixar 1 volt, todas com probabilidadesiguais.

1 Expresse o problema como uma Cadeia de Markov;2 Determine a probabilidade de uma máquina parar porque a tensão está

baixa. Idem se a tensão estiver alta;3 Qual seria o ajuste ideal de tensão que resultaria no maior tempo de

vida útil para a máquina?

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 37 / 57

Page 38: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Seção 2 - Cadeias de Markov

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 38 / 57

Page 39: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Seção 2 - Cadeias de Markov

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 39 / 57

Page 40: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Seção 2 - Cadeias de Markov

Cadeias de Markov de tempo contínuo

IntroduçãoHá certas situações nas quais é necessário um parâmetro de tempo contí-nuo (chamemos de t′), em virtude da evolução do processo ser observadacontinuamente ao longo do tempo. A variável X(t′) representa o estado dosistema no instante t′.

Portanto, X(t′) assumirá um dos (M + 1) possíveis estados ao longo dealgum intervalo 0 ≤ t′ < t1, e depois terá outro valor ao longo do próximointervalo, t1 ≤ t′ < t2, e etc., em que esses pontos de transição (t1, t2, . . .)são pontos aleatórios no tempo (não necessariamente inteiros).

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 40 / 57

Page 41: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Seção 2 - Cadeias de Markov

Considere agora os seguintes pontos no tempo:t′ = r (com r ≥ 0) sendo um tempo passado;t′ = s (com s > r) sendo o tempo presente; e,t′ = s+ t (com t > 0) representando t unidades de tempo no futuro.

Portanto, o estados observados do sistema nesses instantes são:

X(s) = i e X(r) = x(r).

Assim, poderíamos ter interesse em calcular

P{X(s+ t) = j | X(s) = i e X(r) = x(r)}, ∀ j = 0, 1, 2, . . . ,M.

O cálculo dessa probabilidade pode ser facilitado, caso o processo estocásticoem questão possua a propriedade markoviana.

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 41 / 57

Page 42: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Seção 2 - Cadeias de Markov

Propriedade MarkovianaUm processo estocástico de tempo contínuo possui a propriedade marko-viana se

P{X(s+ t) = j | X(s) = i e X(r) = x(r)} =

P{X(s+ t) = j | X(s) = i}, ∀ j = 0, 1, 2, . . . ,M.

Observe que P{X(s + t) = j | X(s) = i} é uma probabilidade detransição.

Se as probabilidades de transição forem independentes, de modo que

P{X(s+ t) = j | X(s) = i} = P{X(t) = j | X(0) = i}

para todo s > 0, elas são denominadas probabilidades de transição esta-cionárias.

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 42 / 57

Page 43: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Seção 2 - Cadeias de Markov

Representaremos essas probabilidades de transição estacionárias por

pij(t) = P{X(t) = j | X(0) = i}

Definição

Um processo estocático de tempo contínuo X(t′), t′ ≥ 0 é uma cadeia deMarkov de tempo contínuo se ela possuir a propriedade markoviana.

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 43 / 57

Page 44: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Seção 2 - Cadeias de Markov

Tempo remanescenteCada vez que o processo entra no estado i, o tempo que ele gastará noestado i antes que ocorra uma transição para o estado j (caso não ocorraantes uma transição para algum outro estado) é uma variável aleatória Tij .

Tij são variáveis aleatórias independentes, nas quais cada Tij segue umadistribuição exponencial com parâmetro λij , de modo que E(Tij) =

1λij

.

O tempo gasto no estado i até que ocorra uma transição (Ti) é o mínimode Tij , com E(Ti) =

1λi.

Quando ocorre a transição, a probabilidade de que o sistema se encontre noestado j é pij =

λijλi

.

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 44 / 57

Page 45: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Seção 2 - Cadeias de Markov

Propriedade da falta de memória

A propriedade markoviana (com probabilidades de transição estacionárias)implica que:

P{Ti > s+ t | Ti > s} = P{Ti > t},

isto é, a distribuição probabilística do tempo remanescente até o processosair de dado estado é sempre a mesma, independentemente de quanto tempoo processo tiver gasto nesse estado.

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 45 / 57

Page 46: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Seção 2 - Cadeias de Markov

Probabilidade de estado estável

Probabilidade de estado estávelDiz-se que os estados i e j se comunicam entre si se houver tempo t1 e t2tal que pij(t1) > 0 e pji(t2) > 0.

Diz-se também que todos os estados que se comunicam formam uma classe.Se todos os estados formarem uma única classe, isto é, se a cadeia de Markovfor irredutível (e assim suposta daqui pra frente), então:

pij(t) > 0

elim

t→+∞pij(t) = πj

sempre existe, é independente do estado inicial e é conhecida como proba-bilidade de estado estável (ou probabilidade estacionária).

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 46 / 57

Page 47: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Seção 2 - Cadeias de Markov

As equações de estado estável a seguir fornecem um sistema de equaçõespara encontrar as probabilidades de estado estável:

πjλj =∑i 6=j

πiλij , ∀ j = 0, 1, 2, . . . ,M.

eM∑j=0

πj = 1.

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 47 / 57

Page 48: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Seção 2 - Cadeias de Markov

Exemplo 9 - Adaptado de [Hillier e Lieberman(2010)]

Certa fábrica tem duas máquinas idênticas que são operadas continuamente,exceto quando estão quebradas, situação na qual ocorre o reparo.

O tempo exigido para reparar uma máquina segue uma distribuição exponen-cial com média igual a 1

2 dia. Assim que o reparo tiver terminado, o tempoaté a próxima vez em que essa máquina se quebrar segue uma distribuiçãoexponencial com média igual a 1 dia. Essas distribuições são independentes.

Defina uma variável aleatória X(t′) como

X(t′) = número de máquinas quebradas no instante t′,

de modo que os valores possíveis de X(t′) são 0, 1 ou 2.

Assim, fazendo com que o parâmetro de tempo t′ execute continuamente apartir do instante 0, o processo estocástico de tempo contínuo {X(t′), t′ ≥0} fornece a evolução do número de máquinas quebradas ao longo do tempo.

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 48 / 57

Page 49: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Seção 2 - Cadeias de Markov

Uma vez que os tempos envolvidos seguem distribuições exponenciais, esseprocesso estocástico pode ser definido como uma cadeia de Markov de tempocontínuo com estados 0, 1 e 2.

Podemos ter interesse em determinar as probabilidades de estado estávelpara essa cadeia. Para isso, basta aplicar as seguintes equações:

πjλj =∑i 6=j

πiλij , ∀ j = 0, 1, 2, . . . ,M.

eM∑j=0

πj = 1.

Portanto, teremos:π0λ0 =

∑i 6=0 πiλi0 = π1λ10 + π2λ20

π1λ1 =∑

i 6=1 πiλi1 = π0λ01 + π2λ21π2λ2 =

∑i 6=2 πiλi2 = π0λ02 + π1λ12

π0 + π1 + π2 = 1.(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 49 / 57

Page 50: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Seção 2 - Cadeias de Markov

Do enunciado, temos que:

E(Treparo) =1

2dia.

Como,

E(T21) =1

λ21= E(T10) =

1

λ10=

1

2dia,

vem: λ21 = λ10 = 2 reparos por dia.Do enunciado, ainda temos que:

E(Tquebra) = 1 dia.

Como,

E(T01) =1

λ01= E(T12) =

1

λ12= 1 dia,

vem: λ01 = 1 quebra por dia para uma máquina e λ12 = 1. Como são duasmáquinas, existem duas possibilidades de ir do estado 0 para o estado 1.Assim, λ01 = 1 + 1 = 2 quebras por dia.

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 50 / 57

Page 51: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Seção 2 - Cadeias de Markov

Já que as quebras e os reparos acontecem um de cada vez, λ02 = 0 eλ20 = 0.

Agora, podemos calcular λ0, λ1 e λ2: λ0 = λ01 = 2;λ1 = λ10 + λ12 = 3λ2 = λ21 = 2;

Finalmente, levando os valores calculados de λij e λi nas equações de estadoestável, temos o seguinte sistema de equações:

2π0 = 2π13π1 = 2π0 + 2π22π2 = π1π0 + π1 + π2 = 1

Cuja solução é dada por

(π0, π1, π2) = (2

5,2

5,1

5).

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 51 / 57

Page 52: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Seção 2 - Cadeias de Markov

Exercício 2 - Adaptado de [Hillier e Lieberman(2010)]

Reconsidere o exemplo anterior. Suponha agora que uma terceira máquina,idêntica às duas primeiras, tenha sido agregada à fábrica. O único respon-sável pela manutenção ainda tem de preservar todas as máquinas.

1 Represente um diagrama de taxas para essa cadeia de Markov;2 Escreva as respectivas equações de estado estável;3 Determine as probabilidades de estado estável.

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 52 / 57

Page 53: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Seção 2 - Cadeias de Markov

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 53 / 57

Page 54: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Seção 2 - Cadeias de Markov

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 54 / 57

Page 55: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Seção 2 - Cadeias de Markov

Exercício 3 - Adaptado de [Hillier e Lieberman(2010)]

O estado de determinada cadeia de Markov de tempo contínuo é definidocomo o número de tarefas atuais em certo centro de produção, em que épermitido um máximo de três tarefas. As tarefas chegam individualmente.Sempre que menos de três tarefas estiverem presentes, o tempo até a pró-ximas chegada tem uma distribuição exponencial com média de 2 dias. Astarefas são processadas no centro de produção uma por vez e depois saemimediatamente. Os tempos de processamento possuem uma distribuiçãoexponencial com média igual a 1 dia.

1 Represente um diagrama de taxas para essa cadeia de Markov;2 Escreva as respectivas equações de estado estável;3 Determine as probabilidades de estado estável.

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 55 / 57

Page 56: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Seção 2 - Cadeias de Markov

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 56 / 57

Page 57: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Seção 2 - Cadeias de Markov

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 57 / 57

Page 58: Métodos Estocásticos da Engenharia I - Capítulo 6 - Processos …professor.ufop.br/sites/default/files/magno/files/... · 2019. 5. 31. · MétodosEstocásticosdaEngenhariaI Capítulo6-ProcessosEstocásticoseCadeiasdeMarkov

Seção 2 - Cadeias de Markov

Hillier, F., Lieberman, G., 2010. Introdução à Pesquisa Operacional.Porto Alegre: McGraw Hill.

Taha, H., 2008. Pesquisa Operacional. Porto Alegre: Pearson PrenticeHall.

(UFOP/EM/DEPRO) Métodos Estocásticos da Engenharia I 2019/1 57 / 57