cadeias e processos de markov
TRANSCRIPT
UNIVERSIDADE SÃO
JUDAS TADEU
PROCESSOS ESTOCÁSTICOS E CADEIAS DE MARKOV
FERNANDO MORI
http://sites.google.com/site/fmoripro
Processos Estocásticos
Um processo estocástico é definido como um conjunto indexado de variáveis aleatórias em que o índice t percorre dado conjunto T. Normalmente admite-se que T seja o conjunto dos inteiros não negativos e represente uma característica mensurável de interesse no instante t. Por exemplo, poderia medir o nível de estoque de determinado produto ao final da semana t.
Os processos estocásticos são de interesse por descreverem o comportamento de um sistema operando ao longo de um período.
FERNANDO MORI - USJT 2012 2
tX
tX
tX
Processos Estocásticos Um processo estocástico normalmente apresenta a seguinte
estrutura:
O estado atual do sistema pode cair em qualquer uma das M + 1 categorias mutuamente exclusivas denominadas de estados. Esses estados são identificados como 0,1,2,......,M. A variável aleatória representa o estado do sistema no instante t de modo que os seus únicos valores possíveis sejam 0,1,2,......,M. O sistema é observado em pontos determinados no tempo, identificados por t = 0,1,2,......Portanto o processo estocástico
fornece uma representação matemática de como o sistema físico evolui ao longo do tempo.
FERNANDO MORI - USJT 2012 3
tX
0 1 2, , ,...........tX X X X
Processos Estocásticos
Este tipo de processo é conhecido como um processo estocástico em tempo discreto com um espaço de estado finito.
Exemplo:
O tempo em uma certa cidade pode mudar de maneira rápida. Entretanto as chances em termos de tempo seco (sem chuvas) amanhã são ligeiramente maiores, caso esteja seco hoje do que se chover hoje. Particularmente a probabilidade de termos tempo seco amanhã é de 0,8, caso hoje esteja seco, porém é de apenas 0,6 caso amanhã chova.
A evolução do tempo, dia a dia, é um processo estocástico. Começando em dado dia inicial (chamado dia 0), o tempo
FERNANDO MORI - USJT 2012 4
Processos Estocásticos
é observado em cada dia t, para t = 0,1,2,...... O estado do sistema no dia t pode ser:
Estado = 0 dia t é seco
Estado = 1 dia t com chuva
Portanto para t = 0,1,2,...., a variável aleatória assume os seguintes valores:
O processo estocástico fornece uma representação matemática de como o estado do tempo na cidade evolui ao longo do tempo.
FERNANDO MORI - USJT 2012 5
tX
0 se o dia t estiver seco
1 se o dia t estiver chovendo
t
t
X
X
0 1 2, , ,........tX X X X
Processos Estocásticos
Um processo estocástico é dito ter a propriedade markoviana se a probabilidade condicional de qualquer evento futuro , dados quaisquer eventos do passado e o estado presente é independente dos eventos passados e depende apenas do estado atual.
Um processo estocástico é uma cadeia de Markov se possuir a propriedade markoviana.
As probabilidades condicionais para uma cadeia de Markov são chamadas de probabilidades de transição(uma etapa). Se para cada i e j ,
FERNANDO MORI - USJT 2012 6
( 0,1,2,......)tX t
1 /t tP X j X i
1 1 0/ /t tP X j X i P X j X i
Cadeias de Markov
Então as probabilidades de transição ( uma etapa) são ditas estacionárias. Portanto, ter probabilidades de transição estacionárias implica que as probabilidades de transição não mudam ao longo do tempo. A existência de probabilidades de transição estacionarias também implicam o mesmo para cada i, j e n (n = 0,1,2,....).
Para todo t = 0,1,2,.....Essas probabilidades condicionais são denominadas probabilidades de transição em n etapas.
FERNANDO MORI - USJT 2012 7
0/ /t n t nP X j X i P X j X i
Cadeias de Markov
Para simplificar a notação com probabilidades de transição estacionarias usamos:
Assim a probabilidade de transição em n etapas é simplesmente a probabilidade condicional de que o sistema estará no estado j após exatamente n etapas (unidades de tempo), dado que ele inicia no estado i a qualquer instante j.
Como são probabilidades condicionais, elas têm de ser não negativas e já que o processo deve realizar uma transição para algum estado elas devem satisfazer as seguintes propriedades:
FERNANDO MORI - USJT 2012 8
1
( )
/
/
ij t t
n
ij t n t
p P X j X i
p P X j X i
( )n
ijp
( )n
ijp
Cadeias de Markov
Uma maneira conveniente de mostrar as probabilidades de transição é usar o formato de matriz:
FERNANDO MORI - USJT 2012 9
( )
( )
0
0, para todo i,j;n=0,1,2,......
1 para todo i;n=0,1,2,......
n
ij
Mn
ij
j
p
p
Cadeias de Markov
FERNANDO MORI - USJT 2012 10
( ) ( ) ( ) ( )
00 01 02 0
( ) ( ) ( ) ( )
10 11 12 1
( ) ( ) ( ) ( ) ( )
20 21 22 2
( ) ( ) ( ) ( )
0 1 2
estado 0 1 2 . . .
0 . . .
1 . . .
2 . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . .
n n n n
M
n n n n
M
n n n n n
M
n n n n
M M M MM
M
p p p p
p p p p
P p p p p
M p p p p
Cadeias de Markov
FERNANDO MORI - USJT 2012 11
00 01 02
10 11 12( )
20 21 22
30 31 32
A matriz de transição será então dada por:
. .
. .
.. .
. ..
. . . . .
n
p p p
p p p
P p p p
p p p
Cadeias de Markov
Note que a probabilidade de transição em determinada linha e coluna é para a transição do estado da linha para o estado da coluna. Quando n = 1 eliminamos n e simplesmente nos referimos a matriz como matriz de transição.
As cadeias de Markov que iremos estudar possuem as seguintes propriedades :
1) Um número finito de estados.
2) Probabilidades de transição estacionárias.
3) Partimos da hipótese de que conhecemos as probabilidades iniciais para todo i.
FERNANDO MORI - USJT 2012 12
FERNANDO MORI - USJT 2012 13
PROCESSO DE MARKOV
Propriedade dos sistemas sem memória:
• Dado o estado atual , o próximo estado só depende deste estado e de nenhum outro estado em que o sistema tenha estado no passado (ausência de memória espacial).
• O tempo em que o sistema se encontra no estado atual não é relevante para se determinar o próximo estado (ausência de memória temporal).
kx
FERNANDO MORI - USJT 2012 14
Cadeia de Markov
Já foi visto que para especificar uma cadeia de Markov deve-se:
• Identificar um espaço de estados.
• Conhecer a probabilidade inicial de estado para cada estado pertencente ao espaço de estados.
• Conhecer a probabilidade de transição.
FERNANDO MORI - USJT 2012 15
Sistema de Tempo Discreto
• Considerando o espaço de estado como um conjunto contável, ele pode ser representado pelo conjunto dos números inteiros não negativos: (1,2,3,.......).
• As letras i e j são usadas para representar o estado atual e o próximo estado;
• No caso de sistemas com tempo discreto representa-se os instantes pelo conjunto de números inteiros, sendo k a variável utilizada para representar estes instantes discretos.
FERNANDO MORI - USJT 2012 16
Probabilidade de transição de Estado
• Probabilidade de Transição:
1( ) /
onde i,j pertencem aos estados de tempo discreto.
As seguintes prpriedades são válidas:
0 ( ) 1;
e para todo estado i e instante de tempo k:
( ) 1, para todo j.
ij k K
ij
ij
p k P X j X i
p k
p k
FERNANDO MORI - USJT 2012 17
Probabilidade de transição de n passos
( , ) /
Vamos condicionar esta transição de n passos a passagem por um estado
intermediário r num determinado instante u, entre k e k+n, ou seja:
( , ) / , .
ij k n k
ij K n u k utodor
p k k n P X j X i
p k k n P X j X r X i P X r
/
Pela propriedade da ausênci de memória temos:
/ , / ( , )
onde:
( , ) /
k
k n u k k n u rj
ir u k
X i
P X j X r X i P X j X r p u k n
p k u P X r X i
FERNANDO MORI - USJT 2012 18
Equação de Chapman-Kolmogorov
( , ) ( , ). ( , ),
Esta é a equação de Chapman-Kolmogorov, que determina a evolução,
trajetória dos estados da cadeia de Markov.
Esta relação é válida para cadeias de Markov com tem
ij ir rjr
p k k n p k u p u k n k u k n
po discreto.
Ela pode ser escrita na forma matricial.
FERNANDO MORI - USJT 2012 19
Equação na forma de Matriz
Portanto podemos reescrever a equação de
Chapman-Kolmogorov:
Define-se a matriz H como sendo:
( , ) ( , ) , , 0,1,2,....
Esta é a matriz das probabilidades de transição
de estados em n passos.
ijH k k n p k k n i j
( , ) ( , ). ( , )
ou escolhendo-se 1, tem-se:
( , ) ( , 1). ( 1, )
esta é a relação de evolução direta de Kolmogorov.
H k k n H k u H u k n
u k n
H k k n H k k n H k n k n
FERNANDO MORI - USJT 2012 20
Cadeia de Markov Homogênea
• Quando as probabilidades de transição forem independentes do tempo k, para todo i,j, tem-se uma cadeia de markov homogênea.
• Neste caso escreve-se:
Onde o elemento da matriz de transição é independente de k.
• Ou seja, a transição de i para j sempre ocorre com a mesma probabilidade p , independente do instante de tempo que ela venha a ocorrer.
1 /ij k k ip P X j X
FERNANDO MORI - USJT 2012 21
Exemplo
• Considere uma máquina que pode estar em um dos dois estados: up e down.
• Considere o conjunto de estados (0,1) para representar os estados dessa máquina.
• O estado dessa máquina é observado (verificado) a cada hora. Estes instantes de observação são representados pela seqüência k=0,1,2,3,...... .
• Desta forma temos uma cadeia estocástica, onde temos o estado da máquina na k-ésima hora de observação.
FERNANDO MORI - USJT 2012 22
Exemplo: Continuação Considere ainda que:
- se a máquina estiver no estado up a probabilidade
dela falhar na próxima hora é dada por .
- se a máquina estiver no estado down a probabilidade
dela ser consertada na próxima hora
10 11 01 00
é .
Com estas definições obtemos uma cadeia de Markov
homogênea.
A matriz de transição de probabilidades possui os
seguintes elementos:
p 1 1
onde 0 1 e 0 1.
p p p
FERNANDO MORI - USJT 2012 23
Exemplo: Diagrama de transição
• Uma maneira conveniente de se representar uma cadeia de markov é através de um diagrama de transição de estados:
1 0 1
1
FERNANDO MORI - USJT 2012 24
Exemplo:Cadeia não homogênea
• Considere agora a situação onde, com o passar do tempo, a probabilidade da máquina falhar na próxima hora aumenta devido ao seu envelhecimento;
• Neste caso as probabilidades de transição poderiam ser escritas na forma:
FERNANDO MORI - USJT 2012 25
Cadeia não Homogênea
10
11
1
1
para 0 1 e 0,1,2,.....
Neste caso a probabilidade de falha aumenta e tende
a 1 quando k tende a infinito. Esta nova cadeia de
Markov não é mais homogenea.
k
k
p
p
k
FERNANDO MORI - USJT 2012 26
Transição de estados em n-passos
• Numa cadeia homogênea a matriz de transição de estado também é independente do tempo k. Neste caso pode-se escrever:
• Se fizermos u=k+m e escolhendo m=n-1, na equação de Chapman-Kolmogorov, tem-se:
/ , 1,2,...nij k n kp P X j X i n
( ) ( 1). (1),
onde ( ) nij
H n H n H
H n p
FERNANDO MORI - USJT 2012 27
Exemplo: Chamadas telefônicas
• Considere os intervalos de tempo discretos, k=0,1,2,...., chamados de “time-slots”;
• O processo de chamada telefônica opera da seguinte maneira:
No máximo uma chamada telefônica pode ocorrer no time-slot com probabilidade
Se o telefone estiver ocupado a chamada é perdida(não há transição de estado) se não, a chamada é processada;
Uma chamada sendo processada pode ser encerrada dentro de um time-slot com probabilidade
FERNANDO MORI - USJT 2012 28
Exemplo: Continuação
• Se ocorrer a chegada de uma nova chamada e o término de uma outra dentro de um mesmo time-slot, a nova chamada será aceita e o seu processamento iniciado.
• Assume-se que a chegada ou o término das chamadas são independentes entre si;
• Seja a representação do estado deste processo estocástico no k-ésimo time-slot, o qual pode assumir valor 0 (telefone livre) ou 1(telefone ocupado);
kX
FERNANDO MORI - USJT 2012 29
Exemplo: Continuação
• As probabilidades de transição de estado são:
00
01
10
1 : O telefone permanece livre se nenhuma
chamada chega no time-slot;
: O telefone fica ocupado se uma nova chamada
chega no time-slot.
.(1 ): O telefone fica livre se uma chamada
é comp
p
p
p
11
letada e não chega nenhuma nova chamad no
time-slot;
(1 ).(1 ) O telefone permanece ocupado
se a chamada não completa ou a chamada completa,
porém chega uma nova chamada no time-slot.
p
FERNANDO MORI - USJT 2012 30
Exemplo: Continuação
A matriz de transição P é dada por:
1
.(1 ) (1 ) .P
FERNANDO MORI - USJT 2012 31
Exemplo: Continuação
.(1 )
(1 )
1
FERNANDO MORI - USJT 2012 32
Cadeias de Markov
Resumo
• Um processo de Markov (processo Estocástico) consiste em um conjunto de estados tais que:
1. A qualquer instante cada objeto deve estar em um único estado.
2. A probabilidade de que um objeto passe de um estado para outro em um período de tempo depende apenas desses dois estados.
FERNANDO MORI - USJT 2012 33
Classificação de Estados em uma
Cadeia de Markov
• Dados dois estados i e j, uma trajetória de i para
j é uma sequência de transições que iniciam em
i e terminam em j, de tal maneira que cada
transição na sequência tem uma probabilidade
positiva de ocorrência.
• Um estado j é acessível do estado i se existir
uma trajetória que leva de i para j.
• Dois estados i e j são chamados comunicantes
se j é acessível de i e i é acessível de j.
FERNANDO MORI - USJT 2012 34
• Um estado i é chamado absorvente se
• Um estado i é chamado estado transiente se existe um estado j acessível a partir de i, mas o estado i não é acessível a partir de j.
• Um estado é periódico com período k, se k for um número inteiro positivo tal que a trajetória do estado i que volta para esse mesmo estado i tem comprimento que é um múltiplo de k.
1iip
FERNANDO MORI - USJT 2012 35
Estado Estacionário ou Longo
Prazo
• Seja P a matriz de transição que dá origem a uma cadeia de Markov. Se os estados não forem periódicos, todos comunicarem-se entre si e não houver nenhum estado absorvente, então existe um estado
tal que a seguinte igualdade matricial é verificada:
1 2 3 ...
FERNANDO MORI - USJT 2012 36
1 2 3
1 2 3 4
.
onde:
....
é a matriz de transição
e
....... 1
P
P
FERNANDO MORI - USJT 2012 37
• Tal estado é chamado de estado estacionário do processo.
• Isto significa que após um tempo longo, o processo de Markov estaciona, para de ocorrer mudanças nos estados e atinge-se um estado estacionário (ou de equilíbrio) independente do estado inicial.
• A condição de que a soma dos elementos de uma linha na matriz estado de ter soma 1 deve ser usada na resolução do sistema linear.
FERNANDO MORI - USJT 2012 38
Cadeias de Markov
Resumo • Os processos de Markov ocorrem sempre em
uma base de tempo a qual depende do problema analisado.
• O número inteiro de períodos de tempo decorridos desde o início do processo representa o número de estágios do processo, que pode ser finito ou infinito.
• Se o número de estados é finito o processo de Markov recebe o nome de uma cadeia de Markov.
FERNANDO MORI - USJT 2012 39
Cadeias de Markov
Resumo • Denotamos a probabilidade de transição do estado i para
o estado j em um período de tempo por .
• Para uma cadeia de Markov com n estados (n é um
número inteiro), a matriz n x n formada pelas
probabilidades de transição é a matriz estocástica
associada ao processo.
• Necessariamente a soma dos elementos de cada linha
da matriz de transição P é igual a 1.
• O valor representa a probabilidade de que o
processo quando no estado i faça uma transição para o
estado j.
ijp
ijp
FERNANDO MORI - USJT 2012 40
Cadeias de Markov
Resumo
00 01 02
10 11 12
20 21 22
30 31 32
. .
. .
.. .
. ..
. . . . .
p p p
p p p
P p p p
p p p
FERNANDO MORI - USJT 2012 41
Cadeias de Markov
Resumo • Os estados de um processo de Markov
são armazenados em uma matriz linha
que possui tantas colunas quantos forem
os estados do processo de Markov.
• A evolução do processo se faz através da
multiplicação da matriz de estados pela
matriz de transição.
• A matriz de estados será:
FERNANDO MORI - USJT 2012 42
Cadeias de Markov
Resumo
( )1 2 3
1 2,...
..
Onde , são as probabilidades estarmos
no estado 1, 2, ...
nX p p p
p p
FERNANDO MORI - USJT 2012 43
Cadeias de Markov
Resumo • Teorema: Se P é a matriz de transição de um
processo de Markov então a matriz linha de
estados no periodo (n+1) da
observação pode ser determinado a partir da
matriz linha de estados no período n da
observação a partir da relação:
•
( 1)nX
( )nX
( 1) ( ).n nX X P
FERNANDO MORI - USJT 2012 44
Exercícios
FERNANDO MORI - USJT 2012 45
1) Os dados de uma pesquisa dividem as famílias
em economicamente estáveis e
economicamente instáveis. Num período de 10
anos, a probabilidade de uma família estável
permanecer estável é 0,92 enquanto a
probabilidade de ficar economicamente instável
é 0,08. A probabilidade de que uma família
instável se torne estável é de 0,03, enquanto a
probabilidade de que ela assim permaneça é
0,97. Qual a probabilidade de que daqui a 20
anos uma família hoje economicamente estável
torne-se economicamente instável ?
Solução:
Diagrama de estados
FERNANDO MORI - USJT 2012 46
estável instável
0,92
0,08
0,03
0,97
FERNANDO MORI - USJT 2012 47
(0)
(1) (0)
(1)
(1)
(2) (1)
(2)
2
0,92 0,08
0,03 0,97
estado inicial
1 0
primeiro período = 10 anos
.
0,92 0,081 0 .
0,03 0,97
0,92 0,08
segundo período = 20 anos
.
0,92 0,080,92 0,08 .
0,03 0,97
P
X
X X P
X
X
X X P
X
X
0,8488 0,1512
probabilidade de se tornar instável é 0,1512 ou 15,12%
FERNANDO MORI - USJT 2012 48
2) O fabricante de um produto controla atualmente
60% do mercado de uma determinada cidade.
Dados do ano anterior mostram que 88% dos
seus clientes permanecem leais a sua marca
enquanto 12% mudam para outras marcas.
Além disso 85% dos usuários de marcas da
concorrência permaneceram leais a marca da
concorrência enquanto os outros 15% mudaram
para o produto do fabricante. Assumindo que
essa tendência se mantém, determine a parcela
de mercado do fabricante daqui a 3 anos.
FERNANDO MORI - USJT 2012 49
clientes não clientes
0,88
0,85
0,12
0,15
FERNANDO MORI - USJT 2012 50
0
1 0
1
1
Matriz de transição:
0,88 0,12
0,15 0,85
Estado inicial:
0,6 0,4
primeiro período = 1 ano
.
0,88 0,120,6 0,4 .
0,15 0,85
0,5880 0,4120
P
X
X X P
X
X
FERNANDO MORI - USJT 2012 51
2 1
2
2
3 2
3
3
segundo período = 2 anos
.
0,88 0,120,5880 0, 4120 .
0,15 0,85
0,5792 0, 4208
Terceiro período = 3 anos
.
0,88 0,120,5792 0,4208 .
0,15 0,85
0,5728 0, 4272
parcela de mercado = 57,28%.
X X P
X
X
X X P
X
X
FERNANDO MORI - USJT 2012 52
3) Em um certo dia qualquer, João pode estar de bom
humor (BH), mais ou menos(MM) ou de mal
humor(MH). Se ele estiver de bom humor hoje então
ele estará BH, MM ou MH amanhã com
probabilidades 0.5, 0.4, 0.1. Se ele estiver mais ou
menos hoje então ele estará BH, MM ou MH amanhã
com probabilidades 0.3, 0.4, 0.3. Se ele estiver MH
hoje então as probabilidades de estar amanhã BH,
MM ou MH serão 0.2, 0.3 e 0.5.
Sabendo que hoje ele está de bom humor, qual a
probabilidade de João estar de mau humor daqui a
dois dias?
M V MH MM
C
0.5
0.1
0.2
0.3
0.3
0.3
0.4
0.4
0.5
BH
BH MM MH
BH 0.5 0.4 0.1
MM 0.3 0.4 0.3
MH 0.2 0.3 0.5
53 FERNANDO MORI - USJT 2012
FERNANDO MORI - USJT 2012 54
0
1 0
1
1
2 1
2
matriz de transição
0,5 0,4 0,1
0,3 0,4 0,3
0, 2 0,3 0,5
estado inicial
1 0 0
.
0,5 0, 4 0,1
1 0 0 . 0,3 0, 4 0,3
0, 2 0,3 0,5
0,5 0,4 0,1
segundo dia
.
0,5 0, 4 0,1
0,5 0,4 0,1 . 0,3 0, 4 0,3
0, 2 0,3 0,5
P
X
X X P
X
X
X X P
X
20,39 0,39 0, 22
A probabilidade de estar de mau humor
daqui a 2 dias é 22%
X
FERNANDO MORI - USJT 2012 55
4) Suponha que uma indústria produza dois tipos de
produtos: tipo 1 e tipo 2. Sabendo que se uma pessoa
comprou o tipo 1, existe 90% de chance que sua
próxima compra seja tipo 1.
Sabendo que se uma pessoa comprou o tipo 2 existe
80% de chance que na próxima compra seja do tipo 2.
a) Se uma pessoa comprou o tipo 2, qual a probabilidade
dela comprar tipo 1 num intervalo de 2 compras?
b) Se uma pessoa comprou o tipo 1, qual a probabilidade
dela comprar tipo 1 num intervalo de 3 compras?
Tipo 1 Tipo 2
0.2
0.1
0.9 0.8
Tipo 1 Tipo 2
Tipo 1 0.9 0.1
Tipo 2 0.2 0.8
P =
56 FERNANDO MORI - USJT 2012
FERNANDO MORI - USJT 2012 57
0
1 0
1
1
2 1
2
2
0,9 0,1
0,2 0,8
a) início:
0 1
primeira compra
.
0,9 0,10 1 .
0, 2 0,8
0, 2 0,8
segunda compra
.
0,9 0,10, 2 0,8 .
0,2 0,8
0,34 0,66
A probabilidade de comprar tipo 1
após 2 compras é
P
X
X X P
X
X
X X P
X
X
34%.
FERNANDO MORI - USJT 2012 58
0
1 0
1
1
2 1
2
2
b) início:
1 0
primeira compra
.
0,9 0,11 0 .
0,2 0,8
0,9 0,1
segunda compra
.
0,9 0,10,9 0,1 .
0, 2 0,8
0,83 0,17
X
X X P
X
X
X X P
X
X
FERNANDO MORI - USJT 2012 59
3 2
3
3
terceira compra
.
0,9 0,10,83 0,17 .
0,2 0,8
0,781 0,219
A probabilidade fe comprar o tipo 1 na
terceira compra é 78,1%.
X X P
X
X
FERNANDO MORI - USJT 2012 60
5) Em uma cidade sabemos que 90% de
todos os dias ensolarados são seguidos
por outro dia ensolarado, e 75% de todos
os dias nublados são seguidos por outro
dia nublado. Construa a matriz de
transição e calcule a probabilidade de
daqui a 3 dias termos um dia nublado
sendo que hoje está um dia ensolarado.
FERNANDO MORI - USJT 2012 61
ensolarado nublado
0,9
0,75
0,1
0,25
FERNANDO MORI - USJT 2012 62
0
1
1
2
2
3
3
0,9 0,1
0,25 0,75
estado inicial:
1 0
primeiro dia
0,9 0,11 0 .
0,25 0,75
0,9 0,1
segundo dia
0,9 0,10,9 0,1 .
0,25 0,75
0,8350 0,1650
terceiro dia
0,9 0,10,8350 0,1650 .
0,25 0,75
0,79
P
X
X
X
X
X
X
X
28 0,2073
A probabilidade de termos dia ensolarado
é 20,73%.
FERNANDO MORI - USJT 2012 63
6) Um vendedor tem as cidades A, B, C e D em seu território. Ele nunca fica numa cidade mais do que uma semana. Se ele está na cidade A ele tem a mesma probabilidade de ir para qualquer uma das três na próxima semana. Se ele está na B, então na próxima semana ele pode estar nas cidades A, C ou D com probabilidades respectivamente iguais a ½, ¼ e ¼ . Se ele está em C então na próxima semana ele não irá a B porém pode ir com a mesma probabilidade a A ou D. Se ele está na cidade D então na próxima semana ele não estará em A, porém tem probabilidade 2/3 e 1/3 de estar respectivamente em B ou C.
a) Represente esse processo por uma cadeia de Markov.
b) Se o vendedor está em A esta semana, qual a probabilidade de estar em C daqui a duas semanas?
A B C D
0
1/ 3
1/ 2
1/
3
1/
2
1/ 3
1/ 4
0
1/
4 2/ 3 1/ 2
1/
5
A B C D
A 0 1/ 3 1/ 3 1/ 3
B 1/ 2 0 1/ 4 1/ 4
C 1/ 2 0 0 1/ 2
D 0 4/ 5 1/ 5 0
64 FERNANDO MORI - USJT 2012
FERNANDO MORI - USJT 2012 65
7) A ala geriátrica de um hospital classifica os seus pacientes como acamados ou ambulatórios. Dados históricos indicam que durante o período de uma semana, 30% de todos os pacientes ambulatórios tem alta, 40% permanecem em regime ambulatório e 30% tem de ser acamados para repouso completo. Durante o mesmo período, 50% dos pacientes acamados tornam-se ambulatórios, 20% permanecem acamados e 30% morrem. Presentemente o hospital tem 100 pacientes na sua ala geriátrica, com 30% de acamados e 70% de ambulatórios.
Determine o estado desses pacientes: a) Após 2 semanas b) A longo prazo
(o estado de um paciente com alta não muda se o paciente morrer).
M 2 AMB ALTA
0, 3 0,
3
0, 3
0,
2
0, 4
0, 5
AC
Matriz de
transição: AC AMB M ALTA
AC 0, 2 0, 5 0, 3 0
AMB 0, 3 0, 4 0 0, 3
M 0 0 1 0
ALTA 0 0 0 1
66 FERNANDO MORI - USJT 2012
FERNANDO MORI - USJT 2012 67
8)Uma companhia aérea com um vôo às 7:15 da
manhã entre SP e RJ não quer que o vôo se
atrase na partida em dois dias seguidos. Se o vôo
sair atrasado num dia, a companhia faz um
esforço adicional no dia seguinte para que o vôo
cumpra o horário e é bem sucedida em 90% das
vezes. Se o vôo não sair atrasado num dia a
companhia não toma providências especiais para
o dia seguinte e o vôo cumprirá o horário em
60% das vezes. Qual a porcentagem de vezes que
o vôo parte atrasado?
FERNANDO MORI - USJT 2012 68
atrasado no horário
0,1
0,6
0,9
0,4
69
1 2 1 2
matriz de transição:
0,1 0,9
0, 4 0,6
No longo prazo o comportamento do
sistema será obtido resolvendo-se o sistema
linear:
.
0,1 0,9.
0,4 0,6
Esta é uma equação matricial que se resolve
P
X X P
x x x x
1 1 2
2 1 2
1 2
1 1 2
1 2
igualando-se
os termos:
0,1 0,4
0,9 0,6
A condição fundamental é que
1
Usando esta condição e descartando uma das equações
ficamos com o sistema linear:
0,1 0,4
1
Resolvendo e
x x x
x x x
x x
x x x
x x
1 2
ste sistema linear pelo método da substituição
obtemos o seguinte resultado:
0,6923 e 0,3074
Os voos sairão atrasados 30,7% das vezes.
x x FERNANDO MORI - USJT 2012
FERNANDO MORI - USJT 2012 70
9) Os proprietários de um grande edifício de apartamentos para alugar pretendem entregar a sua gestão a uma companhia imobiliária com excelente reputação. Com base nas classificações de boa, média e fraca condição dos edifícios geridos por essa imobiliária foi documentado que 50% de todas as construções que começaram um ano em boas condições assim permaneceram até o fim do ano, enquanto que as 50% restantes deterioraram para uma condição média. De todas as construções que começaram o ano com condição média 30% assim permaneceram até o fim do ano, enquanto que 70% foram melhoradas para uma boa condição. De todas as construções que começaram o ano com uma condição fraca, 90% assim permaneceram até o fim do ano, enquanto que as outras 10% foram melhoradas para uma boa condição. Considerando que essa tendência se mantém se a empresa for contratada, determine a condição dos apartamentos sob a administração dessa firma esperada a longo prazo.
B M
0.
7
0. 5
0. 5
0. 3
Matriz de
transição:
0, 9 0 0, 1 F
0 0, 3 0, 7 M
0 0, 5 0, 5 B
F M B
0. 9
0. 1
F
71 FERNANDO MORI - USJT 2012
FERNANDO MORI - USJT 2012 72
10) Um banco resolveu investir em uma estratégia de
marketing.
A estratégia 1 tem um custo de $58,00 por cliente
conseguido. Consegue-se avaliar que 12% dos que não
eram clientes e foram submetidos a estratégia 1
tornam-se clientes.
A estratégia 2 tem um custo de $37,00 por cliente novo.
Com o uso desta estratégia, 21% dos não clientes
tornam-se clientes. Para as duas estratégias, 88% dos
que eram clientes, continuam clientes.
Sabendo que a receita do banco é $98,00 por novo
cliente, decida qual estratégia deverá ser adotada.
FERNANDO MORI - USJT 2012 73
cliente não cliente
0,88
0,88
0,12
0,12
Primeira estratégia:
0,88 0,12
0,12 0,88P
FERNANDO MORI - USJT 2012 74
cliente Não cliente
0,1
0,6
0,9
0,4
0,88 0,12
0,21 0,79P
FERNANDO MORI - USJT 2012 75
11) Uma pesquisa realizada recentemente com os assinantes de uma revista de viagens mostrou que 65% deles têm pelo menos um cartão de crédito associado a uma companhia aérea. Quando comparou-se com uma pesquisa semelhante realizada 5 anos atrás, os dados indicaram que 40% das pessoas que não tinham cartão de crédito associado a uma empresa aérea obtiveram um posteriormente, enquanto 10% dos que então tinham cartão já não os têm mais. Assumindo que essas tendências se manterão no futuro, determine a proporção de assinantes que terão cartão de crédito associado a uma empresa aérea:
a) daqui a 10 anos.
b) a longo prazo.
FERNANDO MORI - USJT 2012 76
12) Um banco resolveu investir em uma estratégia de marketing.
A estratégia 1 tem um custo de $58,00 por cliente conseguido.
Consegue-se avaliar que 12% dos que não eram clientes e foram submetidos a estratégia 1 tornam-se clientes.
A estratégia 2 tem um custo de $37,00 por cliente novo. Com o uso
desta estratégia, 21% dos não clientes tornam-se clientes. Para as
duas estratégias, 88% dos que eram clientes, continuam clientes.
Sabendo que a receita do banco é $98,00 por novo cliente, decida
qual estratégia deverá ser adotada.
Comércio Eletrônico
Considere uma loja on-line que vende computadores,
software e produtos eletrônicos pela internet. O site
possui uma interface simples para o consumidor e o
processo de compras é executado em 3 etapas:
a) Procure um produto;
b) Cadastramento;
c) Colocação do pedido.
Uma outra maneira de se selecionar um produto é através
das ofertas existentes na home page.
FERNANDO MORI - USJT 2012 77
Comércio Eletrônico
Baseado nos logs do site o administrador do sistema pode
determinar as freqüências ou probabilidade com que os
usuários navegam pelas diversas alternativas da loja;
Essas probabilidade definem uma cadeia de Markov que
descreve o comportamento dos usuários que navegam
na loja;
Usando-se os métodos tradicionais de resolução de
cadeias de Markov pode-se ter uma visão quantitativa
do comportamento dos usuários dentro da loja.
FERNANDO MORI - USJT 2012 78
FERNANDO MORI - USJT 2012 79
Bem Vindo entrada
Busca
Browse
Registre-se
Ofertas
Especiais
Check Out
Adicionar ao
carrinho
selecionar
0,7
0,3 0,1
0,15
0,15
0,3
0,3
0,3
0,2
0,35
0,25
0,1 1
0,3 0,1
0,9
0,1
0,1 0,1
0,6 0,2
0,3 0,05
0,1
0,1
0,3
0,2
0,35
0,25
0,06
0,06
0,15
0,1
0,1
0,2
0,1
No sistema de comércio eletrônico descrito acima, as setas
indicam transições e os números associados são as
probabilidades de transição.
A matriz de transição será dada por:
FERNANDO MORI - USJT 2012 80
FERNANDO MORI - USJT 2012 81
ent bv bus br re of.es ch.out ad.car sel sai
ent 0 0,7 0,15 0,15 0 0 0 0 0 0
bv 0 0 0,3 0,3 0,1 0,2 0 0 0 0,1
bus 0 0,1 0,3 0,3 0 0 0 0 0,2 0,1
br 0 0,1 0,3 0,3 0 0 0 0 0,2 0,1
re 0 0,9 0 0 0 0 0 0 0 0,1
of.es 0 0,6 0 0 0 0,1 0 0,3 0 0
ch.out 0 0 0 0 0 0 0 0 0 1
ad.car 0 0 0,25 0,25 0,05 0,
P
15 0,05 0,05 0,1 0,1
sel 0 0 0,35 0,35 0 0 0 0,2 0 0,1
sai 0 0 0 0 0 0 0 0 0 0
FERNANDO MORI - USJT 2012 82
Biografia Markov Andrei Andreyevich Markov nasceu no dia 14
de junho de 1856 em Ryazan, na Rússia.
Morreu no dia 20 de julho de 1922 em Petrograd
(agora St Petersburg), Rússia. Se formou na
universidade de St Petersburg (1878), onde se
tornou professor em 1886. Os primeiros
trabalhos de Markov foram principalmente em
teoria dos números e análise, frações contínuas,
limites de integrais, teoria da aproximação e a
convergência de séries.
FERNANDO MORI - USJT 2012 83
• Após 1900 Markov aplicou o método das frações contínuas, inicialmente desenvolvido por Pafnuty Chebyshev, na teoria da probabilidade. Ele também estudou sequências de variáveis mutuamente independentes, esperando estabelecer as leis da probabilidade de forma mais geral. Ele também provou o teorema do limite central.
• Markov é particularmente lembrado pelo seu estudo de cadeias de Markov. Cadeias de Markov são um formalismo de modelagem de sistemas que descrevem o sistema como um processo estocástico. Deste ponto de vista o sistema modelado é caracterizado pelos seus estados e a forma pela qual eles se alternam..
• Em 1923 Norbert Winter se tornou o primeiro a tratar rigorosamente um processo contínuo de Markov. A fundação da teoria geral ocorreu em 1930 por Andrei Kolmogorov.