cadeias de markov 2013
DESCRIPTION
PROCESSO ESTOCÁSTICO COM TEMPO DISCRETOTRANSCRIPT
FMORI – USJT 2013 1
UNIVERSIDADE SÃO JUDAS TADEU
ENGENHARIA
PROCESSO ESTOCÁSTICO COM TEMPO DISCRETO
1.1 O QUE É UM PROCESSO ESTOCÁSTICO ?
Suponha a observação da característica (X) de um sistema ao longo do tempo. Considere ‘X t’
o valor dessa característica em um determinado instante de tempo ‘t’, ressaltado que, a variável ‘t’
assume apenas valores discretos (0,1,2,3,...).
O valor da característica é também denominado ‘estado da variável’.
Em muitas situações, o estado de ‘X t ‘ não é conhecido com certeza antes do tempo ‘t’ e, por
isso, é considerado uma variável aleatória.
O processo estocástico com o tempo discreto é, simplesmente, a descrição da relação entre
as variáveis aleatórias X o, X 1, X 2, ...
Exemplo 1: A ruína do jogador (The gambler’s ruim):
No início do jogo, tempo (t0 ), o jogador tem somente R$2,00. De acordo com as regras do
jogo, o jogador deve apostar apenas R$1,00 por vez. Com probabilidade ‘p’ o jogador ganha mais
R$1,00 e com probabilidade ‘p-1’ o jogador perde R$1,00. O jogo acaba, sem direito a empréstimos
ou prorrogações quando o jogador tem R$4,00 ou perde tudo.
Considerando-se ‘Xt’ como a quantidade de capital que o jogador tem em um determinado
instante ‘t’, existem 5 estados possíveis.
‘Xt’ = {0,1,2,3,4}
t = 0 t = 1 t = 2 t = 3
1-p 1-p
1-p
1-p
p
p
p
p
X 0 = 2
X1 = 1
X1 = 3
X 2 = 0
X 2 = 2
X 2 = 4
X 4 = 1
X 4 = 3
FMORI – USJT 2013 2
Exemplo 2:
Uma urna contém 2 bolas não pintadas. Retira-se por sorteio uma bola da urna e joga-se uma
moeda. Se a bola for não pintada, o que ocorrerá obrigatoriamente no primeiro sorteio, e der cara
pinta-se a bola de vermelho, se der coroa pinta-se de verde. Se a bola sorteada for colorida, pinta-se
a bola com a outra cor, ou seja, se for verde, pinta-se de vermelho, se for vermelha pinta-se de verde.
O tempo t é definido como o instante em que a bola pintada volta para a urna. O estado a qualquer
tempo pode ser definido pelo vetor (np, vm, vd) onde np é o nº de bolas não pintadas; vm é nº de
bolas vermelhas; vd é o nº de bolas verdes.
t = 0 t = 1 t = 2
½ vm (0, 2, 0) ½ np
½ vd (0, 1, 1) (1, 1, 0)
½ vm ½ vm np (1, 0, 1) (2, 0, 0) (1, 1, 0) ½ vd ½ vd (1, 0, 1) ½ vd (0, 0, 2) ½ np ½ vm (0, 1, 1)
Exemplo 3:
Seja X0 o preço da ação da Petrobrás na abertura do pregão da Bolsa de Valores. Seja X t o
preço da ação no dia t. O levantamento desses dados permite ter uma idéia ao longo do tempo da
distribuição de probabilidade do valor da ação, buscando prever seu valor no tempo t+1.
Um processo estocástico com tempo contínuo é simplesmente um processo no qual o estado do
sistema pode ser determinado a qualquer tempo. A rigor, o preço de uma ação na bolsa de valores é
ao longo de um dia um processo estocástico com tempo contínuo.
FMORI – USJT 2013 3
1.2 O QUE É UMA CADEIA DE MARKOV ?
Um tipo especial de processo estocástico com o tempo discreto é uma cadeia da Markov, se
para t = 0,1,2... e todos os outros estados é valida a seguinte distribuição:
P (X t+1 = i t+1 | X t = i t , X t-1 = i t-1, ... , X1 = i1 , X 0 = i 0 ) = P ( X t+1 = i t+1 | X t = i t )
O que essa equação nos diz, basicamente é que a distribuição de probabilidade em um
estado t+1 depende apenas do estado anterior, (ver diagramas no item anterior).
Assumindo-se essa premissa, pode-se escrever:
P (X t+1 = j | X t = i ) = pij.
Onde pij é a probabilidade de transição de i para j, ou seja é a probabilidade de ocorrer a
mudança do estado de i para o estado j. Como essa probabilidade permanece constante ao longo do
tempo essa equação é freqüentemente chamada de hipótese estacionária
Matriz de probabilidade de transição
Na maioria das aplicações a Cadeia de Markov pode ser representada por uma matriz de
tamanho n x n, denominada matriz de probabilidade de transição.
p11 p 12 ............. p1n
p21 p 22 ............. p2n
P = . . .
. . .
pn1 pn2 ............. pnn
Exemplo 4:
Matriz de transição e sua representação gráfica do exemplo 1.
Estados possíveis: R$ 0; R$ 1; R$ 2; R$ 3 e R$ 4
Probabilidades: ganhar : p
perder : 1-p
$ 0 $ 1 $ 2 $ 3 $ 4
$ 0 1 0 0 0 0
$ 1 1-p 0 p 0 0
$ 2 0 1-p 0 p 0
$ 3 0 0 1-p 0 p
$ 4 0 0 0 0 1
FMORI – USJT 2013 4
Representação gráfica:
Exemplo 5:
Determinar a matriz de transição e sua representação gráfica do exemplo 2.
(2 0 0) (1 0 1) (1 1 0) (0 1 1) (0 2 0) (0 0 2)
(2 0 0) 0 ½ ½ 0 0 0
(1 0 1) 0 0 ½ ¼ 0 ¼
(1 1 0) 0 ½ 0 ¼ ¼ 0
(0 1 1) 0 0 0 0 ½ ½
(0 2 0) 0 0 0 0 0 0
(0 0 2) 0 0 0 0 0
1
1
0 1 3 4 2
p p p
1-p 1-p 1-p
2, 0, 0
1, 0, 1 1, 1, 0
0, 0, 2 0, 2, 0
0, 1, 1
FMORI – USJT 2013 5
EXERCÍCIOS
1 Em Smalltown, 90 % dos dias ensolarados são seguidos por dias ensolarados e 80%
dos dias nublados são seguidos por dias nublados. Use essa informação para modelar o
tempo em Smalltown como uma cadeia de Markov ( diagrama e matriz de transição).
2 Considere o consumo e a reposição em um sistema de estoque no qual a seqüência de
eventos em cada período é como se segue: (1) O nível do estoque “i” é observado no
início do período; (2) se “i” 1 serão comprados (2 – “i”) unidades para repor o
estoque, que serão entregues pelo fornecedor imediatamente, se “i” 2 nenhuma
unidade é comprada; (3) as probabilidades de diminuição de estoque (consumo) no
período são as seguintes: não haver consumo igual a 1/3, consumo de uma unidade
igual a 1/3 e consumo de duas unidades igual a 1/3; e (4) o nível do estoque é
observado no início do próximo período.Seja o estado do período o nível do estoque
no seu início. Determine a matriz de transição ( e o diagrama) que pode ser usada para
modelar esse sistema de estoque como uma cadeia de Markov.
1.3 PROBABILIDADE DE TRANSIÇÃO DE N-PASSOS:
Suponha uma cadeia de Markov com matriz de probabilidade de transição conhecida.
Pergunta-se: Se a cadeia de Markov está no estado i no tempo m, qual é a probabilidade que n
período depois a cadeia de Markov esteja no estado j ? Repare que a probabilidade será
independente de m, portanto:
P ( X m + n = j | X m = i ) = P ( X n = j | X 0 = i ) = Pij (n)
Onde Pij (n) é chamada probabilidade n-passos.
Tempo m Tempo m + 1 Tempo m + 2
pi1
pi2
pik
pis psj
pkj
p2j
p1j
1
2
K
S 1
i j
FMORI – USJT 2013 6
Pij (2) = (pi1 x p1j) + (pi2 x p2j) + ... + (pik x pkj) + ... + (pis x psj)
Pij (2) =
s k
1 k
(probabilidade da transição de i para k ) x (probabilidade de transição de k para j)
Pij (2) =
s k
1 k
pik x pkj
Exemplo 6:
Imagine que toda a indústria de colas produza apenas 2 colas ( Coca-cola e Pepsi-cola) Se a
última compra foi da cola 1 existe 90% de chance da próxima compra ser de cola 1. Se a última
compra foi da cola 2 existe 80% de chance da próxima compra ser da cola 2.
Se uma pessoa é consumidora de cola 2, qual é a probabilidade de daqui a 2 compras ela
compre cola 1?
Se uma pessoa é consumidora de cola 1, qual é a probabilidade de daqui a 3 compras ela
compre cola 2?
0.9 0.8
Matriz de transição P
Cola 1 Cola 2
Cola 1 0.9 0.1
Cola 2 0.2 0.8
P2 = 0.9 0.1 x 0.9 0.1
0.2 0.8 0.2 0.8
Tabela:
0,2
0,1
Cola
1 Cola
2
FMORI – USJT 2013 7
n P11(n) P12(n) P21(n) P22(n)
P 1 0.90 0.10 0.20 0.80
P2 2 0.83 0.17 0.34 0.66
P3 3 0.78 0.22 0.44 0.56
P4 4 0.75 0.25 0.51 0.49
P5 5 0.72 0.28 0.56 0.44
P10 10 0.68 0.32 0.65 0.35
P20 20 0.67 0.33 0.67 0.33
P30 30 0.67 0.33 0.67 0.33
P40 40 0.67 0.33 0.67 0.33
EXERCÍCIOS
3 Uma empresa tem duas máquinas. Cada máquina que começou o dia trabalhando tem
uma chance igual a 1/3 de quebrar. Se a máquina quebra durante o dia, ela é enviada
para reparo e estará trabalhando novamente dois dias depois. (assim, se a máquina
quebrou no dia 3, voltará a trabalhar no início do dia 5). Se o estado do sistema é o
número de máquinas trabalhando no início do dia, formule a matriz de probabilidade
de transição (e o diagrama) para essa situação.
4 A localização da moradia de cada família americana é classificada pelos seguintes
tipos: no perímetro urbano, no subúrbio ou na zona rural. Durante um determinado
ano, 15% de todas as famílias urbanas mudou para o subúrbio e 5% mudou para a zona
rural; também, 6% de todas as famílias suburbanas mudaram para a cidade e 4%
muram-se para a zona rural; finalmente, 4% de todas as famílias da zona rural
mudaram-se para a cidade e 6% para o subúrbio.
(a) Se uma família mora na cidade, qual é a probabilidade de daqui a dois anos essa
família permanecer onde mora? E de se mudar para o subúrbio? E para a zona
rural?
(b) Suponha que nesse momento 40% das famílias vivam na cidade, 35% no subúrbio
e 25 % na zona rural. Daqui a dois anos, qual será o percentual de famílias
americanas vivendo na cidade?
(c) Quais problemas podem ocorrer se esse modelo for usado para predizer a
distribuição futura da população na América?
5 Esta questão se refere ao exemplo do jogo “Ruína do Jogador”:
(a) Depois de duas jogadas qual é a probabilidade do jogador ter R$ 3? E ter R$ 2?
(b) Depois de jogar três vezes qual é a probabilidade do jogador ter R$ 2?
FMORI – USJT 2013 8
1.4 CLASSIFICAÇÃO DO ESTADO DE UMA CADEIA DE MARKOV
Seja a seguinte cadeia:
1 2 3 4 5
1 .4 .6 0 0 0
2 .5 .5 0 0 0
3 0 0 .3 .7 0
4 0 0 .5 .4 .1
5 0 0 0 .8 .2
Definições:
1) Caminho de i até j é a seqüência de transições que começa em i e acaba em j, de tal modo que
cada transição da seqüência tem uma probabilidade positiva de ocorrência.
2) Em um estado j é alcançável do estado i se houver um caminho os unindo.
3) Dois estados são comunicantes se j é alcançável de i e i é alcançável de j.
Assim, no exemplo, o estado 5 é alcançável do estado 3 usando o caminho 3, 4 e 5, e vice-versa.
Repare que, entretanto, o estado 5 não é alcançável do estado 1, pois não há caminho, portanto
não são comunicantes.
Os estados 1 e 2 também são comunicantes.
0,5 0,4 1 2
0,5
0,6
S1
5 4 3
0,5 0,8
0,7 0,1
S2
0,3 0,4 0,2
FMORI – USJT 2013 9
4) Um conjunto de estados S em uma cadeia de Markov é um conjunto fechado se nenhum estado
fora S é alcançável de quaisquer estado S.
O conjunto dos estados S1 = {1 e 2} é um conjunto fechado, assim como o conjunto dos estados
S2 = {3, 4 e 5}.
5) Um estado i é um estado absorvente se Pii = 1.
Quando se entra em um estado absorvente não é possível sair dele. No exemplo 1, da ruína do
jogador, os estados 0 e 4 são estados absorventes.
6) Um estado i é um estado transiente se existe um estado j que é alcançável de i, mas o estado i
não é alcançável do estado j.
No exemplo da ruína do jogador os estados 1, 2 e 3 são transientes, porque, por hipótese,
estando-se no estado 2 é possível, por meio de 3, alcançar o estado 4, e nesse caso não é possível
voltar-se a 2.
No limite, a probabilidade de estar-se em um estado transiente é zero.
7) Se um estado não é transiente ele é chamado recorrente, ou seja, é sempre possível voltar ao
estado de onde se saiu.
No exemplo deste item os estados 1, 2, 3, 4 e 5 são recorrentes. No exemplo 1, da ruína do
jogador os estados 0 e 4 são ambos recorrentes e absorventes.
8) Um estado i é períodico com período K, se K (obrigatoriamente, inteiro > 1) é o menor número de
modo que todos os caminhos que levam de volta ao estado i tem um comprimento que é múltiplo
de K. Um estado recorrente pode ser periódico ou não periódico.
9) Se todos estados de uma cadeia de Markov são recorrentes, não períodicos e comunicantes a
cadeia é chamada de Ergódica. No exemplo da ruína do jogador a cadeia não é ergódica.
1
2 3
K = 3, pois, partindo de
qualquer estado, a volta àquele
estado ocorre sempre após 3
passos.
FMORI – USJT 2013 10
Cadeia Ergódica
Cadeia Não-ergódica
EXERCÍCIOS:
6 Considere a matriz de transição “P” abaixo:
(a) Quais os estados transientes?
(b) Quais os estados recorrentes?
(c) Identifique os conjuntos de estados fechados
(d) È uma cadeia ergódica?
1 2
3
1/3 2/3 0
P1 = 1/2 0 1/2
0 1/4 ¾
4 3
2 1 ½ ½ 0 0
P2 = ½ ½ 0 0
0 0 ½ ½
0 0 ¼ ¼
0 0 1 0 0 0
0 0 0 0 0 1
0 0 0 0 1 0
1/4 1/4 0 1/2 0 0
1 0 0 0 0 0
0 1/3 0 0 0 2/3
P=
FMORI – USJT 2013 11
7 Para cada uma das seguintes cadeias, determine se as cadeias de Markov são
ergódicas. Para cada cadeia também determine os estados recorrentes, transientes e
absorventes
8 Cinquenta e quatro jogadores participaram em 1980 da Série Mundial de Poker. Cada
jogador começou com $10.000,00. A disputa continuou até que um jogador tivesse
ganho o dinheiro de todos os outros. Se a Série Mundial de Poker fosse modelada
como uma cadeia de Markov, quantos estados absorventes a cadeia teria?
1.5 PROBABILIDADE DE “STEADY-STATE”
Obs: Pode-se traduzir ‘Steady-State’ como “estado permanente, constante”, firme ou regular.
Como visto no exemplo da cola (ver tabela na seção 1.3), existe para o valor das
probabilidades de mudança de estado uma tendência de assumirem um valor constante após um
certo número de transições de estado. As probabilidades do “Steady-State” podem ser usadas para
descrever o comportamento de uma cadeia de Markov após longo tempo.
Teorema
Seja P uma matriz de transição para uma cadeia ergódica com S estados. Então existe um
vetor
X = { X 1, X 2 , ... , X S} , tal que:
X1 X2 ... XS
nlim Pn = X1 X2 ... XS
.. .. ..
X1 X2 ... XS
Como o ij-ésimo elemento de P n é Pij (n), então n
lim Pij (n) = Xj
Repare que quando n as filas da matriz se tornam idênticas. Isso significa que após um
longo tempo as probabilidades da Cadeia de Markov estabilizam-se, independentemente do estado
inicial, existindo assim uma probabilidade Xj de estarmos no estado j.
O vetor X = { X 1, X 2 , ... , X S} é chamado de distribuição do estado permanente (steady-
state) ou distribuição equilibrada.
P1 =
0 .8 .2
.3 .7 0
.4 .5 .1
.2 .8 0 0
0 0 .9 .1
.4 .5 .1 0
0 0 0 1
P2 =
FMORI – USJT 2013 12
Determinação do steady state.
Quando n é um número grande e para todos os i, temos que:
Pij (n+1) Pij (n) Xj (1)
Como Pij (n+1) é igual ao produto (fila i de Pn) (coluna j de P), podemos escrever:
Pij (n+1)
sk
k 1
Pik (n) pkj (2)
Substituindo (1) em (2), podemos escrever:
Xj =
sk
k 1
Xk pkj
Na forma matricial:
X = XP
Para obter uma solução única desse sistema de equações, temos que considerar que:
X1 + X2 + ... + XS = 1
Exemplo 7:
Seja a probabilidade da Cola:
P = 0.9 0.1
0.2 0.8
Do teorema temos:
[X1 X2] = [ X1 X2] 0.9 0.1
0.2 0.8
Multiplicando:
X1 = 0.9 X1 + 0.2 X2 -0.1 X1 + 0.2 X2 = 0
X2 = 0.1 X1 + 0.8 X2
Substituindo a segunda linha, por:
X1 + X2 = 1
E resolvendo o sistema:
-0.1 X1 + 0.2 X2 = 0
X1 + X2 = 1
Temos: X1 = 0.66 e X2 = 0.33
ANÁLISE TRANSIENTE
Observando-se a tabela do exemplo da cola, na seção 1.3, percebe-se que o ‘estado
permanente’ é atingido, com uma precisão de duas casas, depois de apenas dez trasições. Não
existe uma regra geral que permita determinar em quantos n passos o estado permanente de uma
cadeia de Markov será alcançado. O comportamento de uma cadeia de Markov antes de alcançar o
estado permanente é chamado de ‘comportamento transiente’.
FMORI – USJT 2013 13
Exemplo 8:
Suponha que em toda semana do ano cada consumidor de cola compre uma unidade (1ano =
52 semanas). Suponha que existam 100 milhões de consumidores. Cada unidade de cola custa para
a companhia R$ 1 e é vendida por R$ 2. Por R$ 500 milhões ao ano a empresa de marketing
‘Vendemos Tudo’ garante que decresce de 10 % para 5 % a fração de consumidores de cola 1 que
trocam para cola 2 na compra da semana seguinte. Deveria a companhia que fabrica cola 1 contratar
a empresa ‘Vendemos Tudo’.
EXERCÍCIOS
9 Determine o “steady-state” para o problema nº4 dessa lista (do local de moradia)?
10 Para o exemplo do jogo a “Ruína do Jogador”, por que não é razoável falar em
probabilidades do “steady-state” ?
11 No início de cada ano meu carro está em uma das seguintes condições: bom, razoável
ou quebrado. Um carro bom, no início do ano seguinte, terá uma probabilidade de .85
de estar na condição bom, .10 na condição razoável e .05 na condição quebrado. Um
carro razoável, no início do próximo ano, será um carro razoável com probabilidade de
.70 e será um carro quebrado com probabilidade de .30. Um carro novo, no estado
bom, custa $6.000,00, um carro razoável pode ser dado como entrada pelo valor de
$2.000,00. Um carro quebrado não tem valor de troca e deve ser reposto
imediatamente por um carro novo. Se custa $1.000,00 por ano operar um carro bom e
$1.500,00 operar um carro razoável. O que devo fazer? Trocar meu carro assim que
tornar-se razoável ou esperar que atinja a condição quebrado, para então fazer a troca?
Assuma que o custo de operação de um carro depende da sua condição no início do
ano, isso se não houver troca, se um carro novo for comprado, durante o ano, assuma,
então, que o custo de operação é o do carro no estado bom.
(Dica: os cálculos devem ser feitos duas vezes, uma para a troca na condição razoável,
outro para a troca na condição quebrado, compare os resultados)
1.6 CADEIAS ABSORVENTES
Muitas aplicações interessantes de cadeias de Markov envolvem cadeias com estados
absorventes e transientes. Essas cadeias são chamadas de Cadeias Absorventes. Para mostrar o
que essas cadeias tem de interessante, mostra-se os seguintes exemplos:
Exemplo 9: Contas a Receber
A situação da firma ‘Só Falta Apagar as Luzes’ das contas a receber pode ser modelada
como uma cadeia de Markov. Suponha que a firma assuma que uma conta com mais de 3 meses de
atraso é uma conta considerada perdida pela contabilidade. No início do mês as contas a receber são
classificadas em um dos seguintes estados:
FMORI – USJT 2013 14
Estado 1: Conta nova.
Estado 2: Conta com 1 mês de atraso no pagamento.
Estado 3: Conta com 2 meses de atraso no pagamento.
Estado 4: Conta com 3 meses de atraso no pagamento.
Estado 5: Conta recebida.
Estado 6: Conta considerada perdida.
Considere que a matriz de transição a seguir descreve como os estados da cadeia de Markov
mudam.
Nova 1 mês 2 meses 3 meses Recebida Perdida
Nova
1 mês
2 meses
3 meses
Recebida
Perdida
0
0
0
0
0
0
.6
0
0
0
0
0
0
.5
0
0
0
0
0
0
.4
0
0
0
.4
.5
.6
.7
1
0
0
0
0
.3
0
1
Assim, por exemplo, uma conta no início do mês com 2 meses de atraso tem uma
probabilidade de 0.4 de continuar atrasada e uma probabilidade de 0.6 de ser recebida pela firma.
Depois que a conta foi recebida ou considerada como perdida, não ocorrem mais transições.
Portanto os estados 5 e 6 são considerados absorventes e os outros estados transientes.
Para uma conta nova existem dois estados finais possíveis: ou será recebida ou será perdida.
A questão de maior interesse é: Qual a probabilidade de uma conta nova ser recebida?
FMORI – USJT 2013 15
Exemplo 10: Escritório de advocacia ‘Resolvemos Qualquer Parada’.
O escritório classifica seus advogados em 3 tipos de: junior, senior e associado. Modelando a
carreira de um advogado dentro da firma como uma cadeia de Markov, além dos 3 estados citados,
existem dois estados absorventes a saber: o advogado deixa a firma como ‘saiu não associado’ ou o
advogado deixa a firma como ‘saiu associado’. Não é admitida a hipótese de retorno de um advogado
após sua saida.
A matriz de transição abaixo mostra as probabilidades de mudança de estado dentro da firma.
t + 1
t
Junior Senior Associado Saiu Não
Associado
Saiu
Associado
Junior
.80 .15 0 .05 0
Senior
0 .70 .20 .10 0
Associado
0 0 .95 0 .05
Saiu Não
Associado
0 0 0 1 0
Saiu
Associado
0 0 0 0 1
Deseja-se saber, de um modo geral, para Cadeias de Markov: (a) Se a cadeia começa em um
dado estado transiente, antes de atingir-se um estado absorvente, qual é o número esperado de
vezes que cada estado será alcançado? Qual o número esperado de períodos que são passados em
um determinado estado transiente antes que um estado absorvente seja alcançado? (b) Se a cadeia
começa em um dado estado transiente, qual é a probabilidade de se alcançar cada um dos estados
absorventes?
Para responder a essas questões, necessita-se escrever a matriz de transição com os
estados na seguinte ordem: primeiro os estados transientes e depois os absorventes. Para o bem da
conceitualização, assumiremos que existem ‘s’ estados, sendo ‘m’ estados absorventes e ‘s-m’
estados transientes. Então a matriz de transição pode ser escrita da seguinte forma:
s-m colunas m colunas
s-m filas Q R
m filas 0 I
FMORI – USJT 2013 16
Onde:
Q é uma matriz s-m X s-m que representa as transições dos estados transientes para os
estados transientes.
R é uma matriz s-m X m que representa as transições dos estados transientes para os
estados absorventes.
0 é uma matriz m X s-m composta inteiramente de zeros, já que não é possível passar de um
estado absorvente para um estado transientes.
I é uma matriz identidade m X m que representa o fato que não existe saida de um estado
absorvente.
Para o exemplo das ‘contas a receber’ Q e R são:
Para o exemplo do ‘escritório de advocacia’ Q e R são:
0 .6 0 0
0 0 .5 0
0 0 0 .4
0 0 0 0
Q =
.4 .0
.5 0
.6 0
.7 .3
R =
.80 .15 0
0 .70 .20
0 0 .95
Q = .05 0
.10 0
0 .05
R =
FMORI – USJT 2013 17
12 A secretaria da Escola Técnica, classificou seus alunos do curso de Técnico em
Telecomunicações, com duração de 4 anos, em calouros, junior, senior, formando,
abandono (sem direito a retorno) e formado, de acordo com uma cadeia de Markov:
calouro junior senior formando abandono formado
calouro .10 .80 0 0 .10 0
junior 0 .10 .85 0 .05 0
senior 0 0 .15 .80 .05 0
formando 0 0 0 .10 .05 .85
abandono 0 0 0 0 1 0
formado 0 0 0 0 0 1
Essa classificação é feita no início de cada ano. Assim, por exemplo, um estudante senior tem
80% de chances de se tornar um formando, e 15% de chances de ser reprovado e permanecer
como senior, no início do próximo ano. Pergunta-se:
a) Qual é o tempo médio esperado de permanência na escola de um aluno que entrou como
calouro?
b) Qual é a probabilidade de um calouro conseguir se formar?
13 A Tribuna de Petrópolis determinou as seguintes estatísticas a respeito de seus
assinantes: durante o primeiro ano 20% dos assinantes cancelam suas assinaturas, durante o
segundo ano mais 10% dos assinantes do primeiro ano irão cancelar suas assinaturas e a cada
ano seguinte 4% dos assinantes do primeiro ano irão cancelar as assinaturas do jornal.
Na média, quanto tempo um leitor permanece como assinante?
RESPOSTAS DOS EXERCÍCIOS
1 MATRIZ 2x2
2 MATRIZ 5x5
3 MATRIZ 3x3
4 a - .651, .258, .091
4 b – 0,315
4 c - RESPOSTA LITERAL
5 a – R$ 3 = p2, p(1-p) e 0
R$ 2 = 2p (1-p) e 0
5 b - R$ 2 = 2p2 (1-p), 2p (1-p) 2 e 0
6 d - não é ergódica, o porque fica com você.
7 P1 é ergódica, P2 não é ergódica.
8 –
9 [.21 ; .50 ; .29 ]
10 –
11 Custo de trocar na condição quebrado R$ 1800,00
Custo de trocar na condição razoável R$ 1700,00
1 a - 3,97 anos b .75
2 19,8 anos