processos estoc asticos · conteudo 1 introdu˘c~ao 2 de ni˘c~ao 3 especi cando um processo aleat...

Processos Estocasticos

Luis Henrique Assumpcao Lolis

26 de maio de 2014

Luis Henrique Assumpcao Lolis Processos Estocasticos 1

Conteudo

1 Introducao

2 Definicao

3 Especificando um processo aleatorio

4 Processos no domınio do tempo discreto

5 Processos de Poisson

6 Processo Gaussiano e Wiener

7 Processos Aleatorios Estacionarios


Sumario

1 Introducao

2 Definicao







Introducao

O resultado de um experimento para a ser uma funcao notempo ou no espaco.

Em sistemas de comunicacao a informacao que e um sinal emfuncao do tempo e um processo estocastico.

Processos estocasticos e processos aleatorios sao sinonimos.

Ex:

Intensidade luminosa de um filme.Musica.Sequencia de dados.

Alguns processos caminham juntos no tempo:

A temperatura em uma determinada cidade.A demanda de energia eletrica nessa cidade.


Conceitos a serem abordados

Processos Aleatorios - Famılia Indexada de V.A.’s

Probabilidade conjunta dentro de uma famılia (Ex: atemperatura em dois instantes de tempo).

Distribuicoes conjuntasMedia e covariancia

Processo estacionario - regime permanente.

Medias no tempo e estimacao de parametros.

Representacao por series de Fourier.


Sumario

1 Introducao

2 Definicao







Definicao

Os resultados possıveis de um experimento sao denotados porζ dentro de um espaco de amostras S. O processo aleatorio eum resultado que e uma funcao no tempo:

X(t, ζ), t ∈ IA funcao no tempo e chamada de realizacao, amostra docaminho, amostra da funcao.

Fixando um instante tk no tempo (como tirar uma foto dafuncao), para todas as amostras, representa uma variavelaleatoria X(tk, ζ).

A famılia de V.A.’s indexadas por t, {X(t, ζ, t ∈ I}) e o quechamamos de processo aleatorio ou processo estocastico


��

��

��

��

��

��

��

�� !��"�#�$��%� &


Exemplos

Sequencia Binaria Aleatoria.

Senos Aleatorios.

��

��

��

�

�

� �

��

��

�� !"#$ %�& '(�)�!%$*��*+, '"%-.�/�� !"#$ %�& '(�)�!%$*

+(�#-0


Sumario

1 Introducao

2 Definicao







Introducao

Necessidade de especificar intervalos e tempos distintos.

P [x1 < X(t1) ≤ x2, x1 < X(t2) ≤ x2]Probabilidade condicional do processo (EX: predicao paracompressao de fala)

P [a < X(tk+1) ≤ b|X(t1) = x1, X(t2) = x2, . . . , X(tk) = xk]


Distribuicoes conjuntas de amostras no tempo

X1, X2, . . . , Xk, V.A.’s do processo X(t, ζ) amostradas emt1, t2, . . . , tk

X1 = X(t1, ζ), X2 = X(t2, ζ), . . . , Xk = X(tk, ζ)

A f.d.a. conjunta do processo nos instantes tk e a f.d.aconjunta do vetor aleatorio X1, X2, . . . , Xk de ordem k

Fx1,x2,...,xk(X1, X2, . . . , Xk) = P [X(t1) ≤ x1, X(t2) ≤x2, . . . , X(tk) ≤ xk]

A f.d.p conjunta do processo contınuo como sendo a derivadada f.d.a conjunta

px1,x2,...,xk(X1, X2, . . . , Xk)dX1 . . . dXn = P{x1 < X(t1) ≤x1 + dx1, . . . , xk < X(tk) ≤ xk + dxk]


Exemplos

Processo Gaussiano i.i.d. Considere Xn sendo uma sequenciade de variaveis aleatorias i.i.d. com distribuicao gaussiana. demedia zero e variancia σ2X .

px1,x2,...,xk(X1, X2, . . . , Xk) =1

(2πσ2)k/2e−(x

21+x

22+···+x2k)/(2σ

2)

Sinal ruidoso filtrado:

Xj = µ+Nj , para j = 0, 1, . . .

Media das amostras: Sn = (X1 +X2 + · · ·+Xn)/n, paran = 0, 1, . . .

Var[Sn] = σ2/n e E[Sn] = µ


Exemplos

Processo Gaussiano filtrado.

Temos Xj como uma sequencia de V.A. i.i.d. de um sinal detensao µ corrompida por um sinal de ruıdo com media zero evariancia σ2: Xj = µ+ nj para j = 0, 1, . . ..

Agora considere que esse sinal passa por um filtro que tira amedia do ruıdo:

Sn = (X1 +X2 + · · ·+Xn)/n para n = 0, 1, . . .

Sn e a media das amostras da sequencia i.i.d. e


Media, Autocorrelacao e Autocovariancia

Media do processo para o instante t:

mx(t) = E[X(t)] =

∫ ∞−∞

xpx(t)(X)dX

Variancia do processo para o instante t:

Var[X(t)] =

∫ ∞−∞

(x−mx(t))2px(t)(X)dX

Autocorrelacao do processo para os instantes t1, t2:

Rx(t1, t2) = E[X(t1)X(t2)] =∫ ∞−∞

∫ ∞−∞

x1x2px(t1),x(t2)(X1, X2)dX1dX2

Autocovariancia do processo para os instantes t1, t2:

Cx(t1, t2) = E[{X(t1)−mx(t1)}{X(t2)−mx(t2)}]Cx(t1, t2) = Rx(t1, t2)−mx(t1)mx(t2)

Var[X(t)] = E[(X(t)−mx(t))2] = Cx(t, t)


Coeficiente de Autocorrelacao

Coeficiente de Autocorrelacao do processo para osinstantes t1, t2:

ρx(t1, t2) =Cx(t1, t2)√

Cx(t1, t1)√Cx(t2, t2)

Se o processo passa para o domınio do tempo discreto, o sinaldeixa de ser uma funcao contınua do tempo t e passa a seruma amostra de numero n.

Exemplos: Calcular a media a autocorrelacao eautocovariancia dos processos: x(t) = A cos(2πt) ey(t) = cos(2πt+ θ)


Variaveis aleatorias multiplas

As vezes precisamos comparar dois processos em doisinstantes diferentes.

Ex: Uma sequencia aleatoria enviada e sequencia recebida.

Exemplo de representacao da f.d.p conjunta de duas V.A.’sem dois instantes de tempo:

px(t1),y(t2)(X,Y ) =Px < X(t1) ≤ x+ dx, y < Y (t2) ≤ y + dy

X e Y (sao vetores em t) podem ser independentes se:

Fx,y(X,Y ) = Fx(X)Fy(Y )

Correlacao cruzada de X em t1 e Y em t2:

Rx,y(t1, t2) = E[X(t1)Y (t2)]

Sinais ortogonais: Rx,y(t1, t2) = 0, ∀t1, t2


Ex: Sinal com ruıdo

Y (t) = X(t) +N(t)

Vamos assumir X(t) e N(t) independentes.

Calculando a correlacao cruzada entre X e Y .

Rx,y(t1, t2) = E[X(t1)Y (t2)] = E[X(t1){X(t2) +N(t2)}]Rx(t1, t2) + E[X(t1)N(t2)]com X e N independentes:

= Rx(t1, t2) +mX(t1)mN (t2)


Sumario

1 Introducao

2 Definicao







Passos Aleatorios

Dn =

{+1 se In = 1−1 se In = 0

E[Dn] = 2p− 1VAR[Dn] = 4p(1− p)


V.A.’s i.i.d.

Uma sequencia de variaveis aleatorios independentesidenticamente distribuıdas.

Cada V.A. com f.d.a Fx(X), media m e variancia σ2. Xn eum processo aleatorio i.i.d.

Mediamx(n) =E[Xn] = m

AutocovarianciaP/ n1 6= n2 → Cx(n1, n2) =E[(Xn1 −m)]E[(Xn2)−m] = 0P/ n1 = n2 →Cx(n1, n2) = E[(Xn1 −m)2] = σ2

AutocorrelacaoRx(n1, n2) =Cx(n1, n2) +m2


Processos de soma

Contagem binomial: P [Sn = k] =

(nj

)pj(1− p)n−j , para

todo 0 ≤ j ≤ nAndar aleatorio (o andar do bebado), sendo a probabilidadeda soma a posicao final e p a probabilidade de umdeslocamento (Ex:+1) e (1− p) a probabilidade de outrodeslocamento (Ex:-1)

p = 1/2 e quatro realizacoes temporais.

��

� ��

�

��

��

�

��

�

��

��

p = 3/4 para o deslocamento +1 e quatrorealizacoes temporais.

��

� ��

��

��

��

��

��

��


Ex: Andar aleatorio de uma dimensao

E[Sn] = nE[X] = nm

VAR[Sn] = nVAR[X] = nσ2


Sumario

1 Introducao

2 Definicao







Processos de Poisson

O numero de ocorrencias em um intervalo t, N(t). Sendo quea taxa media de ocorrencias e λ ocorrencias por segundo. Nointervalo [0, t] fica λt. O tempo entre eventos segue uma dist.exponencial.

P [N(t) = k] =(λt)k

k!e−λt, para k = 0, 1, . . .

E[N(t) = k] = λt e VAR[N(t)] = λt

f.m.p. conjunta do processo de poisson: P [n(t1) = i,N(t2) =j] = P [N(t1) = i]P [N(t2)−N(t1) = j − i]Autocovariancia:CN (t1, t2) = E[(N(t1)− λt1)(N(t2)− λt2)] == E[(N(t1)−λt1) {N(t2)−N(t1)− λt2 + λt1 + (N(t1 − λt1))}]= VAR[N(t1)] = λt1


Ex:Processos de Poisson

Pedidos chegam em uma secretaria eletronica de acordo comum processo de poisson de 15 pedidos por minuto. Encontre aprobabilidade de que em 1 minuto, cheguem 3 pedidos e nosprimeiros 10 segundos e que se cheguem 2 pedidos nosultimos 15 segundos.


Sumario

1 Introducao

2 Definicao







Processo Gaussiano

X1 = X(t1), X2 = X(t2), X3 = X(t3), . . . , Xk = X(tk)

fX1,X2,...,Xk(x1, x2, . . . , xk) =e−1/2(x−m)TK−1(x−m)

(2π)k2/|K|1/2

m =

mX(t1)...

mX(tk)

K =

CX(t1, t1) CX(t1, t2) · · · CX(t1, tk)CX(t2, t1) CX(t2, t2) · · · CX(t2, tk)

......

...CX(tk, t1) · · · CX(tk, tk)


Ex: Processo Gaussiano Contınuo

Suponha X(t) um processo gaussiano com media ecovariancia definidos por:

mX(t) = 3t e CX(t1, t2) = 9e−2|t1−t2|

Calcular P [X(3) < 3] e P [X(1) +X(2) > 2]


Wiener

Wiener e um processo gaussiano cuja variancia aumenta como tempo.

Se considerar um passo ±h de probabilidade p = 1/2 a cada δsegundos.

E[hSn] = 0, Var[hSn] = h2n

Agora reduzindo o intervalo tendendo a zero e o passotendendo a zero δ → 0 e h→ 0 e com h =

√aδ

Var[X(t)] = (√αδ)2(t/δ) = αt

Como o teorema do limite central direciona a soma de V.A.si.i.d. para uma gaussiana gaussiano, entao:

fX(t)(x) =1√2παt

e−x22αt


Wiener

� ��

��

��

��

�

��

�

��

�

��

�


Sumario

1 Introducao

2 Definicao







Estacionariedade

A aleatoriedade do processo nao muda no tempo. Ex: media evariancia constantes.

Regime permanente.

As propriedades conjuntas em (t0, t1) e (t0 + τ, t1 + τ) ficamas mesmas.

Processo estacionario

A probabilidade conjunta independe do instante inicial deobservacao:

FX(t1),...,X(tk)(x1, . . . , xk) = FX(t1+τ),...,X(tk+τ)(x1, . . . , xk)

para qualquer τ , todo k e todos t1, . . . , tk


Estacionariedade de primeira ordem

FX(t)(x) = FX(t+τ)(x) = FX(x), para todo t.

Media e variancia constantes para todo t

mX(t) = E[X(t)] = m, para todo t

Var[X(t)] = E[(X(t)−m)2] = σ2, para todo t


Estacionariedade de segunda ordem

FX(t1),X(t2)(x1, x2) = FX(0),X(t2−t1)(x1, x2) = FX(x1, x2),para todo t1, t2.

Autocorrelacao e Autocovariancia constantes pata todo t2− t1RX(t)(t1, t2) = RX(t2 − t1), para todo t1, t2.

CX(t)(t1, t2) = CX(t2 − t1), para todo t1, t2.


processos estoc asticos · conteudo 1 introdu˘c~ao 2 de ni˘c~ao 3 especi cando um processo aleat...

Documents