teoria da informac¸˜ao - ufc

Teoria da Informacao

Charles Casimiro [email protected]

Grupo de Pesquisa em Telecomunicacoes Sem Fio – GTEL

Programa de Pos-Graduacao em Engenharia de Teleinformatica

Universidade Federal do Ceara – UFC

http://www.gtel.ufc.br/∼charles

c© C. C. Cavalcante Teoria da Informacao

“A principal funcao de um sistema de comunicacao e reproduzir,exatamente ou de forma aproximada, uma informacao provenientede outro ponto diferente.”

Claude Shannon, 1948


Conteudo do curso

1 Revisao de probabilidade

2 Informacao e Entropia

3 Codificacao de fontes

4 Codificacao e capacidade de canal

5 Complexidade de Kolmogorov

6 Funcoes de otimizacao

7 Independent Component Analysis


Parte VI

Funcoes de Otimizacao


Consideracoes

Funcoes de otimizacao sao utilizadas para atingir determinadoobjetivo em um processo fısico, descrito atraves de umaformulacao matematica

Funcoes de otimizacao sao, principalmente, ligadas a questoesrelacionadas aos problemas de controle e filtragem

Funcoes de otimizacao sao tambem chamadas de funcoesobjetivo ou funcoes custo


Consideracoes - cont.

Em sistemas de comunicacao, conforme dito por Shannon, acomunicacao tem por meta reproduzir da melhor maneirapossıvel no receptor uma informacao enviada pelo transmissor

Como medir esta “confiabilidade de transmissao”?

Shannon, ainda nos anos 30-40 propos a seguinte medida

min E =

∞∫

−∞

(a(t)− a(t))2 dt (121)


Consideracoes - cont.

A ideia e que minimizando-se o erro quadratico, prova-se quea estimativa do sinal tende, assintoticamente, para o valororiginal

Resultado aproveitado por Wiener posteriormente (1948)

Base da maioria de tecnicas de filtragem e controle

Problema

Como calcular a estimativa do sinal?


Teoria da estimacao

A maneira de estimar o sinal depende do processo empregado

Otimizacao/filtragem linear calculam a estimativa atraves deuma combinacao linear de parametros

a(t) =

∞∑

k=−∞wk · x(k) (122)

Otimizacao/filtragem nao-linear utilizam funcoes maiscomplexas para estimativa do sinal

a(t) =

∞∑

k=−∞f(wk) · g[x(k)] (123)


Teoria da estimacao - cont.Estrategias

Metodo dos momentos

Metodos dos mınimos quadrados (linear, generalizado enao-linear)

Metodo da maxima verossimilhanca

Metodo bayesiano


Teoria da estimacao - problema

Ainda problema...

Estimativa do sinal apresenta uma forte dependencia do tipo deprocessamento utilizado. Como proceder para se obter umaestimativa que independe do tipo de abordagem (linear ounao-linear)?


Teoria da informacao × teoria da estimacao

Resposta: abordagem pela transferencia de informacao!!

Ferramentas: medida de informacao

Otimizacao por criterios baseados em teoria da informacao(Information-theoretic criteria)

Aplicacao em varios problemas de engenharia


Medidas de otimizacao

Maximizacao da informacao mutua

J = max I(X,Y )

Aplicacao direta em sistemas discretos

Maximizacao da entropia

J = max H(Y )

Busca por uma densidade de maior energia


Medidas de otimizacao - cont.

Maximizacao da negentropia

J = max (H(YG)−H(Y ))

Para uma variancia dada, torna os dados o maisnao-gaussiano posssıvel

Maximizacao/minimizacao da divergencia deKullback-Leibler

J = max D(p||g)

Maximizar/minimizar a similaridade entre duas funcoesdefinidas positivas


Medidas de otimizacao - cont.Aplicacoes

Em particular, a medida de informacao mutua e interessantena aplicacao da determinacao de funcoes obetivo pois estapode ser implementada de forma nao-supervisionada

Quatro tipos basicos de cenario, cuja escolha depende daaplicacao de interesse

1 Maximizar a quantidade de informacao transportada para asaıda do sistema pela entrada do mesmo

2 Maximizar a quantidade de informacao transportada entrepartes da saıda do sistema

3 Minimizar a quantidade de informacao transportada entrepartes da saıda do sistema

4 Minimizar a dependencia estatıstica entre as saıdas de umsistema


Medidas de otimizacao - cont.Aplicacoes - cont.

Sistema(linear ou não-linear)

...

X1X2X3

NX

...

Y1Y2Y3

KY

Maximizar informação transportada para Y a

partir de X

YX

Maximizacao da informacao (capacidade de canal!)




...

...

Xa

Xb

aX 1

aX 2

aMX

bX 1

bMX

aY

bY

Maximizar informação transportada para Yb a partir de Ya e vice -versa

Partes diferentes de uma mesma imagem




...

...

aX 1

aX 2

aMX

bX 1

bMX

aY

bY

Minimizar informação transportada para Yb a partir de Ya e vice -versa

Partes de imagens diferentes




...

X1X2X3

NX...

Y1Y2Y3

KY

Minimizar dependência estatística entre os Yi

Recuperacao de informacao da entrada


AplicacaoProblema de equalizacao linear

( )a n ( )x nɶ ( )x n ( )y n

Canal Equalizador

h Σ

( )v n

w

Resposta global


AplicacaoProblema de equalizacao linear - cont.

Aspectos gerais

Proposicao inicial para sistemas SISO (equalizacaomono-usuario)

Caracterizacao da funcao de densidade de probabilidade (fdp)da saıda do equalizador ideal

Estimacao parametrica

Criterio: estimacao/entropia

Divergencia de Kullback-Leibler (KLD)Funcao contraste



Sinal na saıda do equalizador ideal

y(n) =(HHa(n) + v(n)

)Hwideal

= aH(n)Hwideal + vH(n)wideal

= aT (n)Hwideal︸︷︷︸g ideal

+vH(n)wideal

= aH(n)g ideal + ϑ(n)

= a (n− ℓ) + ϑ(n),

pdf de y(n)

pY (y) =1√

2πσ2ϑ

C∑

i=1

exp

(−|y(n)− ai|2

2σ2ϑ

)Pr(ai),



Modelo parametrico

Φ(y) =1√2πσ2

r︸︷︷︸A

· 1C·

C∑

i=1

exp

(−|y(n)− ai|2

2σ2r

), (124)

Como medir a similaridade?

Divergencia de Kullback-Leibler (KLD)

D (pY (y)||Φ(y)) =

∞∫

−∞

pY (y) · ln[pY (y)

Φ(y)

]dy



Fitting pdf Criterion

Termo da KLD dependente de Φ(y)

JFP(w) =

∞∫

−∞

pY (y) · ln(

1

Φ(y)

)dy

= −E {ln [Φ(y)]}

= −E{ln

[A ·

C∑

i=1

exp

(−|y − ai|2

2σ2r

)]}



Fitting pdf Algorithm

∇JFPC(w) =

C∑i=1

exp(− |y(n)−ai|2

2σ2r

)[y(n)− a∗i ]

σ2r ·

C∑i=1

exp(− |y(n)−ai|2

2σ2r

) x(n),

w(n + 1) = w(n)− µ∇JFPC(w).



Equivalencias

Solucao do FPA quando se dispoe dos dados coincide com asolucao MMSE

Pode ser visto como um caso generalizado dos criterios CM ede Sato

Equivalencia do comportamento da funcao custo comalgoritmo de decisao dirigida

Relacao importante com criterio de minimizacao daprobabilidade de erro

FP × MAP

JMAP = JFPC − JMMSE


teoria da informac¸˜ao - ufc

Documents