Download - Teoria da Informac¸˜ao - UFC
Teoria da Informacao
Charles Casimiro [email protected]
Grupo de Pesquisa em Telecomunicacoes Sem Fio – GTEL
Programa de Pos-Graduacao em Engenharia de Teleinformatica
Universidade Federal do Ceara – UFC
http://www.gtel.ufc.br/∼charles
c© C. C. Cavalcante Teoria da Informacao
“A principal funcao de um sistema de comunicacao e reproduzir,exatamente ou de forma aproximada, uma informacao provenientede outro ponto diferente.”
Claude Shannon, 1948
c© C. C. Cavalcante Teoria da Informacao
Conteudo do curso
1 Revisao de probabilidade
2 Informacao e Entropia
3 Codificacao de fontes
4 Codificacao e capacidade de canal
5 Complexidade de Kolmogorov
6 Funcoes de otimizacao
7 Independent Component Analysis
c© C. C. Cavalcante Teoria da Informacao
Parte VI
Funcoes de Otimizacao
c© C. C. Cavalcante Teoria da Informacao
Consideracoes
Funcoes de otimizacao sao utilizadas para atingir determinadoobjetivo em um processo fısico, descrito atraves de umaformulacao matematica
Funcoes de otimizacao sao, principalmente, ligadas a questoesrelacionadas aos problemas de controle e filtragem
Funcoes de otimizacao sao tambem chamadas de funcoesobjetivo ou funcoes custo
c© C. C. Cavalcante Teoria da Informacao
Consideracoes - cont.
Em sistemas de comunicacao, conforme dito por Shannon, acomunicacao tem por meta reproduzir da melhor maneirapossıvel no receptor uma informacao enviada pelo transmissor
Como medir esta “confiabilidade de transmissao”?
Shannon, ainda nos anos 30-40 propos a seguinte medida
min E =
∞∫
−∞
(a(t)− a(t))2 dt (121)
c© C. C. Cavalcante Teoria da Informacao
Consideracoes - cont.
A ideia e que minimizando-se o erro quadratico, prova-se quea estimativa do sinal tende, assintoticamente, para o valororiginal
Resultado aproveitado por Wiener posteriormente (1948)
Base da maioria de tecnicas de filtragem e controle
Problema
Como calcular a estimativa do sinal?
c© C. C. Cavalcante Teoria da Informacao
Teoria da estimacao
A maneira de estimar o sinal depende do processo empregado
Otimizacao/filtragem linear calculam a estimativa atraves deuma combinacao linear de parametros
a(t) =
∞∑
k=−∞wk · x(k) (122)
Otimizacao/filtragem nao-linear utilizam funcoes maiscomplexas para estimativa do sinal
a(t) =
∞∑
k=−∞f(wk) · g[x(k)] (123)
c© C. C. Cavalcante Teoria da Informacao
Teoria da estimacao - cont.Estrategias
Metodo dos momentos
Metodos dos mınimos quadrados (linear, generalizado enao-linear)
Metodo da maxima verossimilhanca
Metodo bayesiano
c© C. C. Cavalcante Teoria da Informacao
Teoria da estimacao - problema
Ainda problema...
Estimativa do sinal apresenta uma forte dependencia do tipo deprocessamento utilizado. Como proceder para se obter umaestimativa que independe do tipo de abordagem (linear ounao-linear)?
c© C. C. Cavalcante Teoria da Informacao
Teoria da informacao × teoria da estimacao
Resposta: abordagem pela transferencia de informacao!!
Ferramentas: medida de informacao
Otimizacao por criterios baseados em teoria da informacao(Information-theoretic criteria)
Aplicacao em varios problemas de engenharia
c© C. C. Cavalcante Teoria da Informacao
Medidas de otimizacao
Maximizacao da informacao mutua
J = max I(X,Y )
Aplicacao direta em sistemas discretos
Maximizacao da entropia
J = max H(Y )
Busca por uma densidade de maior energia
c© C. C. Cavalcante Teoria da Informacao
Medidas de otimizacao - cont.
Maximizacao da negentropia
J = max (H(YG)−H(Y ))
Para uma variancia dada, torna os dados o maisnao-gaussiano posssıvel
Maximizacao/minimizacao da divergencia deKullback-Leibler
J = max D(p||g)
Maximizar/minimizar a similaridade entre duas funcoesdefinidas positivas
c© C. C. Cavalcante Teoria da Informacao
Medidas de otimizacao - cont.Aplicacoes
Em particular, a medida de informacao mutua e interessantena aplicacao da determinacao de funcoes obetivo pois estapode ser implementada de forma nao-supervisionada
Quatro tipos basicos de cenario, cuja escolha depende daaplicacao de interesse
1 Maximizar a quantidade de informacao transportada para asaıda do sistema pela entrada do mesmo
2 Maximizar a quantidade de informacao transportada entrepartes da saıda do sistema
3 Minimizar a quantidade de informacao transportada entrepartes da saıda do sistema
4 Minimizar a dependencia estatıstica entre as saıdas de umsistema
c© C. C. Cavalcante Teoria da Informacao
Medidas de otimizacao - cont.Aplicacoes - cont.
Sistema(linear ou não-linear)
...
X1X2X3
NX
...
Y1Y2Y3
KY
Maximizar informação transportada para Y a
partir de X
YX
Maximizacao da informacao (capacidade de canal!)
c© C. C. Cavalcante Teoria da Informacao
Medidas de otimizacao - cont.Aplicacoes - cont.
Sistema(linear ou não-linear)
...
...
Xa
Xb
aX 1
aX 2
aMX
bX 1
bMX
aY
bY
Maximizar informação transportada para Yb a partir de Ya e vice -versa
Partes diferentes de uma mesma imagem
c© C. C. Cavalcante Teoria da Informacao
Medidas de otimizacao - cont.Aplicacoes - cont.
Sistema(linear ou não-linear)
...
...
aX 1
aX 2
aMX
bX 1
bMX
aY
bY
Minimizar informação transportada para Yb a partir de Ya e vice -versa
Partes de imagens diferentes
c© C. C. Cavalcante Teoria da Informacao
Medidas de otimizacao - cont.Aplicacoes - cont.
Sistema(linear ou não-linear)
...
X1X2X3
NX...
Y1Y2Y3
KY
Minimizar dependência estatística entre os Yi
Recuperacao de informacao da entrada
c© C. C. Cavalcante Teoria da Informacao
AplicacaoProblema de equalizacao linear
( )a n ( )x nɶ ( )x n ( )y n
Canal Equalizador
h Σ
( )v n
w
Resposta global
c© C. C. Cavalcante Teoria da Informacao
AplicacaoProblema de equalizacao linear - cont.
Aspectos gerais
Proposicao inicial para sistemas SISO (equalizacaomono-usuario)
Caracterizacao da funcao de densidade de probabilidade (fdp)da saıda do equalizador ideal
Estimacao parametrica
Criterio: estimacao/entropia
Divergencia de Kullback-Leibler (KLD)Funcao contraste
c© C. C. Cavalcante Teoria da Informacao
AplicacaoProblema de equalizacao linear - cont.
Sinal na saıda do equalizador ideal
y(n) =(HHa(n) + v(n)
)Hwideal
= aH(n)Hwideal + vH(n)wideal
= aT (n)Hwideal︸ ︷︷ ︸g ideal
+vH(n)wideal
= aH(n)g ideal + ϑ(n)
= a (n− ℓ) + ϑ(n),
pdf de y(n)
pY (y) =1√
2πσ2ϑ
C∑
i=1
exp
(−|y(n)− ai|2
2σ2ϑ
)Pr(ai),
c© C. C. Cavalcante Teoria da Informacao
AplicacaoProblema de equalizacao linear - cont.
Modelo parametrico
Φ(y) =1√2πσ2
r︸ ︷︷ ︸A
· 1C·
C∑
i=1
exp
(−|y(n)− ai|2
2σ2r
), (124)
Como medir a similaridade?
Divergencia de Kullback-Leibler (KLD)
D (pY (y)||Φ(y)) =
∞∫
−∞
pY (y) · ln[pY (y)
Φ(y)
]dy
c© C. C. Cavalcante Teoria da Informacao
AplicacaoProblema de equalizacao linear - cont.
Fitting pdf Criterion
Termo da KLD dependente de Φ(y)
JFP(w) =
∞∫
−∞
pY (y) · ln(
1
Φ(y)
)dy
= −E {ln [Φ(y)]}
= −E{ln
[A ·
C∑
i=1
exp
(−|y − ai|2
2σ2r
)]}
c© C. C. Cavalcante Teoria da Informacao
AplicacaoProblema de equalizacao linear - cont.
Fitting pdf Algorithm
∇JFPC(w) =
C∑i=1
exp(− |y(n)−ai|2
2σ2r
)[y(n)− a∗i ]
σ2r ·
C∑i=1
exp(− |y(n)−ai|2
2σ2r
) x(n),
w(n + 1) = w(n)− µ∇JFPC(w).
c© C. C. Cavalcante Teoria da Informacao
AplicacaoProblema de equalizacao linear - cont.
Equivalencias
Solucao do FPA quando se dispoe dos dados coincide com asolucao MMSE
Pode ser visto como um caso generalizado dos criterios CM ede Sato
Equivalencia do comportamento da funcao custo comalgoritmo de decisao dirigida
Relacao importante com criterio de minimizacao daprobabilidade de erro
FP × MAP
JMAP = JFPC − JMMSE
c© C. C. Cavalcante Teoria da Informacao