introdução à análise de componentes independentes e suas ... ?· independentes e suas...

Download Introdução à Análise de Componentes Independentes e suas ... ?· Independentes e suas Aplicações…

Post on 18-Jan-2019

213 views

Category:

Documents

0 download

Embed Size (px)

TRANSCRIPT

Introduo Anlise de Componentes

Independentes e suas Aplicaes

Facilitador: Eduardo Simas

esimas@cefetba.br

Sumrio

Introduo

O Modelo da Anlise de Componentes Independentes.

Breve histrico.

Independncia estatstica

Como estimar a independncia?

Principais Algoritmos

Pr-processamento dos sinais

Extenses ao modelo bsico

Aplicaes

Concluses

Bibliografia2Introduo ICA e Aplicaes

Introduo

Em diversos problemas de processamento de sinais multidimensionais(MIMO Multiple Inputs Multiple Outputs) desejvel encontrar uma

transformao dos dados de modo que sua estrutura esteja mais acessvel.

No caso mais geral no existem muitas informaes a respeito dos dados e oaprendizado deve ser efetuado de modo no-supervisionado (cego).

Principais tcnicas lineares de processamento de sinais MIMO:

Anlise de Componentes Principais (PCA Principal Component Analysis);

Anlise de Fatores (Factor Analysis);

Anlise de Componentes Independentes (ICA Independent ComponentAnalysis);

Separao Cega de Fontes (BSS Blind Source Separation).

Introduo ICA e Aplicaes 3

Introduo

Processamento Cego:

O meio de propagao e os sinais originais so desconhecidos.

Apenas os sinais x so medidos.

Introduo ICA e Aplicaes 4

Fontes

de Sinal

Meio de

propagao

linear

Sinais

Observados

(Medidos)

s1(t)

s2(t)

sN(t)

...

x1 (t)

x2(t)

xN(t)

...

Introduo - Aplicaes

Exemplos de sinais multidimensionais comuns:

Sinais de udio (msica, voz) gravados com mais de um microfone;

Sinais de imagem (fotografias, video);

Sries Temporais de Bolsas de Valores;

Sistemas sem fio com mltiplos usurios; Sistemas sem fio com mltiplos usurios;

Sinais de inspeo acstica de mquinas;

Sinais de instrumentao de exames mdicos (ECG, EEG, Ultra-som, etc).

Introduo ICA e Aplicaes

Introduo - Aplicaes

Cocktail-party problem:Magneto-Encefalograma

66

Sistema sem-fio multi-usurio

O Modelo da ICA

O modelo da Anlise de Componentes Independentes (ICA) assume que umconjunto de sinais observados (medidos) x = [x1 , ..., xN ]

T formado por uma

combinao linear de fontes desconhecidas s = [s1 , ..., sN ]T :

Para N=2:

Niondesax j

N

j

ji ,...,11

===

Nmero de fontes igual Para N=2:

Na forma matricial pode-se escrever:

sendo:

Introduo ICA e Aplicaes 7

Asx =

2221212

2121111

sasax

sasax

+=

+=

=

2221

1211

aa

aaA

=

2

1

2221

1211

2

1

s

s

aa

aa

x

x

Matriz de mistura

Nmero de fontes igual

ao de sinais observados

O Modelo da ICA

O modelo da ICA no restringe a natureza dos sinais que podem ser variveisaleatrias, imagens, ondas acsticas, sinais eltricos, etc.

O modelo anterior foi simplificado para uma visualizao mais fcil, mas naprtica, os sinais xi e si so vetores aleatrios ou seja: xi = xi (k) e si = si (k):

)()()( 2121111 ksaksakx +=(k)(k) Asx =

Onde k o ndice dos vetores

Se os sinais xi e si apresentam estrutura temporal (sinais dependentes dotempo), o ndice k representa o tempo discreto.

Os modelos apresentados podem ser facilmente estendidos para N>2.

Introduo ICA e Aplicaes 8

)()()(

)()()(

2221212

2121111

ksaksakx

ksaksakx

+=

+=(k)(k) Asx =

O Modelo da ICA

O objetivo para o qual o mtodo foi inicialmente desenvolvido recuperar asfontes si utilizando para isso apenas os sinais observados xi.

O modelo inverso ento definido por:

Wxs = Niondexws j

N

j

ji ,...,11

===

Onde: W=A-1 e

Utilizada com esse objetivo a ICA tambm chamada de Separao Cega deSinais (BSS - Blind Signal Separation).

Introduo ICA e Aplicaes 9

SS

j 1=

O Modelo da ICA

O problema proposto pela ICA se resume a encontrar a matriz de separaoW, ou seus coeficientes wij.

Meio de

propagao

linear

Transformao

por ICA

s1s2

s

...

x1x2

x

...

s1s2

...

^

^

^

Introduo ICA e Aplicaes 10

Fontes

de Sinal

linear

Sinais

Observados

(Misturados)

Fontes

Recuperadas

sN xN sN

...

^

Sendo SS

AW

O Modelo da ICA

Uma forma de resolver o problema da ICA assumir que as fontes de sinalso estatisticamente independentes (o que uma considerao razovel e

que, na prtica, no precisa ser totalmente exata).

Ento, a ICA (ou BSS) se resume a buscar uma transformao linear(representada pela matriz W) que torna os dados independentes.

Definio- Independncia Estatstica: diz-se que duas variveis aleatrias soindependentes se e somente se o conhecimento de uma delas no traz

nenhuma informao a respeito da outra.

Um sinal musical e um rudo sonoro originado de uma mquina eltrica so exemplos de variveis independentes.

Introduo ICA e Aplicaes 11

O Modelo da ICA - Exemplo

Fontes Sinais observados

Introduo ICA e Aplicaes 12

Fontes recuperadas

Comparando s e y percebe-seque podem existir modificaesno sinal e na amplitude (fatormultiplicativo).

Breve Histrico da ICA

Incio dos anos 80 - a tcnica desenvolvida (Hrault, Jutten & Ans).

Dcada de 1980 - a tcnica fica restrita aos pesquisadores franceses.

1989 - alguns trabalhos importantes so publicados (Cardoso e Comon).

Incio dos anos 90 - desenvolvida o algoritmo PCA no linear (Hyvarinen,Karhunen & Oja).Karhunen & Oja).

Meados dos anos 90 - o interesse geral em ICA cresceu aps a publicao dotrabalho de Bell & Sejnowski.

Janeiro de 1999 - realizado o primeiro workshop internacional sobre oassunto.

2004/2005 cursos de ICA comeam a ser ministrados em programas de ps-graduao em Engenharia Eltrica no Brasil (COPPE-UFRJ / UNICAMP)

Introduo ICA e Aplicaes 13

Independncia Estatstica

Sendo px(x) e py(x) as funes densidade de probabilidade de x e y, pxy(x,y) afuno de probabilidade conjunta e py/x(y/x) e px/y(x/y) as probabilidades

condicionais pode-se escrever:

Matematicamente diz-se que duas variveis aleatrias x e y soindependentes se e somente se :

)()/()()/(),( //, xpxypypyxpyxp xxyyyxyx ==

Ou seja:

OBS: A funo densidade de probabilidade (pdf - probability density function)f(z) da varivel aleatria z tal que:

Introduo ICA e Aplicaes 14

)()(),(, ypxpyxp yxyx =

=

Exemplos de funes densidade de probabilidade:

Gaussiana ou Normal

=

2

2

2

)(exp

2

1)(

xxfpdf:

Onde:

- mdia

N1

Introduo ICA e Aplicaes 15

- desvio padro

(2 varincia)

=

=

N

i

ixN 1

1

1

)( 2

=

N

xi

Laplaciana

(ou exponencial dupla)

Exemplos de funes densidade de probabilidade:

=

b

x

bxf

||exp

2

1)(

pdf:

Mdia

Introduo ICA e Aplicaes 16

Varincia= 2b2

Uniforme:

Exemplos de funes densidade de probabilidade:

>>

=

bxxa

bxaabxf

ou 0

1

)(

Introduo ICA e Aplicaes 17

Como buscar a independncia estatstica?

Conforme dito anteriormente, duas variveis aleatrias x e y soindependentes se e somente se:

Em problemas onde as fontes a serem estimados (neste caso x e y) sodesconhecidas no h como estimar diretamente suas pdf.

)()(),(, ypxpyxp yxyx =

Dois princpios matemticos so utilizados para estimar a independnciaestatstica sem utilizar a condio acima:

Descorrelao no-linear;

Maximizao da no-gaussianidade

Introduo ICA e Aplicaes 18

Princpio 1: Descorrelao No-linear

Uma condio equivalente mostrada anteriormente pode ser obtida se para todas as funes no-lineares g(.) e h(.) vale a igualdade:

onde o operador esperana matemtica.

O resultado acima obtido de:

)}({)}({)}()({ yhExgEyhxgE =

dxxpxxE x )(}{

=

O resultado acima obtido de:

Introduo ICA e Aplicaes 19

Princpio 1: Descorrelao No-linear

Na prtica no possvel testar todas as funes g(.) e h(.).

Em algoritmos que utilizam esse critrio, algumas funes especficas soutilizadas.

O principal problema em utilizar o mtodo de descorrelao no-linear para O principal problema em utilizar o mtodo de descorrelao no-linear paraestimar as componentes independentes a escolha adequada das funes

no-lineares utilizadas.

Uma escolha inadequada pode levar o algoritmo divergncia (ou seja, noencontrar as componentes independentes).

Introduo ICA e Aplicaes 20

Princpio 2: Maximizao da No-gaussianidade

Do teorema do limite central vem o segundo princpio utilizado para estimar ascomponentes independentes.

Teorema do limite central: A pdf da soma de duas v

Recommended

View more >