CCCC--226226

IntroduIntroduçção ão àà AnAnáálise de Padrõeslise de Padrões

Prof. Carlos Henrique Q. Prof. Carlos Henrique Q. ForsterForster

Inferência com Inferência com BayesBayes

Distribuição multivariada- PDF conjunta

Probabilidade Marginal

Covariância

Correlação

Independência Estatística

Matriz de Covariância

Distribuição Normal Multivariada

( ))()(exp||||)2(

1)( 1

2

1

21

2

μxΣμxΣ

x −−−= −Tm

p

π

=

mµ

µ

µ

M

2

1

μ

=

mmm

m

m

2

21

222

12

11212

σσσ

σσσ

σσσ

L

MOMM

L

L

Σ

Exemplo em 2 dimensões

( ))()(exp||||2

1)( 1

2

1

21

μxΣμxΣ

x −−−= −Tpπ

=

y

x

µ

µμ

=

Y

X X r.v. Write

=

yxy

xyx

2

2

σσ

σσΣ

Then define ),(~ ΣμNX to mean

Where the Gaussian’s parameters are…

Where we insist that ΣΣΣΣ is symmetric non-negative definite

It turns out that E[X] = µ and Cov[X] = ΣΣΣΣ. (Note that this is a resulting property of Gaussians, not a definition)

Distância de Mahalanobis

1. Begin with vector x

2. Define δδδδ = x - µµµµ

3. Count the number of contours crossed of the ellipsoids formed ΣΣΣΣ-1

D = this count = sqrt(δδδδTΣΣΣΣ-1δδδδ)= Mahalonobis Distance between x and µµµµ

x

µµµµ

δδδδ

Contours defined by sqrt(δδδδTΣΣΣΣ-1δδδδ) = constant

( ))()(exp||||2

1)( 1

2

1

21

μxΣμxΣ

x −−−= −Tpπ

Gaussiana com eixos alinhados

=

mµ

µ

µ

M

2

1

μ

=

−

m

m

2

12

32

22

12

0000

0000

0000

0000

0000

σ

σ

σ

σ

σ

L

L

MMOMMM

L

L

L

Σ

Gaussiana

esférica

=

mµ

µ

µ

M

2

1

μ

=

2

2

2

2

2

0000

0000

0000

0000

0000

σ

σ

σ

σ

σ

L

L

MMOMMM

L

L

L

Σ

Propriedades das Gaussianas (A. Moore)

V

UChainRule

VU |

V

V

U Condition-alize

VU |

+ YX + X

Y

Multiply AX X

Matrix A

V

U Margin-alize

U

vv

T

uv

uvuu

v

u

ΣΣ

ΣΣ

μ

μ

V

U,N~ IF ( )

uuuΣμU ,N~ THEN

( )ΣμX ,N~ IF AXY = AND ( )TAAΣAμY ,N~ THEN

( ) ( ) YXΣμYΣμX ⊥ and ,N~ and ,N~ if yyxx( )

yxyx ΣΣμμYX +++ ,N~ then

uvvv

T

uvuuvu ΣΣΣΣΣ1

| −−=

where

( )vuvu || ,N~ | ΣμVU

THEN

vv

T

uv

uvuu

v

u

ΣΣ

ΣΣ

μ

μ

V

U,N~ IF

)( 1| vvvT

uvuvu μVΣΣμμ −+=−

+=

vv

T

vv

vvvu

T

vv

ΣAΣ

AΣΣAAΣΣ

)( |

( ) ( )vvvvuΣμVΣAVVU ,N~ and ,N~ | IF |

( ) with,,N~ THEN ΣμV

U

Noção da dimensionalidade

� Considere uma variável X e cada componente xiindependente

Considere uma amostra de tamanho 10000 e fazemos a poda de 5% dos valores extremos para cada variável.

Quanto sobra da amostra para diferentes dimensões (no. de atributos) dos dados?

Solução

� Para uma variável, multiplica por 95%:� 10000*0.95 = 9500

� Para duas dimensões, multiplica novamente por 95%:� 9025

� Para 10 dimensões, multiplica por (0.95)10:� 5987 (quase metade dos dados foram podados)

� Para 50 dimensões:� 769

� Para 100 dimensões:� 59 (a grande maioria está nos 5% outliers de alguma variável)

Probabilidade Condicional

( ) ( )( )YP

YXPYXP

∩=|

Exercício

� Num programa de TV você deve escolher uma

dentre três portas das quais uma delas tem um

prêmio. O apresentador escolhe uma das portas

que você não escolheu e abre para mostrar que o

prêmio não está lá. Você é dado a oportunidade

de trocar a porta que escolheu pela outra que

ainda não está aberta. Qual é a melhor opção?

Exercício http://www.regentsprep.org/regents/math/algebra/APR3/PracCond.htm

Exercício (cont)

Exercício

� Na tabela dada, identificar ou calcular:

� Distribuição de probabilidade conjunta P(A,B)

� Probabilidades marginais de cada variável P(A) e P(B)

� Probabilidades condicionais P(A|B) e P(B|A)

� Qual a relação entre P(A|B) e P(B|A)?

(que tal montar uma tabela dividindo uma pela

outra?)