cc -226 introdução àanálise de padrõesforster/cc-226/aula07-bayes.pdf · microsoft powerpoint...
Post on 14-Feb-2021
2 Views
Preview:
TRANSCRIPT
-
CCCC--226226
IntroduIntroduçção ão àà AnAnáálise de Padrõeslise de Padrões
Prof. Carlos Henrique Q. Prof. Carlos Henrique Q. ForsterForster
Inferência com Inferência com BayesBayes
-
Distribuição multivariada- PDF conjunta
-
Probabilidade Marginal
-
Covariância
-
Correlação
-
Independência Estatística
-
Matriz de Covariância
-
Distribuição Normal Multivariada
( ))()(exp||||)2(
1)( 1
2
1
21
2
μxΣμxΣ
x −−−= −Tm
p
π
=
mµ
µ
µ
M
2
1
μ
=
mmm
m
m
2
21
222
12
11212
σσσ
σσσ
σσσ
L
MOMM
L
L
Σ
-
Exemplo em 2 dimensões
( ))()(exp||||2
1)( 1
2
1
21
μxΣμxΣ
x −−−= −Tpπ
=
y
x
µ
µμ
=
Y
X X r.v. Write
=
yxy
xyx
2
2
σσ
σσΣ
Then define ),(~ ΣμNX to mean
Where the Gaussian’s parameters are…
Where we insist that ΣΣΣΣ is symmetric non-negative definite
It turns out that E[X] = µ and Cov[X] = ΣΣΣΣ. (Note that this is a resulting property of Gaussians, not a definition)
-
Distância de Mahalanobis
1. Begin with vector x
2. Define δδδδ = x - µµµµ
3. Count the number of contours crossed of the ellipsoids formed ΣΣΣΣ-1
D = this count = sqrt(δδδδTΣΣΣΣ-1δδδδ)= Mahalonobis Distance between x and µµµµ
x
µµµµ
δδδδ
Contours defined by sqrt(δδδδTΣΣΣΣ-1δδδδ) = constant
( ))()(exp||||2
1)( 1
2
1
21
μxΣμxΣ
x −−−= −Tpπ
-
Gaussiana com eixos alinhados
=
mµ
µ
µ
M
2
1
μ
=
−
m
m
2
12
32
22
12
0000
0000
0000
0000
0000
σ
σ
σ
σ
σ
L
L
MMOMMM
L
L
L
Σ
Gaussiana
esférica
=
mµ
µ
µ
M
2
1
μ
=
2
2
2
2
2
0000
0000
0000
0000
0000
σ
σ
σ
σ
σ
L
L
MMOMMM
L
L
L
Σ
-
Propriedades das Gaussianas (A. Moore)
V
UChainRule
VU |
V
V
U Condition-alize
VU |
+ YX + X
Y
Multiply AX X
Matrix A
V
U Margin-alize
U
vv
T
uv
uvuu
v
u
ΣΣ
ΣΣ
μ
μ
V
U,N~ IF ( )
uuuΣμU ,N~ THEN
( )ΣμX ,N~ IF AXY = AND ( )TAAΣAμY ,N~ THEN
( ) ( ) YXΣμYΣμX ⊥ and ,N~ and ,N~ if yyxx( )
yxyx ΣΣμμYX +++ ,N~ then
uvvv
T
uvuuvu ΣΣΣΣΣ1
| −−=
where
( )vuvu || ,N~ | ΣμVU
THEN
vv
T
uv
uvuu
v
u
ΣΣ
ΣΣ
μ
μ
V
U,N~ IF
)( 1| vvvT
uvuvu μVΣΣμμ −+=−
+=
vv
T
vv
vvvu
T
vv
ΣAΣ
AΣΣAAΣΣ
)( |
( ) ( )vvvvuΣμVΣAVVU ,N~ and ,N~ | IF |
( ) with,,N~ THEN ΣμV
U
-
Noção da dimensionalidade
� Considere uma variável X e cada componente xiindependente
Considere uma amostra de tamanho 10000 e fazemos a poda de 5% dos valores extremos para cada variável.
Quanto sobra da amostra para diferentes dimensões (no. de atributos) dos dados?
-
Solução
� Para uma variável, multiplica por 95%:� 10000*0.95 = 9500
� Para duas dimensões, multiplica novamente por 95%:� 9025
� Para 10 dimensões, multiplica por (0.95)10:� 5987 (quase metade dos dados foram podados)
� Para 50 dimensões:� 769
� Para 100 dimensões:� 59 (a grande maioria está nos 5% outliers de alguma variável)
-
Probabilidade Condicional
( ) ( )( )YP
YXPYXP
∩=|
-
Exercício
� Num programa de TV você deve escolher uma
dentre três portas das quais uma delas tem um
prêmio. O apresentador escolhe uma das portas
que você não escolheu e abre para mostrar que o
prêmio não está lá. Você é dado a oportunidade
de trocar a porta que escolheu pela outra que
ainda não está aberta. Qual é a melhor opção?
-
Exercício http://www.regentsprep.org/regents/math/algebra/APR3/PracCond.htm
-
Exercício (cont)
-
Exercício
� Na tabela dada, identificar ou calcular:
� Distribuição de probabilidade conjunta P(A,B)
� Probabilidades marginais de cada variável P(A) e P(B)
� Probabilidades condicionais P(A|B) e P(B|A)
� Qual a relação entre P(A|B) e P(B|A)?
(que tal montar uma tabela dividindo uma pela
outra?)
top related