aga 0505- análise de dados em astronomia i 9. inferência...

introdução 1. o problema do farol 2. detecção de uma linha espectral 3. modelos gerativos 4. ABC 4. modelos hierárquicos exercícios

AGA 0505- Análise de Dados em Astronomia I

9. Inferência Bayesiana de Parâmetros - II

Laerte Sodré Jr.

1o. semestre, 2020

1 / 23


aula de hoje:

1. o problema do farol2. detecção de uma linha espectral3. modelos gerativos4. ABC: approximate bayesian computation5. modelos hierárquicos

By a small sample we may judge of the whole piece.

Dom Quixote, Miguel de Cervantes

2 / 23


o problema do farol

Sivia & Skilling, sec. 2.4 (Gull, 1988)• um farol está em uma posição α ao

longo de uma costa reta e a umadistância β no mar;• girando, ele emite uma série de pulsos

curtos altamente colimados emintervalos de tempo aleatórios (eportanto em azimutes θ tambémaleatórios);• N destes pulsos são detectados por

sensores na costa, mas só as posições{xk}, não as direções:

onde está o farol?

• objetivo: determinarp(α, β|{xk}) ∝ p({xk}|α, β)p(α, β)

θk

mar

costa

β

αx

xk

farol

3 / 23


o problema do farol

• é razoável se atribuir um prior uniformepara o ângulo θ associado às medidasxk;• como para o pulso ser detectado ele

deve ter sido emitido com −π2 ≤ θk ≤ π

2 ,temos

p(θk|α, β) =1π

(−π2< θk <

π

2)

• da geometria do problema:

tgθ = (x− α)/β

• mudança de variáveis:|p(x)dx| = |p(θ)dθ|• derivando em relação a x:

d tgθdθ = sec2 θ = 1

βdxdθ

dθdx = 1

β sec2 θ= 1

β(1+ tg2θ)= β

β2+(x−α)2

• logo, p(x|α, β) = p(θ|α, β)

∣∣∣∣∣ dθdx

∣∣∣∣∣ou p(x|α, β) = β

π[β2+(x−α)2]

distribuição de Cauchy(ou Lorentziana)

4 / 23


o problema do farol

• distribuição de Cauchy

p(x|α, β) = β

π[β2 + (x− α)2]

distribuição simétrica em relação a α e comFWHM = 2β

• vamos adotar priores não informativos paraα e β

• nesse caso o posterior é proporcional àverossimilhança:

p(α, β|{xk}) ∝ p({xk}|α, β)

• a verossimilhança é dada por:

p({xk}|α, β) =N∏

k=1

p(xk|α, β)5 / 23


o problema do farol

• log do posterior:

ln p(α, β|{xk}) = cte +N lnβ−N∑

k=1

ln[β2+(xk−α)2]

• exemplo: simulação MCMC comN = 100, α = 0.5, β = 1.5

6 / 23


detecção de uma linha espectral

• vamos considerar uma linha espectralgaussiana de comprimento de onda centralµ conhecido sobre um fundo (background)uniforme em um intervalo W

• verossimilhança:

P(xi|µ, σ,A,W) =A√

2πσexp

[−

(xi − µ)2

2σ2

]+

1− A

W

com 0 < xi < W e 0 ≤ A ≤ 1

• parâmetros: A e σ

• priores uniformes: 0 ≤ A ≤ 1 e 0 < σ < σmax

• simulação dos dados: MC- para cada xiresolve-se a equação

γ −∫ xi

0P(x|µ, σ,A,W)dx = 0

onde γ é um número aleatóriouniformemente distribuído entre 0 e 1

7 / 23


detecção de uma linha espectral

• linha espectral gaussiana:

P(xi|µ, σ,A,W) =A√2πσ

exp

[−(xi − µ)2

2σ2

]+

1− AW

• exemplo (Ivezic et al., MLA, sec. 5.6.5):A = 0.5, σ = 1, µ = 5, W = 10,σmax = 3, N = 200

• MCMC: A = 0.59± 0.07, σ = 1.05± 0.16

8 / 23


modelos gerativos

• modelos gerativos: inferência baseadaem simulações dos dados• simulamos parâmetros a partir de um

prior, P(w), usamos esses parâmetrospara simular “dados”, e usamos osdados simulados para estimar osparâmetros• exemplo: vamos supor que os dados

D = {xi, σxi, yi, σyi} sejam realizações de“dados verdadeiros” {xT

i , yTi }, tal que

yT = a + bxT,com erros em x e em y (σxi, σyi)

• objetivo: estimar o posterior dosparâmetros w = {a, b}

• exemplo de modelo gerativo:gero dados a partir dos prioresxT

i ∼ N(xi, σxi) yTi ∼ N(yi, σyi)

• o posterior de w pode então serdeterminado com os priores desejados:P(w|D) ∝ P(D|w)P(w),comlogP(D|w) ∝ −1

2∑

i

(yT

i − a− bxTi

)2

9 / 23


modelos gerativos

• exemplo: relação entre a massa doburaco negro central e a dispersão develocidades central das galáxias:

logM•M�

= a + b× logσv

σ0

σ0 = 200 km/s: valor de referência(inspirado em BMAD, sec. 10.1)

• dados de Harris et al. (2013)

• implementação com MCMC

10 / 23


ABC: Approximate Bayesian Computation

• objetivo: estimar o posterior dos parâmetrosde um modelo sem calcular(necessariamente) a verossimilhança masusando um processo gerativo de gerardados a partir de parâmetros, f (x|w)

• porquê? há situações onde averossimilhança é intratávelexemplo: estimar parâmetros cosmológicosdiretamente da distribuição de galáxias noespaço; comparação de observações esimulações

• como proceder? ao invés de se comparar osdados (e.g. posições de galáxias)diretamente, pode-se comparar estatísticasque “resumem” propriedades importantesdos dados tanto nas observações quantonas simulações

• exemplos: distância média entre galáxias,variância do número de galáxias em esferasde raio 8 Mpc, ...

11 / 23


ABC: Approximate Bayesian Computation

• objetivo: estimar o posterior dos parâmetrosw de um modelo, P(w|D), usando umprocesso de gerar dados a partir deparâmetros, f (x|w)

• consideramos uma certa “tolerância” paraaceitar ou não os dados simulados

• algoritmo ABC:

• 1. amostre wprop do prior P(w)

• 2. simule dados Dprop com wprop

• 3. calcule as estatísticas quesumarizam os dados:xprop =resumo(wprop)

• 4. aceite wprop se |xprop − xobs| < ε(tolerância)

• 5. retorne a 1

• atenção: em geral (mas nem sempre),

• dados contínuos: tolerância ε > 0• dados discretos: tolerância ε = 0

12 / 23


exemplo: estimativa de uma distribuição binomial por ABC

• Dados: uma sequência com n valores com xiigual a 0 ou 1 obtidos a partir de umadistribuição binomial com uma certaprobabilidade w de sair 1

• objetivo: se a amostra tem X valores 1, usarABC para estimar o posterior de w

• vamos gerar/simular dados da seguintemaneira:• sorteamos um w uniformemente entre 0

e 1• geramos uma sequência de n dados yi

com a distribuição binomial:

P(Y|w) =

(n

Y

)wY

(1− w)n−Y

onde Y =∑

i yi (= número de ’1’s)

• distância entre os conjuntos de dados x e y:

ρ =|X − Y|

n

• exemplo: tolerância ε = 0só vamos aceitar distribuições com o mesmonúmero de 1s, ρ = 0

13 / 23


exemplo: estimativa de uma distribuição binomial por ABC

ε = 0 ε = 0.1

14 / 23


exemplo: estimativa dos parâmetros de uma gaussiana por ABC

• Dados: 25 amostras extraídas deN(µ = 5, σ = 2)

• objetivo: usar ABC para estimar osparâmetros dessa distribuição

• vamos amostrar parâmetros (µ, σ) comum prior não informativo e usar a médiae a variância dos dados simulados comoestatísticas que sumarizam os dados

• exemplo: MCMC com 105 simulaçõestolerâncias: εµ = 0.1, εσ = 0.1priores:P(µ) = N(µ, sd = 0.7)P(σ) = N(σ, sd = 0.7), σ > 0

• resultado: média de µ = 5.24± 0.83;média de σ = 2.17± 0.63

15 / 23


exemplo: estimativa dos parâmetros de uma gaussiana por ABC

16 / 23


exemplo: quantos peixes tem no lago?

• um "problema de captura”: você estápescando em um lago e captura 20peixes, marca-os e os devolve ao lago

• no dia seguinte você volta ao lago epesca novamente 20 peixes, dos quais 5são marcados

• quantos peixes tem no lago?

• solução por máxima verossimilhança:taxa = 5/20; Nmarcados = 20 −→Npeixes = Nmarcados/taxa = 80

• solução por ABC: faz-se muitassimulações e, para cada uma:• escolhe-se um número de peixes,

Npeixes (> 20), de um prior nãoinformativo

• marca-se 20 dos Npeixes• amostra-se 20 peixes, sem substituição,

e, se tiver 5 marcados, registra-se• a probabilidade de Npeixes será igual à

sua fração de registroshttps://rpubs.com/rasmusab/live_coding_user_2015_bayes_tutorial

por Rasmus Baath

17 / 23


exemplo: quantos peixes tem no lago?

• um "problema de captura”: você estápescando em um lago e captura 20 peixes,marca-os e os devolve ao lago

• no dia seguinte você volta ao lago e pescanovamente 20 peixes, dos quais 5 sãomarcados

• quantos peixes tem no lago?

• solução por máxima verossimilhança:taxa = 5/20; Nmarcados = 20 −→ Npeixes =Nmarcados/taxa = 80

• solução por ABC

18 / 23


modelos hierárquicos

• queremos modelar um conjunto dedados D com um modelo M que temparâmetros w• os parâmetros do modelo são estimados

com o Teorema de Bayes:

P(w|D) ∝ P(D|w)P(w)

• e se o prior depende de outrosparâmetros: P(w|α)?e se α ...?

• um problema pode ter muitosníveis/hierarquia de priores:MLM - Multilevel Model

• Bayes normal:P(w|D) ∝ P(D|w)P(w)

• Bayes hierárquico:P(w, α|D) ∝ P(D|w, α)P(w|α)P(α)

α: nuisance parameter; hiperparâmetro

19 / 23


modelos hierárquicos: exemplo

• a função gama inversa IG(x; a, b), x > 0 éfrequentemente usada como prior paraparâmetros de variância:P(x|a, b) ∼ IG(a, b) = bax−(a+1)e−b/x

Γ(a) , x > 0e, para a > 2, essa função temE(x) = b

a−1 , variância = b2

(a−1)2(a−2)

• exemplo de modelo hierárquico:dados D modelados como uma gaussianade parâmetros w = {µ, σ} com prioresinformativos para µ e σ

• modelo gerativo para os dados, comhiperparâmetros {µ0, a, b}P(σ) ∼ IG(a, b)P(µ|σ) ∼ N(µ0, σ)D ∼ N(µ, σ)

• e o posterior é dado por:P(µ, σ|D, µ0, a, b) ∝P(D|µ, σ, µ0, a, b)P(µ, σ|µ0, a, b) =P(D|µ, σ, µ0, a, b)P(µ|σ)P(σ) 20 / 23


modelos hierárquicos: exemplo

• exemplo de modelo hierárquico:dados D modelados como uma gaussianade parâmetros w = {µ, σ} com prioresinformativos para µ e σ

• modelo gerativo: 20 dados, comhiperparâmetros {µ0, a, b} = {0, 3, 5}P(σ) ∼ IG(a, b)P(µ|σ) ∼ N(µ0, σ)D ∼ N(µ, σ)

• posterior:P(µ, σ|D, µ0, a, b) ∝P(D|µ, σ, µ0, a, b)P(µ, σ|µ0, a, b) =P(D|µ, σ, µ0, a, b)P(µ|σ)P(σ)

21 / 23


exercícios

1. Mede-se o número de estrelas de um dado tipo em 1 grau quadrado em várias áreas docéu, obtendo-se as seguintes contagens: {26, 36, 20, 30, 39, 32, 23, 20, 36, 31, 32, 30}.Suponha que essas contagens correspondem a um processo poissoniano. Use ABC(com tolerância na média de 0.1) para estimar a distribuição de probabilidades dadensidade média. Compare o valor médio e a variância resultante do ABC com osesperados por máxima verossimilhança.

22 / 23


referências

1. Data Analysis - A Bayesian Tutorial, Sivia & Skilling (2a. ed., 2006)2. Statistics, Data Mining, and Machine Learning in Astronomy, Ivezic, Connolly, VanderPlas

& Gray, 20143. Harris, W.E., Harris, G.L.H, and Alessi, M., ApJ 772, 82 (2013)4. Bayesian Models for Astrophysical Data, Hilbe, de Souza & Ishida, 2017 (BMAD)5. https://rpubs.com/rasmusab/

23 / 23

aga 0505- análise de dados em astronomia i 9. inferência...

Documents