I. IntroducaoII. Modelos estatısticos.

Inferencia em modelos TRIExemplos

Novos modelos na TRI

Modelagem e Inferencia Bayesiana em Dados daResposta ao Item

Marcia D’Elia Branco - mbranco@ime.usp.br -

Universidade de Sao PauloInstituto de Matematica e Estatıstica

http://www.ime.usp.br/ mbranco

Seminario - agosto de 2011 -

Marcia D’Elia Branco - mbranco@ime.usp.br - Modelagem e Inferencia Bayesiana em Dados da Resposta ao Item

I. IntroducaoII. Modelos estatısticos.

Inferencia em modelos TRIExemplos

Novos modelos na TRI

I. Introducao

1. Motivacao e Historia

Teoria dos Tracos Latentes em Psicometria.

Teoria Classica × Teoria Moderna dos Testes .

Centrar a analise nos itens e nao no escore do teste.

Possibilidade de comparar resultados de diferentes testes ediferentes populacoes.

Frederic Lord (1952, 1953 e 1968). Artigos na Psychometrika,Educational and Psychological Measurement e livro comNovick .

Georg Rasch (1952-53, 1960 e 1961) - Analise de dados noInstituto Militar da Dinamarca e artigos.

Marcia D’Elia Branco - mbranco@ime.usp.br - Modelagem e Inferencia Bayesiana em Dados da Resposta ao Item

I. IntroducaoII. Modelos estatısticos.

Inferencia em modelos TRIExemplos

Novos modelos na TRI

2. Caracterısticas dos Dados.

Instrumento de avaliacao (Teste) composto de I Itens.

Uma amostra de N indivıduos (sujeitos) responde ao Teste.

Os dados formam uma matrix N × I cujas componentes Yji

podem ser dicotomicas (zeros e uns) ou politomica(1, 2, 3, . . . , k).

Objetivo: modelar as probabilidades de acertos aos itens comofuncao de quantidades (parametros) associadas aos itens equantidades (parametros ou variaveis latentes) associadas aosindivıduos.

Interesses: (1) avaliar o instrumento de medicao (Teste) e (2)avaliar as habilidades dos indivıduos.

Marcia D’Elia Branco - mbranco@ime.usp.br - Modelagem e Inferencia Bayesiana em Dados da Resposta ao Item

I. IntroducaoII. Modelos estatısticos.

Inferencia em modelos TRIExemplos

Novos modelos na TRI

3. Aplicacoes.

Avaliacoes Educacionais no Brasil (INEP): SAEB, ENEM,ENADE, Prova Brasil.

Avaliacoes Educacionais Internacional: Pisa.

4. Recursos Computacionais

BILOG-MG e MULTILOG - http://www.ssicentral.com/irt

Pacote no R: EstatR.exe -http://www.inf.ufsc.br/dandrade/AvaliacaoEducacional

Pacote no R - ltm - Latent Trait Models

BUGS (Win ou Open) -http://www.mrc-bsu.cam.ac.uk/bugs/winbugs

Marcia D’Elia Branco - mbranco@ime.usp.br - Modelagem e Inferencia Bayesiana em Dados da Resposta ao Item

I. IntroducaoII. Modelos estatısticos.

Inferencia em modelos TRIExemplos

Novos modelos na TRI

Modelos para dados dicotomicos.

1. Modelo de Rasch (1PL)Yji | θj ∼ Bernoulli(pji) com

pji =1

1 + e−(θj−βi)

−4 −2 0 2 4

0.0

0.2

0.4

0.6

0.8

1.0

theta

p0

b=0b=1b=2

Marcia D’Elia Branco - mbranco@ime.usp.br - Modelagem e Inferencia Bayesiana em Dados da Resposta ao Item

I. IntroducaoII. Modelos estatısticos.

Inferencia em modelos TRIExemplos

Novos modelos na TRI

Modelos para dados dicotomicos.

2. Modelo logıstico de tres parametros (3PL).

P (Yji = 1) = ci + (1 − ci)1

1 + e−αi(θj−βi)

α1, . . . , αI sao os parametros de discriminacao dos itens.

β1, . . . , βI sao os parametros de dificuldade dos itens.

θ1, . . . , θN sao os parametros de habilidades ou proficiencia.

c1, . . . , cI sao os parametros de acerto ao acaso dositens(entre zero e um).

βi representa a habilidade necessaria para uma probabilidadede acerto ao i-esimo item igual a (1 + c)/2.

O parametro α e a derivada da tangente da curva no ponto deinflexao.

Marcia D’Elia Branco - mbranco@ime.usp.br - Modelagem e Inferencia Bayesiana em Dados da Resposta ao Item

I. IntroducaoII. Modelos estatısticos.

Inferencia em modelos TRIExemplos

Novos modelos na TRI

Curva Caracterıstica do Item - CCI -

−4 −2 0 2 4

0.2

0.4

0.6

0.8

CCI 3PL com b=1, a=1 e c= 0.2

habilidades

prob

. ace

rto

Marcia D’Elia Branco - mbranco@ime.usp.br - Modelagem e Inferencia Bayesiana em Dados da Resposta ao Item

I. IntroducaoII. Modelos estatısticos.

Inferencia em modelos TRIExemplos

Novos modelos na TRI

CCI

−4 −2 0 2 4

0.0

0.2

0.4

0.6

0.8

1.0

CCI 2PL com b=0 (a=0.5, 1 e 2)

habilidades

prob

. ace

rto

Marcia D’Elia Branco - mbranco@ime.usp.br - Modelagem e Inferencia Bayesiana em Dados da Resposta ao Item

I. IntroducaoII. Modelos estatısticos.

Inferencia em modelos TRIExemplos

Novos modelos na TRI

CCI

−4 −2 0 2 4

0.2

0.4

0.6

0.8

1.0

CCI 3PL com b=0 e a=1 (c=0.1, 0.2 e 0.3)

habilidades

prob

. ace

rto

Marcia D’Elia Branco - mbranco@ime.usp.br - Modelagem e Inferencia Bayesiana em Dados da Resposta ao Item

I. IntroducaoII. Modelos estatısticos.

Inferencia em modelos TRIExemplos

Novos modelos na TRI

Modelos para dados dicotomicos.

3. Modelo probito (ogiva normal) de tres parametros (3PN)

P (Yji = 1) = ci + (1 − ci)Φ(αi(θj − βi))

Esse modelo pode ser muito bem aproximado pelo 3PL comod = 1.7

P (Yji = 1) = ci +1 − ci

1 + e−dαi(θj−βi)

Φ e a funcao de distribuicao acumulada da normal padrao.

Marcia D’Elia Branco - mbranco@ime.usp.br - Modelagem e Inferencia Bayesiana em Dados da Resposta ao Item

I. IntroducaoII. Modelos estatısticos.

Inferencia em modelos TRIExemplos

Novos modelos na TRI

Modelos para dados dicotomicos.

4. Modelo probito assimetrico (ogiva skew-normal) de tresparametros (3PSN).

P (Yji = 1) = ci + (1 − ci)ΦSN (αi(θj − βi); δi)

ΦSN e a f.d.a. da normal assimetrica padrao.

O novo conjunto de parametros δ1, . . . , δI estao associados aassimetria da CCI.

Esses quantidades estao associadas aos itens e saodenominados parametros de penalizacao.

Bazan, Branco and Bolfarine (2006). Bayesian Analysis.

Marcia D’Elia Branco - mbranco@ime.usp.br - Modelagem e Inferencia Bayesiana em Dados da Resposta ao Item

I. IntroducaoII. Modelos estatısticos.

Inferencia em modelos TRIExemplos

Novos modelos na TRI

-4 -2 0 2 4

0.0

0.2

0.4

0.6

0.8

1.0

latent variable

pro

bability

of corr

ect re

sponse

ICCs with negative asimmetry

d= -0.9

d= -0.7

d= -0.5

d=0

-4 -2 0 2 4

0.0

0.2

0.4

0.6

0.8

1.0

latent variable

pro

bability

of corr

ect re

sponse

ICCs with positive asimmetry

d= 0

d= 0.5

d= 0.7

d= 0.9

Marcia D’Elia Branco - mbranco@ime.usp.br - Modelagem e Inferencia Bayesiana em Dados da Resposta ao Item

I. IntroducaoII. Modelos estatısticos.

Inferencia em modelos TRIExemplos

Novos modelos na TRI

A distribuicao de probabilidades normal assimetrica

Funcao densidade de probabilidade

f(z) = 2φ(z)Φ(δz)

δ = λ√

1+λ∈ [−1, 1].

Entao, X = ψ + τZ ∼ SN(ψ, τ, λ).

E[Z] = δ√

2π

V [Z] = 1 − 2πδ2

δ = 0 → Z ∼ N(0, 1)

δ > 0(δ < 0) assimetria positiva (negativa)

unimodal

Marcia D’Elia Branco - mbranco@ime.usp.br - Modelagem e Inferencia Bayesiana em Dados da Resposta ao Item

I. IntroducaoII. Modelos estatısticos.

Inferencia em modelos TRIExemplos

Novos modelos na TRI

Estimacao dos Parametros: Maxima Verossimilhanca.

A funcao de verossimilhanca

p(Y |θ, η) =I

∏

i=1

J∏

j=1

[pij ]Yij [1 − pij ]

1−Yij

em que pij = f(θ, η).

Independencia entre indivıduos.

Independencia condicional entre os itens (dado θ).

η = (α, β, c) vetor de parametros associados aos itens.

Total de parametros do modelo 3I+J . Falta deidentificabilidade.

Assumindo θj ∼ N(0, 1), utiliza-se o metodo deverossimilhanca marginal.

Marcia D’Elia Branco - mbranco@ime.usp.br - Modelagem e Inferencia Bayesiana em Dados da Resposta ao Item

I. IntroducaoII. Modelos estatısticos.

Inferencia em modelos TRIExemplos

Novos modelos na TRI

Estimacao dos Parametros: Inferencia Bayesiana

Especificacao de distribuicoes a priori para η.

A suposicao θj ∼ N(0, 1) e considerada tambem umadistribuicao a priori.

Obtencao da distribuicao a posteriori para todas asquantidades desconhecidas.

Utiliza-se metodos MCMC para obter as distribuicoes aposteriori marginais aproximadas.

Um algoritmo de dados aumentados combinado comamostrador de Gibbs e considerado.

Possibilidade do uso do aplicativo bayesiano WinBUGS.

Marcia D’Elia Branco - mbranco@ime.usp.br - Modelagem e Inferencia Bayesiana em Dados da Resposta ao Item

I. IntroducaoII. Modelos estatısticos.

Inferencia em modelos TRIExemplos

Novos modelos na TRI

Exemplo 1: Fox, J-P (2010). Bayesian Item ResponseModeling. Springer.

Teste de matematica aplicado a N=200 estudantes com I=5 itens.Modelos ajustado 2PN com o uso do programa WinBUGS.

Marcia D’Elia Branco - mbranco@ime.usp.br - Modelagem e Inferencia Bayesiana em Dados da Resposta ao Item

I. IntroducaoII. Modelos estatısticos.

Inferencia em modelos TRIExemplos

Novos modelos na TRI

Exemplo 1: Estimacao dos parametros dos itens

Marcia D’Elia Branco - mbranco@ime.usp.br - Modelagem e Inferencia Bayesiana em Dados da Resposta ao Item

I. IntroducaoII. Modelos estatısticos.

Inferencia em modelos TRIExemplos

Novos modelos na TRI

Exemplo 1: Algumas distribuicoes a posteriori.

Marcia D’Elia Branco - mbranco@ime.usp.br - Modelagem e Inferencia Bayesiana em Dados da Resposta ao Item

I. IntroducaoII. Modelos estatısticos.

Inferencia em modelos TRIExemplos

Novos modelos na TRI

Exemplo 2: Teste de Matematica no Peru

Teste aplicado a 974 estudantes da quarta serie primaria de escolaspublicas da area rural no Peru. O teste contem 18 itens, cada itemcategorizado como correto(1) ou incorreto(0).

Estatısticas descritivas dos escores:Media=8.27 Mediana=8 desvio padrao=4.20assimetria=-0.075 curtose= -0.836 .

Distribuicoes a priori (modelo de 2PSN):ai ∼ N(1; 0.5)I(0; ) , bi ∼ N(0; 2) e δi ∼ U(−1,1) i = 1, . . . , 18.

θj ∼ N(0, 1) ou θj ∼ SN(0, 1, γ) j = 1, . . . , 974.

Marcia D’Elia Branco - mbranco@ime.usp.br - Modelagem e Inferencia Bayesiana em Dados da Resposta ao Item

I. IntroducaoII. Modelos estatısticos.

Inferencia em modelos TRIExemplos

Novos modelos na TRI

Exemplo 2: Medidas de comparacao de modelos.

Tabela: Comparing the PN, SPN and SPSN models using differentcriteria for Math data

Criterion PN SPN PSN SPSN

Number of parameters 1010 1028 1013 1049Deviance of the posterior means 16865 15139 16861 15168

Posterior expected deviance 16012 14096 15999 15994ρD effective number of parameters 853 1042 862 -826

DIC 17718 16181 17723 14341Expected AIC 18885 17195 18887 17266Expected BIC 26734 25184 26760 25418

SSR posterior mean 17570 12800 17550 12470

Marcia D’Elia Branco - mbranco@ime.usp.br - Modelagem e Inferencia Bayesiana em Dados da Resposta ao Item

I. IntroducaoII. Modelos estatısticos.

Inferencia em modelos TRIExemplos

Novos modelos na TRI

Aplicacao: Teste de Matematica

Conclusoes:

Utilizando diversos criterios de comparacao de modelosoptamos pelo modelo 2SPN.

A media a posteriori de δ14 foi igual a 0.324 indicandoassimetria positiva para este item.

A CCI do item 14 possui uma taxa de crescimento maior noinicio e menor no final.

O item 14 discrimina melhor os indivıduos com habilidadesbaixas, do que os indivıduos com altas habilidades. Portanto,”‘penaliza”’ indivıduos com altas habilidades.

Marcia D’Elia Branco - mbranco@ime.usp.br - Modelagem e Inferencia Bayesiana em Dados da Resposta ao Item

I. IntroducaoII. Modelos estatısticos.

Inferencia em modelos TRIExemplos

Novos modelos na TRI

Modelos que consideram a limitacao de tempo.

Goegebeur et al (2008) propoe o modelo

pij = ci + (1 − ci)G(mij), (1)

comG(mij) = F (mij)Pi(ηj , λj),

Pi(ηj , λj) = min{

1, ri(ηj , λj)}

, (2)

e

ri(ηj , λj) =[

1 −( i

k− ηj

)

]λj

. (3)

Marcia D’Elia Branco - mbranco@ime.usp.br - Modelagem e Inferencia Bayesiana em Dados da Resposta ao Item

I. IntroducaoII. Modelos estatısticos.

Inferencia em modelos TRIExemplos

Novos modelos na TRI

Modelos que consideram a limitacao de tempo.

Os dois novos parametros ηj ∈ [0, 1] e λj > 0 estaoassociados aos indivıduos.

ηj representa a tolerance towards speededness (tolerancia apressao do tempo).

λj representa a propensity to guessing under speededness.

Goegebeur, et al (2008) propoe estimar os parametros viamaxima verossimilhanca marginal

Bazan, Valdivieso e Branco (2011) propoe o uso dametodologia bayesiana.

Marcia D’Elia Branco - mbranco@ime.usp.br - Modelagem e Inferencia Bayesiana em Dados da Resposta ao Item

I. IntroducaoII. Modelos estatısticos.

Inferencia em modelos TRIExemplos

Novos modelos na TRI

Modelos multidimensionais.

Nojosa (2010) propoe uma analise bayesiana com uso dealgoritmos MCMC para estimar a dimensao do vetor dehabilidades.

E realizado um estudo de simulacao para verificar adequacaoda tecnica para recuperar os paametros do modelo.

A metodologia e aplicada a dados do ENEM, concluindo pelaunidimensionalidade da prova.

Marcia D’Elia Branco - mbranco@ime.usp.br - Modelagem e Inferencia Bayesiana em Dados da Resposta ao Item

I. IntroducaoII. Modelos estatısticos.

Inferencia em modelos TRIExemplos

Novos modelos na TRI

Referencias

Andrade, Tavares e Valle(2000). Teoria da Resposta ao Item:Conceitos e Aplicacoes. ABE.

Jorge Luiz Bazan Guzman (2005) - Tese de doutorado -IME-USP.

Bazan, Branco e Bolfarine (2010). Extensions of the skewnormal ogiva item response model. Submetido.

Bazan, Branco e Bolfarine (2006). A skew item responsemodel. Bayesian Analysis.

Goegebeur, De Boeck , Wollack e Cohen (2008). A SpeededItem Response Model with Gradual Process Change,Psychometrika.

Ronald Nojosa(2010). Inferencia bayesiana em modelosmultidimensionais de resposta ao item. Tese - IME-USP.

Marcia D’Elia Branco - mbranco@ime.usp.br - Modelagem e Inferencia Bayesiana em Dados da Resposta ao Item