métodos estatísticos em avaliação educacional (em larga...

Métodos Estatísticos em Avaliação

Educacional (em Larga Escala)

Dalton Francisco de AndradeProfessor titular aposentado – INE/UFSC

Professor voluntário – PPGEP/UFSC

Pesquisador associado – Fundação Vunesp

[email protected]

EST/UnB – Brasília, 19/03/2014

Tópicos a serem abordados

1. Introdução

2. Principais Avaliações Educacionais em Larga

Escala: SAEB, ENEM, PISA etc

3. Principais Métodos Estatísticos: Amostragem, TRI

e Modelos Hierárquicos/Multiníveis

4. Outros Métodos / Tópicos de Pesquisa

5. Capacitação

6. O Mercado de Trabalho

Introdução

- Visão geral

- Minha passagem pelo EST/UnB

Principais Avaliações Educacionais

em Larga Escala

1. SAEB

2. ENEM

3. PISA

4. Estaduais: SARESP, SAEPE, SPAECE etc

5. Municipais: Prova São Paulo …

SAEB: Sistema (Nacional) de Avaliação da

Educação Básica

INEP: www.inep.gov.br

portal.inep.gov.br/web/saeb/aneb-e-anresc

http://www.inep.gov.br/

http://portal.inep.gov.br/web/saeb/aneb-e-anresc















Educação Básica

Aneb: Avaliação Nacional da Educação Básica – amostral - 5º.

ano do EF, 9º. ano do EF e 3ª. série do EM (nos anos impares)

Anresc: Avaliação Nacional do rendimento Escolar –

“censitária” - escolas públicas de 5º. ano e 9º. ano do EF com

pelo menos 20 alunos no ano estudado. Denominada de Prova

Brasil e implementada em 2005. (nos anos impares)

ANA: Avaliação Nacional da Alfabetização – 3o. ano (annual a

partir de 2013)

Ideb: Indice de desenvolvimento da Educação Básica


Educação Básica

Universo(população) de interesse/Universo(população)

de referência

Censo Escolar: Sistema de referência

Depois de 2005(com a Prova Brasil): juntar amostra

com “censo”

Medida de desempenho/proficiência: LP e MAT

(das escolas/Sistema)

“Explicando/Entendendo” desempenho/proficiência

ENEM: Exame Nacional do Ensino Médio

Voluntário

Quatro áreas: CN, CH, LC, MT

Redação

Objetivo: proficiência do candidato

Comparabilidade dos resultados entre exames

Principais Métodos Estatísticos:

1. Amostragem

2. Teoria da Resposta ao Item – TRI

3. Modelos Hierárquicos/Multiníveis

Amostragem

Probabilística: medida do erro

Unidade Primária de Amostragem – UPA

Conglomerado: Escola/Turma

Estratos de Interesse: Região, UF, Dependência

Administrativa ….

Amostragem Complexa

Teoria da Resposta ao Item - TRI

Medir Traço Latente: proficiência, qualidade

de vida, resistência à mudança, satisfação …

Conjunto de modelos que procuram

relacionar a probabilidade de um

indivíduo/respondente apresentar uma certa

resposta a um item/questão, com sua

proficiência e características do item


Exemplo: ML3P

probabilidade de um indivíduo j, com proficiência θj ,

responder corretamente a um item i, de múltipla

escolha com somente uma alternativa correta, com

parâmetros ai , bi e ci ,.

)(1

1)1(),,,|1(

iji baiiiiijjie

cccbaXP


Exemplo: ML3P

0,0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1,0

-3 -2 -1 0 1 2 3

Pro

bab

ilid

ade

de

ace

rto

Proficiência=1,40

c=0,10

a=1,80

Curva Característica do Item (CCI) – Escala (0,1)


“Brincando com a medida da altura”: tratando altura

como traço latente

Questionário: Questionário_altura.doc

Dados: altura211.dat

Modelo: ML2P (ML3P com c=0)

Estimação dos parâmetros dos itens: calibração

Question�rio_altura.doc



altura211.dat

altura211.dat

altura211.dat

altura211.dat


“Brincando com a medida da altura”: tratando altura

como traço latente

Resultados: Altura211_UnB.xls

Escala: posicionamento dos itens

Estimação das alturas(traço latente)

Altura211_UnB.xls

Altura211_UnB.xls

Altura211_UnB.xls

Altura211_UnB.xls

Altura211_UnB.xls


Exemplo: Modelo de Resposta Gradual (Samejima):

categorias ordinais

)](exp[1

1

)](exp[1

1)|1(

)1(

siji

isji

jjis

ba

baXP

iimii

bbb ...21


Exemplo: Modelo de Resposta Gradual (Samejima):

quatro categorias ordinais

Modelo Resposta Gradual a=1,2 e b=(-2,-1,1)

0,0

0,2

0,4

0,6

0,8

1,0

1,2

-4,0 -3,0 -2,0 -1,0 0,0 1,0 2,0 3,0 4,0

Traço latente

Pro

bab

ilid

ad

e

P0 P1 P2 P3


Outros modelos Cumulativo:

Crédito Parcial: ai = a

Escala Gradual: bis = bi – ds

Multidimensional

Longitudinal

etc

Modelos Não Cumulativo:

Desdobramento (Unfolding)


Modelo de Desdobramento Graduado Generalizado

(GGUM) – Não Cumulativo

H

v

v

k

ikiji

v

k

ikiji

z

k

ikiji

z

k

ikiji

j

bvMabva

bzMabza

zZP

0 00

00

expexp

expexp

|


Modelo GGUM

12. My feelings about abortion are very mixed.

Modelo Hierárquico/Multinível

Entendendo/Explicando a variabilidade: por que

os alunos possuem proficiências diferentes?

Exemplo: 3o. EM

Prova de LP


Modelo nulo:

Regressão “usual”

Profic_LPij = β0 + εij

β0 : proficiência média global em LP

εij : erro/residuo ~ N(0,σ2)

Estimativa de β0 : 284,218(0,172)

Estimativa de σ2 : 2.092,981


Modelo nulo:

Regressão “hierárquica/multinivel”

Nível 1: aluno

Profic_LPij = β0j + rij

β0j : proficiência média da escola j em LP

rij : erro/residuo ~ N(0,τ2)


Modelo nulo:


Nível 2: escola

β0j = β00 + u0j

β00 : proficiência média global em LP

u0j : erro/residuo ~ N(0,τ00)

rij e u0j independentes


Modelo nulo: (combinado)


Profic_LPij = β00 + u0j + rij

Correlação intra-classe = τ00 / (τ00 + τ2)

Estimativas: β00 , τ00 e τ2


Modelo 1:

Nível 1: aluno

Profic_LPij = β0j + β1j Defasij + rij

Defasij = 0(sem defasagem de idade), 1, 2 ..

β0j : proficiência média dos alunos sem defasagem de

idade da escola j

β1j : efeito da defasagem de idade na escola j

rij : erro/residuo ~ N(0,τ2)=


Modelo 1:

Nível 2: escola

β0j = β00 + u0j

β1j = β10 + u1j

β00 : proficiência média dos alunos sem defasagem

β10 : efeito médio da defasagem de idade



rij , u0j e u1j independentes


Modelo 2:

Nível 1: aluno

Profic_LPij = β0j + β1j Defasij + rij

Defasij = 0(sem defasagem de idade), 1, 2 ..

β0j : proficiência média dos alunos sem defasagem de

idade da escola j

β1j : efeito da defasagem de idade na escola j

rij : erro/residuo ~ N(0,τ2)=


Modelo 2:

Nível 2: escola

β0j = β00 + β01DepAdmj + u0j

β1j = β10 + β11DepAdmj + u1j

DepAdmj : 0 (Pública) e 1(Privada)

β00 : proficiência média dos alunos da escola pública

sem defasagem

β10 : efeito médio da defasagem de idade na escola

pública

Definir β01 e β11 !!!!!

Outros Métodos /

Tópicos de Pesquisa

Funcionamento Diferenciado do Item – DIF

Estimação com “Itens dependentes”

Teste Adaptativo Informatizado (CAT)

Outros Métodos /

Tópicos de Pesquisa

Tratamento para dados incompletos(Missing Data)

Na resposta ao teste (tese da Vera Filgueira)

Na resposta ao questionário de fatores associados

Métodos para Detecção de Fraude

Exemplo do Ceará no Enem 2012

2nd Annual Conference on Statistical Detection of

Potencial Test Fraud

Sessão Temática no 21 SINAPE (Natal, 20 – 25 Julho)

Capacitação

1. Mestrado Profissional em Métodos e Gestão em

Avaliação – MGA: Capes/Inep – UFSC

(www.mga.ufsc.br)

2. PPGEP/UFSC: www.ppgep.ufsc.br

Linha de pesquisa: Teoria da Resposta ao Item

aplicada às organizações

Laboratório: www.custosemedidas.ufsc.br

3. UFPA, Unicamp, UFRJ, UFJF

http://www.custosemedidas.ufsc.br/



O Mercado de Trabalho

1. Secretarias de Educação

2. Orgãos de pesquisa: Inep ....

3. Empresas/Fundações/Institutos: Cespe, CAED,

Vunesp, FCC, Cesgranrio, Avalia, Bradesco,

Ayrton Senna, Roberto Marinho, IQE ...

4. Startups:

Geekie (www.geekie.com.br)

Meritt (meritt.com.br)

MSTech (www.mstech.com.br)

métodos estatísticos em avaliação educacional (em larga...

Documents