MEDIDAS EDUCACIONAISMEDIDAS EDUCACIONAISANÁLISES ESTATÍSTICAS

TRI

CME – COORDENAÇÃO DE MEDIDAS EDUCACIONAISC COO Ç O S UC C O SCAEd/UFJF (32)4009‐2071Wellington@caed.ufjf.br

Fundamentos da TRI• O que são itens?

– São os elementos que compõem os testes ou

ti á iquestionários

• O que é proficiência?• O que é proficiência?

– É a medida que representa um determinado traço

latente (aptidão)latente (aptidão)

• Teoria da Resposta ao Item (TRI)p ( )

– Grupo de modelos matemáticos e estatísticos que

descrevem a associação entre a aptidão de um indivíduo

e a probabilidade de uma resposta a um item

PRINCIPAIS PRODUTOS DA TRIPRINCIPAIS PRODUTOS DA TRI

‐ Interpretação pedagógica da escala

‐ Comparabilidade de resultados:

‐ Entre diferentes avaliações em um mesmoperíodo de tempo

‐ Entre diferentes avaliações em diferentesperíodos de tempop p

C l l fi iê i d l ?Como se calcula a proficiência de um aluno?

Õ I ‐ AVALIAÇÃO EM LARGA ESCALA

II TEORIA DA RESPOSTA AO ITEM TRI• II – TEORIA DA RESPOSTA AO ITEM ‐ TRI

• III INDICADORES DE DESEMPENHO• III – INDICADORES DE DESEMPENHO

AVALIAÇÃO EM LARGA ESCALAAVALIAÇÃO EM LARGA ESCALA

Como construir uma escalaComo construir uma escala

Escala: altura de uma pessoap• Item 1

Você consegue guardar as malas no bagageiro

interno de um ônibus?

• Item 2

Você consegue subir ou descer dois degraus de cada

vez em uma escada?

• Item 3

Para conversar com as pessoas você precisa olhar paraPara conversar com as pessoas, você precisa olhar para

baixo?

R t d Q ti á iRespostas do Questionário

Nome Item 1 Item 2 Item 3Carolina Sim Não NãoPriscila Sim Sim Não

Leonardo Sim Sim Sim

Escala: item x medida

Nome Item 1 Item 2 Item 3Carolina Sim Não NãoPriscila Sim Sim Não

Leonardo Sim Sim Sim

Carolina Priscila Leonardo

1,5 1,6 1,7 1,8 1,9

Item 1 Item 2 Item 3Item 1 Item 2 Item 3

Utilização do Bilog‐MGç g1 ‐ Construção da base de dadosSEQ GRUPO FORMA P1 P2 P3 P4 P5 P6 P7 P8 P9 P10 P11 P12 P13 P14 P15 P16

1 1 1 A B B C C C A A D D A A B B C C1 1 1 A B B C C C A A D D A A B B C C2 1 1 A B A C C B B A D D B A C B C C. . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . .

5001 1 2 A B B B C B A A D C A B B A B D5002 1 2 B B A C C B A A B A A C B A D D

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .10001 2 3 B B C A A D A B D C A C D A D D10002 2 3 B B A A B D A C A C A C A B B C

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .15001 2 4 B B C A A C A B A A C C C D D A15002 2 4 B B A A C C A D A A B B C D D B

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

2 – Cálculo das alturas dos respondentes

3 – estimação dos parâmetros dos itens

Posição dos itens na escalaPosição dos itens na escala

17169 4 15 7 20 18 11 14 5 13 6 3 2 19 8

1,5 1,6 1,7 1,8 1,9

12 10 1

Guardar a bagagemPés fora da cama

Atrás na fila

Posição dos itens e pessoas na escalaPosição dos itens e pessoas na escala43,6%

32%

14,6%9,8%

1 5 1 6 1 7 1 8 1 917169 4 15 7 20 18

12

11

10

14 5 13 6 3 2 19 8

1

1,5 1,6 1,7 1,8 1,9

INTERPRETAÇÃO DA ESCALAÇ

II TEORIA DA RESPOSTA AO ITEM TRIII – TEORIA DA RESPOSTA AO ITEM ‐ TRI

• HISTÓRICO TRI

• FUNDAMENTOS – TRI

MEDIDAS E ESCALAS• MEDIDAS E ESCALAS

Avaliações em larga escala com a TRIç g• Análise segundo a TRI – Lord (1952)

– Probabilidade de acerto ao item em função daç

habilidade

– Posicionamento dos itens em função da dificuldade

na mesma escala da proficiência

• Década de 1970

– Desenvolvimento de testes adaptativos

• Década de 1980

– Desenvolvimento de softwares específicos para TRI

• Década de 1990

D l i d i f i d (CBT’ )– Desenvolvimento de testes informatizados (CBT’s)

e testes adaptativos informatizados (CAT’s)

Características das avaliações em larga escala no Brasil• Até 1993: TCT

• A partir de 1995: TRI

• INEP

1995 1997 1999 2001 2003 2005 2007 2009

SAEB

li õ d i i i i

1995       1997       1999       2001      2003      2005      2007       2009

SAEB e Prova Brasil

• Avaliações estaduais e municipais

MG (2000), CE (1992), RS, RJ, PE, SP, ES, BA.

Características das avaliações em larga escala no Brasil

1° Momento

2° Momento

3° Momento

BIB ‐ SAEB ATÉ 2005

CADERNO BLOCOS CADERNO BLOCOSPOS1 POS2 POS3 POS1 POS2 POS3

1 1 2 5 14 1 3 82 2 3 6 15 2 4 93 3 4 7 16 3 5 10

CADERNO CADERNO

4 4 5 8 17 4 6 115 5 6 9 18 5 7 126 6 7 10 19 6 8 137 7 8 11 20 7 9 17 7 8 11 20 7 9 18 8 9 12 21 8 10 29 9 10 13 22 9 11 310 10 11 1 23 10 12 411 11 12 2 24 11 13 511 11 12 2 24 11 13 512 12 13 3 25 12 1 613 13 1 4 26 13 2 7

BIB‐ A PARTIR DE  2005

FUNDAMENTOS DA TRI

MÉTODOS DE ESTIMAÇÃO

MÉTODOS DE LINKAGENS

PARÂMETROS DE ITENS

MMLMODELO LOGÍSTICO

LINEARES

REGRESSÃO LINEAR

MÉDIA/SIGMAMML

MMAP1LP

2LP

1LP

2LP

MÉDIA/SIGMA

MÉDIA/MÉDIA

CURVA CARACTERÍSTICA

SCORES

ML

3LP3LP

NÃO LINEARESMAP

EAP

NÃO LINEARES

CALIBRAÇÃO SIMULTÂNEA

PRÉ‐FIXAÇÃO DE PARÂMETROS ‐ FPIPÇ

Testes Unidimensionais compostos por itensdicotômicos

1 PL

Dicotômico 2 PL

3 PLUIRT

Politômico

3 PL

Modelo de crédito parcial 

Modelo de crédito parcial generalizadoModelo

o tô co

Modelo de resposta ponderada

Modelo de resposta nominal

Modelo de crédito parcial generalizado

MIRT

Dicotômico

Politômico

MODELOS MATEMÁTICOS

MODELOS MATEMÁTICOS DA TRI

R l ã b bilid d d i• Relação entre a probabilidade de acerto ao item e a 

habilidade do respondente

Relação não linear Relação não‐linear

Relação não‐linear

1)1()/1( iiiibiXiP )(1)1(),,,/1( biaiDe

ciciciaibiXiP

MODELOS DA TRIMODELOS DA TRI

MODELOS DA TRI – 3PLITEM PARÂMETROS

1certo

ITEM PARÂMETROSA B C

1 0,010 250 0,301

bilid

ade

de A

cP

roba

b

0,5

0,30,3

Proficiência250

MODELOS DA TRI – 3PLITEM PARÂMETROS

1certo

ITEM PARÂMETROSA B C

1 0,010 250 0,301

bilid

ade

de A

cP

roba

b

0,65

0,5

0,30,3

Proficiência250

MODELOS DA TRI – 3PLITEM PARÂMETROS

1certo

ITEM PARÂMETROSA B C

1 0,010 250 0,301

bilid

ade

de A

cP

roba

b

0,65

0,5

0,30,3

Proficiência250

MODELOS DA TRI – 3PLITEM PARÂMETROSITEM PARÂMETROS

A B C1 0,010 250 0,30

1certo

1

bilid

ade

de A

c

1

Pro

bab

0,65

1

0,5

0,30,3

Proficiência250

MODELOS DA TRI – 3PLITEM PARÂMETROSITEM PARÂMETROS

A B C1 0,010 250 0,302 0 020 250 0 301ce

rto

2 0,020 250 0,301

bilid

ade

de A

c

1

2

Pro

bab

0,65

1

0,5

0,30,3

Proficiência250

MODELOS DA TRI – 3PLITEM PARÂMETROSITEM PARÂMETROS

A B C1 0,010 250 0,302 0 020 250 0 301ce

rto

2 0,020 250 0,303 0,020 350 0,30

1

bilid

ade

de A

c

1

2

Pro

bab

0,65

1

0,5

0,3

3

0,3

Proficiência250 350

MODELOS DA TRI – 3PLITEM PARÂMETROSITEM PARÂMETROS

A B C1 0,010 250 0,302 0 020 250 0 301ce

rto

2 0,020 250 0,303 0,020 350 0,304 0,020 350 0,20

1

bilid

ade

de A

c

1

2

Pro

bab

0,65

1

0,5

0,3 4

3

0,3 4

Proficiência250 350

EXEMPLOS DE ITENS – discriminação boa

EXEMPLOS DE ITENS – discriminação ruim

LINKAGEMLINKAGEM

• Cultura de uma escala única nacional – SAEB

• Características da avaliação em larga escala de 1995Características da avaliação em larga escala de 1995  

a 2007

Equalização Vertical

• Avaliações do SAEB• Avaliações do SAEB

• Testes com conteúdos diferentes

• Testes com descritores diferentes• Testes com descritores diferentes

• Populações não equivalentes

Designs ou Delineamentos para coleta de dados 

Design para grupos não equivalentes através de itens comuns

Forma X Forma Y

Itens comunscomum

Itens comunscomum

Grupo 1 Grupo 2

omum omum

LINKAGEM• Processo para colocar diferentes testes em uma mesma 

escala (equalização vertical)

DESIGN TESTE SAEPE 2008 LÍNGUA PORTUGUESA 4ª SÉRIE EF 8ª SÉRIE EF 3º ANO EM

ITENS COMUNS ENTRE GRUPOS

• Método adotado: Vertical equating

TRI padrão SAEBMÉTODOS DE LINKAGENS

MÉTODOS DE ESTIMAÇÃO

PARÂMETROS DE ITENS

LINEARES

MML

MMAP

MODELO LOGÍSTICO

1LP1LP

REGRESSÃO LINEAR

MÉDIA/SIGMA

MÉDIA/MÉDIA

SCORES

2LP

3LP

2LP

3LP

CURVA CARACTERÍSTICA

ML

MAP

EAP

NÃO LINEARES

CALIBRAÇÃO SIMULTÂNEAEAP CALIBRAÇÃO SIMULTÂNEA

PRÉ‐FIXAÇÃO DE PARÂMETROS ‐ FPIP

T U idi i i iTestes Unidimensionais compostos por itensdicotômicos

MEDIDAS E ESCALASMEDIDAS E ESCALAS

• COMO MEDIR A HABILIDADE DOS ALUNOS

• A ESCALA SAEB• A ESCALA SAEB

• CONTRUÇÃO DE TESTESÇ

COMO MEDIR A HABILIDADE DOS ALUNOSCOMO MEDIR A HABILIDADE DOS ALUNOS  • Matriz de referência

D i d t t• Design do teste

ESCALAS DE PROFICIÊNCIACurva normal

ESCALA SAEB

9° ano EF9 ano EF

250

ESCALA SAEBESCALA SAEB

3° ano EM5° ano EF 3 ano EM5 ano EF

250 270

ESCALA SAEBESCALA SAEB

3° ano EMF9° ano EF5° ano EF 3 ano EMF9 ano EF5 ano EF

250 270190

ESCALA SAEBESCALA SAEB

ESCALAESCALA

CONTRUÇÃO DE TESTESCONTRUÇÃO DE TESTES

AJUSTE DA POPULAÇÃO AO TESTEAJUSTE DA POPULAÇÃO AO TESTE

TESTE TESTE COM DISTRIBUIÇÃO DE DIFICULDADE COMPATÍVEL COM COM DISTRIBUIÇÃO DE DIFICULDADE COMPATÍVEL COM POPULAÇÃO AVALIADAPOPULAÇÃO AVALIADA

2011 2011 –– 33°° ANO ANO –– LÍNGUA PORTUGUESALÍNGUA PORTUGUESA

TESTE TESTE COM DISTRIBUIÇÃO DE DIFICULDADE NÃO COMPATÍVEL COM COM DISTRIBUIÇÃO DE DIFICULDADE NÃO COMPATÍVEL COM POPULAÇÃO AVALIADAPOPULAÇÃO AVALIADAÇÇ

SPAECE 2011 SPAECE 2011 –– 33°° ANO ANO –– MATEMÁTICAMATEMÁTICA

III – INDICADORES DE DESEMPENHOIII IN ICA OR S S MP NHO

• BOLETIM DE RESULTADOS CAEd• BOLETIM DE RESULTADOS CAEd

• SÉRIE HISTÓRICA SAEB

• IDEBIDEB

PRINCIPAIS PRODUTOS DA TRIPRINCIPAIS PRODUTOS DA TRI

‐ Interpretação pedagógica da escalaInterpretação pedagógica da escala

‐ Comparabilidade de resultados:

‐ Entre diferentes avaliações em um mesmoperíodo de tempop p

‐ Entre diferentes avaliações em diferentesperíodos de tempoperíodos de tempo

RESULTADOSRESULTADOSRESULTADOSRESULTADOS

Participação

Medidas de DesempenhoMedidas de Desempenho

Proficiência Média

Percentual de alunos por Padrões de Desempenho

Desvio PadrãoDesvio Padrão

Interpretação de medidas de desempenho educacional

III – INDICADORES DE DESEMPENHOSé i hi tó i SAEB R d úbli LÍNGUA PORTUGUESA• Série histórica SAEB – Rede pública LÍNGUA PORTUGUESA

270.0

290.0

310.0

210 0

230.0

250.0 5ºEF9ºEF3ºEM

170.0

190.0

210.0 3 EM

150.01995 1997 1999 2001 2003 2005 2007 2009

Série histórica SAEB – Rede pública MATEMÁTICA

290

250

270

290

210

230 5ºEF9ºEF3ºEM

150

170

190

1501995 1997 1999 2001 2003 2005 2007 2009

IDEB

F l d Id b IDEB N PForma geral do Ideb: IDEB = N . P

• N = média da proficiência em Língua Portuguesa e 

Matemática padronizada para um indicador entreMatemática, padronizada para um indicador entre 

0 e 10, no exame realizado ao final da etapa de ensino

• P = indicador de rendimento baseado na taxa deP   indicador de rendimento baseado na taxa de 

aprovação da etapa de ensino

Evolução do Ideb ‐ Brasilç• Rede Pública – Anos Iniciais Ens. Fundamental

Evolução do Ideb ‐ Brasil• Rede Pública – Anos Finais Ens. Fundamental

Evolução do Ideb ‐ Brasilç• Rede Pública – Ensino Médio

Evolução do Ideb ‐ Estadosç• Rede Pública – Anos Iniciais Ens. Fundamental