simare 2014 formação continuada aprofundamento tri simare 2014

SIMARE 2014

Formação Continuada

Aprofundamento TRI

SIMARE 2014

SIMARE 2014

MÓDULO 1Estatística Aplicada à Teoria de Resposta ao Item (TRI)

COORDENAÇÃO DE MEDIDAS EDUCACIONAIS 32 4009 2071 | [email protected] 2

SIMARE 2014SIMARE 2014

• Ferramentas de qualidade de Deming e Juran• Normas de Qualidade ISO 9000• Qualidade nas escolas

3

Qualidade na educação


Interpretação por item pela TCT• Realizada de forma intuitiva• Cálculo do percentual de alunos que acertam cada

item do teste• Quanto maior a nota maior a chance de acertar os

itens mais difíceis

4


Interpretação por item pela TCT• Realizada por meio de modelagem matemática• Cálculo de parâmetros de itens• CCI

5

SIMARE 2014

ESTATÍSTICA DESCRITIVA

6


Estatística Descritiva• É composta por ferramentas que permitem

organizar e resumir um conjunto de dados auxiliando a descrição dos atributos de um grupo ou de uma população;

• As ferramentas da estatística descritiva podem ser utilizadas na análise e interpretação de dados de diversas áreas.

7


Estatística Descritiva• 1ª Etapa: organizar e resumir os dados com o

objetivo de conhecê-los, detectar informações importantes e valores atípicos.

• FERRAMENTAS: Tabelas, gráficos e medidas.• Dados brutos: são apresentados em tabelas,

através de variáveis. Não obtemos muita informação por meio deles. Normalmente não são apresentados nas publicações.

8


Estatística descritiva: Gráficos• Gráfico de barras: adotado para representações de

dados qualitativos.

9


Estatística descritiva: Gráficos• Histograma: barras justapostas

• Serve para a visualização da forma da distribuição da variável estudada;

• Dispersão; • Assimetria; • Curtose.

10


Estatística descritiva: Medidas• Medidas de Tendência Central

• Notas de prova de 45 alunos de uma turma.

• Primeiro, ordenamos os dados.

11


Estatística descritiva: Medidas• Medidas de Tendência Central

• Moda: Temos cinco modas 4,1;4,3;4,6;5,2 e 5,9.►• Média: 228,2/45=5,1• Mediana: Número ímpar de observações

• (45+1)/2=23• A mediana é a observação da 23ª posição.• Mediana = 5

• Com essas medidas e o histograma, visto anteriormente, percebemos que os dados têm uma pequena assimetria à direita.

12


Tipos de variáveis em Base de Dados• Nominal• Ordinal• Intervalar • De razão

13


Tipos de variáveis• Exemplo no SPSS

14


Construção de gráficos• EQUAÇÃO DA RETA Y = aX + b a =1 e b=2 Y = X + 2

15


Construção de gráficos

16


Curva Característica do Item (CCI)

17

)(11)1(),,,/1( biaiDe

ciciciaibiXiP


TCT x TRI

18


Itens de um Teste

19


Interpretação de medidas de desempenho educacional• Posição: média• Variação: percentuais por Padrão de Desempenho

20

ESCOLA MÉDIA

A 50

B 50

C 50



21

ESCOLA MÉDIANOTA DO ALUNO

1 2 3 4

A 50 100 100 0 0

B 50 50 50 50 50

C 50 80 80 20 20



22

ESCOLA MÉDIANOTA DO ALUNO

DESVIO PADRÃO1 2 3 4

A 50 100 100 0 0 57,7

B 50 50 50 50 50 0,0

C 50 80 80 20 20 34,6

SIMARE 2014

Módulo 2Conceitos Básicos Utilizados na TRI



• O que são itens?• São os elementos que compõem os testes ou questionários

• O que é proficiência?• É a medida que representa um determinado traço latente (aptidão)

• Teoria da Resposta ao Item (TRI)• Grupo de modelos matemáticos e estatísticos que descrevem a associação entre a aptidão de um indivíduo e a probabilidade de uma resposta a um item

24

Fundamentos da TRI


Principais produtos da TRI- Interpretação pedagógica da escala

- Comparabilidade de resultados:

- Entre diferentes avaliações em um mesmo período de tempo

- Entre diferentes avaliações em diferentes períodos de tempo

25


Qualidade na educação

26

• Ferramentas de qualidade de Deming e Juran

• Normas de Qualidade ISSO 9000

• Qualidade nas escolas

SIMARE 2014

• Realizada de forma intuitiva

• Cálculo do percentual de alunos que acertam cada item do teste

• Quanto maior a nota maior a chance de acertar os itens mais difíceis

27

Interpretação por item pela TCT


• Realizada por meio de modelagem matemática• Cálculo de parâmetros de itens• CCI

28

Interpretação por item pela TCT


Estatística Descritiva• 1ª Etapa: organizar e resumir os dados com o

objetivo de conhecê-los, detectar informações importantes e valores atípicos.

• FERRAMENTAS: Tabelas, gráficos e medidas.• Dados brutos: são apresentados em tabelas,

através de variáveis. Não obtemos muita informação por meio deles. Normalmente não são apresentados nas publicações.

29


Como se calcula a proficiência de um aluno?

30

I - AVALIAÇÃO EM LARGA ESCALA

II – TEORIA DA RESPOSTA AO ITEM - TRI

III – INDICADORES DE DESEMPENHO


Avaliação em larga escala

31


Como construir uma escala

32


Escala: altura de uma pessoa

33

• Item 1Você consegue guardar as malas no bagageiro interno de um ônibus?

• Item 2 Você consegue subir ou descer dois degraus de cada vez em uma escada?

• Item 3Para conversar com as pessoas, você precisa olhar para baixo?


Respostas do questionário

34

Nome Item 1 Item 2 Item 3

Carolina Sim Não Não

Priscila Sim Sim Não

Leonardo Sim Sim Sim


Escala: altura de uma pessoa

35

Nome Item 1 Item 2 Item 3

Carolina Sim Não Não

Priscila Sim Sim Não

Leonardo Sim Sim Sim

1,5 1,6 1,7 1,8 1,9

Item 1 Item 2 Item 3

Carolina Priscila Leonardo


Questionário de altura

36


3 – estimação dos parâmetros dos itens

37


Posição dos itens na escala

38

Guardar a bagagemPés fora da cama

Atrás na fila

17169 4 15 7 20 18

12

11

10

14 5 13 6 3 2 19 8

1


Posição dos itens e pessoas na escala

39

17169 4 15 7 20 18

12

11

10

14 5 13 6 3 2 19 8

1

1,5 1,6 1,7 1,8 1,9


40

II – Teoria da Resposta ao Item (TRI)

• HISTÓRICO TRI

• FUNDAMENTOS – TRI

• MEDIDAS E ESCALAS


Avaliações em larga escala com a TRI

41

• Análise segundo a TRI – Lord (1952) • Probabilidade de acerto ao item em função da habilidade• Posicionamento dos itens em função da dificuldade na mesma escala da proficiência• Década de 1970• Desenvolvimento de testes adaptativos• Década de 1980• Desenvolvimento de softwares específicos para TRI• Década de 1990• Desenvolvimento de testes informatizados (CBT’s) e testes adaptativos informatizados (CAT’s)


Características das avaliações em larga escala no Brasil

42

• Até 1993: TCT• A partir de 1995: TRI• INEP

• Avaliações estaduais e municipais MG (2000), CE (1992), RS, RJ, PE, SP, ES, BA.

1995 1997 1999 2001 2003 2005 2007 2009

SAEB

SAEB e Prova Brasil


Características das avaliações em larga escala no Brasil

43

SIMARE 2014

BIB- SAEB ATÉ 2005


POS1 POS2 POS3 POS1 POS2 POS31 1 2 5 14 1 3 82 2 3 6 15 2 4 93 3 4 7 16 3 5 104 4 5 8 17 4 6 115 5 6 9 18 5 7 126 6 7 10 19 6 8 137 7 8 11 20 7 9 18 8 9 12 21 8 10 29 9 10 13 22 9 11 310 10 11 1 23 10 12 411 11 12 2 24 11 13 512 12 13 3 25 12 1 613 13 1 4 26 13 2 7

CADERNOBLOCOS

CADERNOBLOCOS


45

BIB- A PARTIR DE 2005


Principais produtos da TRI• Interpretação pedagógica da escala• Comparabilidade de resultados:

• Entre diferentes avaliações em um mesmo período de tempo

• Entre diferentes avaliações em diferentes períodos de tempo

46


Medidas e Escalas

47

• A ESCALA SAEB

• CONTRUÇÃO DE TESTES


48

• Matriz de referência• Design do teste

ESCALA SAEB


49

ESCALAS DE PROFICIÊNCIACurva normal


Escala: altura de uma pessoa• Item 1

• Você consegue guardar as malas no bagageiro interno de um ônibus?

• Item 2 • Você consegue subir ou descer dois degraus de cada vez

em uma escada?

• Item 3• Para conversar com as pessoas, você precisa olhar para

baixo?

50


51

ESCALA SAEB


ESCALA SAEB


53

ESCALA SAEB

250 270190


Transformação de Escala

54

K = C + 273

C / 5 = (F - 32) / 9


55

Transformação de Escala

ESCALA SAEB (250,50)

ESCALA X (0,1)

FATOR DE TRANSFORMAÇÃO


Construção de testes

56

PRECISÃO DO TESTEAJUSTE DA POPULAÇÃO AO TESTE


Precisão do teste

57


58

AJUSTE DO TESTE COM A POPULAÇÃOAJUSTE DO TESTE COM A POPULAÇÃOTESTE BEM AJUSTADOTESTE BEM AJUSTADO


59

AJUSTE DO TESTE COM A POPULAÇÃOAJUSTE DO TESTE COM A POPULAÇÃOTESTE DESAJUSTADOTESTE DESAJUSTADO


INTERPRETAÇÃO DA ESCALA

60


61

Ancoragem dos itens na escala• Estatística: PONTO DE ANCORAGEM DO ITEM: Proficiência que corresponde a uma probabilidade

de acerto de 65%

• Especialistas pedagógicos: Alocação dos itens na escala por descritor e ponto de

ancoragem


62

III – INDICADORES DE DESEMPENHO• BOLETIM DE RESULTADOS CAEd• SÉRIE HISTÓRICA SAEB• IDEB


63

Interpretação de medidas de desempenho educacional


64

III – INDICADORES DE DESEMPENHO• Série histórica SAEB – Rede pública LÍNGUA PORTUGUESA

150.0

170.0

190.0

210.0

230.0

250.0

270.0

290.0

310.0

1995 1997 1999 2001 2003 2005 2007 2009

5ºEF

9ºEF

3ºEM


IDEB• Forma geral do Ideb: IDEB = N . P

• N = média da proficiência em Língua Portuguesa e Matemática, padronizada para um indicador entre 0 e 10, no exame realizado ao final da etapa de ensino• P = indicador de rendimento baseado na taxa de aprovação da etapa de ensino

65


66


Evolução do Ideb - Brasil

67

• Rede Pública – Anos Iniciais Ens. Fundamental



68

• Rede Pública – Anos Finais Ens. Fundamental

SIMARE 2014

69



Evolução do Ideb - Estados• Rede Pública – Anos Iniciais Ens. Fundamental

SIMARE 2014

Módulo 3MODELOS MATEMÁTICOS DA TRI



72

UIRT

MIRT

Dicotômico

Politômico

1 PL

2 PL

3 PL

Dicotômico

Politômico

Modelo de crédito parcial

Modelo de resposta ponderada

Modelo de resposta nominal

MODELOS MATEMÁTICOS

Modelo de crédito parcial generalizado


Fundamentos da TRI

73

MÉTODOS DE ESTIMAÇÃO

PARÂMETROS DE ITENS

MML

MMAP

SCORES

ML

MAP

EAP

MODELO LOGÍSTICO

1LP

2LP

3LP

1LP

2LP

3LP

MÉTODOS DE LINKAGENS

LINEARES

REGRESSÃO LINEAR

MÉDIA/SIGMA

MÉDIA/MÉDIA

CURVA CARACTERÍSTICA

NÃO LINEARES

CALIBRAÇÃO SIMULTÂNEA

PRÉ-FIXAÇÃO DE PARÂMETROS - FPIP

Testes Unidimensionais compostos por itensdicotômicos


Relação não-linear

74

)(11)1(),,,/1( biaiDe

ciciciaibiXiP

SIMARE 2014

75


76

MODELOS DA TRI – 3PL

0,5

1

Proficiência

0,3

250

ITEM PARÂMETROSA B C

1 0,010 250 0,30

0,65Prob

abili

dade

de

Acer

to


77

Proficiência


1 0,010 250 0,302 0,020 250 0,30

0,5

1

Prob

abili

dade

de

Acer

to

0,3

250

0,65

1

2



78


Proficiência


1 0,010 250 0,302 0,020 250 0,303 0,020 350 0,30

0,5

1

Prob

abili

dade

de

Acer

to

0,3

250

0,65

1

2

3

350


79


0,5

1

Prob

abili

dade

de

Acer

to

0,3

250

0,65

1

2

4

3

350Proficiência


1 0,010 250 0,302 0,020 250 0,303 0,020 350 0,304 0,020 350 0,20


80

ITENS DE UM TESTE


81

EXEMPLOS DE ITENS – discriminação boa


82

FUNDAMENTOS DA TRIMÉTODOS DE ESTIMAÇÃO


MML

MMAP

SCORES

ML

MAP

EAP

MODELO LOGÍSTICO

1LP

2LP

3LP

1LP

2LP

3LP


LINEARES

REGRESSÃO LINEAR

MÉDIA/SIGMA

MÉDIA/MÉDIA


NÃO LINEARES





83

Métodos de Estimação

11 2

1

( , ,..., | ) ( ) ( )si si

nu u

s s ns i s i si

L u u u P Q

)(11)1()( bisaiDe

cicisPi

)(11)1()1()( bisaiDe

cicisQi

• Verossimilhança


84

Métodos de Estimação• Máxima Verossimilhança - ML

1

( 1| ) log ( ) (1 ) log ( )n

is is isi

LogL u u Pi u Qi

Métodos interativos

• Máxima Verossimilhança Marginal – MML

• Máxima Verossimilhança Conjunta


85

Métodos de Estimação• Métodos Bayesianos

Distribuição à posteriori

Função de verossimilhança Prioris x

- Distribuições utilizadas nas prioris População: normal Parâmetros dos itens

o a – log-normalo b – normalo c – beta

• Máxima Distribuição Marginal à Posteriori – MMAP

• Máxima à Posteriori – MAP

• Esperado à Posteriori - EAP


Fundamentos da TRI

86



MML

MMAP

SCORES

ML

MAP

EAP

MODELO LOGÍSTICO

1LP

2LP

3LP

1LP

2LP

3LP


LINEARES

REGRESSÃO LINEAR

MÉDIA/SIGMA

MÉDIA/MÉDIA


NÃO LINEARES


PRÉ-FIXAÇÃO DE PARÂMETROS -

FPIPTestes Unidimensionais compostos por itensdicotômicos


87

MÉTODOS DE LINKAGEM

• Cultura de uma escala única nacional – SAEB

• Características da avaliação em larga escala de 1995 a 2007


Equalização Vertical

88

• Avaliações do SAEB• Testes com conteúdos diferentes• Testes com descritores diferentes• Populações não equivalentes


Designs ou Delineamentos para coleta de dados

89

Design para grupos não equivalentes através de itens comuns

Forma X

Grupo 1 Grupo 2

Itens comunscomum

Forma Y

Itens comunscomum


Linkagem

90

• Processo para colocar diferentes testes em uma mesma escala (equalização vertical)

• Método adotado: Vertical equating

DESIGN TESTE SAEPE 2008 LÍNGUA PORTUGUESA 4ª SÉRIE EF 8ª SÉRIE EF 3º ANO EM

ITENS COMUNS ENTRE GRUPOS


TRI padrão SAEB

91



MML

MMAP

SCORES

ML

MAP

EAP

MODELO LOGÍSTICO

1LP

2LP

3LP

1LP

2LP

3LP


LINEARES

REGRESSÃO LINEAR

MÉDIA/SIGMA

MÉDIA/MÉDIA


NÃO LINEARES





Introdução ao Bilogmg

92

• Método de equalização• Sintaxe• Arquivo dat• Fase 1• Fase 2• Fase 3• Arquivo de parâmetros• Arquivo de proficiências


Fase 1: Medidas Clássicas• Análise dos Itens

• Percentual de acerto• Correlação bisserial

• Comportamento do item em relação ao teste• Melhores respondentes devem acertar

93


Fase 1: Medidas Clássicas

94

• Medidas Produzidas• Número de pontos no teste• Percentual de acertos no teste


Fase 1: Medidas Clássicas

• Ponto de Controle 1• Bisseriais podem indicar problemas• Verificação de gabaritos (CIA)• Problemas na ordem dos itens *

95

simare 2014 formação continuada aprofundamento tri simare 2014

Documents