simare 2014 formação continuada aprofundamento tri simare 2014

SIMARE 2014

Formação Continuada

Aprofundamento TRI

SIMARE 2014

MÓDULO 1Estatística Aplicada à Teoria de Resposta ao Item (TRI)

COORDENAÇÃO DE MEDIDAS EDUCACIONAIS 32 4009 2071 | wellington@caed.ufjf.br 2

SIMARE 2014SIMARE 2014

• Ferramentas de qualidade de Deming e Juran• Normas de Qualidade ISO 9000• Qualidade nas escolas

Qualidade na educação

Interpretação por item pela TCT• Realizada de forma intuitiva• Cálculo do percentual de alunos que acertam cada

item do teste• Quanto maior a nota maior a chance de acertar os

itens mais difíceis

Interpretação por item pela TCT• Realizada por meio de modelagem matemática• Cálculo de parâmetros de itens• CCI

SIMARE 2014

ESTATÍSTICA DESCRITIVA

Estatística Descritiva• É composta por ferramentas que permitem

organizar e resumir um conjunto de dados auxiliando a descrição dos atributos de um grupo ou de uma população;

• As ferramentas da estatística descritiva podem ser utilizadas na análise e interpretação de dados de diversas áreas.

Estatística Descritiva• 1ª Etapa: organizar e resumir os dados com o

objetivo de conhecê-los, detectar informações importantes e valores atípicos.

• FERRAMENTAS: Tabelas, gráficos e medidas.• Dados brutos: são apresentados em tabelas,

através de variáveis. Não obtemos muita informação por meio deles. Normalmente não são apresentados nas publicações.

Estatística descritiva: Gráficos• Gráfico de barras: adotado para representações de

dados qualitativos.

Estatística descritiva: Gráficos• Histograma: barras justapostas

• Serve para a visualização da forma da distribuição da variável estudada;

• Dispersão; • Assimetria; • Curtose.

Estatística descritiva: Medidas• Medidas de Tendência Central

• Notas de prova de 45 alunos de uma turma.

• Primeiro, ordenamos os dados.

Estatística descritiva: Medidas• Medidas de Tendência Central

• Moda: Temos cinco modas 4,1;4,3;4,6;5,2 e 5,9.►• Média: 228,2/45=5,1• Mediana: Número ímpar de observações

• (45+1)/2=23• A mediana é a observação da 23ª posição.• Mediana = 5

• Com essas medidas e o histograma, visto anteriormente, percebemos que os dados têm uma pequena assimetria à direita.

Tipos de variáveis em Base de Dados• Nominal• Ordinal• Intervalar • De razão

Tipos de variáveis• Exemplo no SPSS

Construção de gráficos• EQUAÇÃO DA RETA Y = aX + b a =1 e b=2 Y = X + 2

Construção de gráficos

Curva Característica do Item (CCI)

)(11)1(),,,/1( biaiDe

ciciciaibiXiP

TCT x TRI

Itens de um Teste

Interpretação de medidas de desempenho educacional• Posição: média• Variação: percentuais por Padrão de Desempenho

ESCOLA MÉDIA

ESCOLA MÉDIANOTA DO ALUNO

1 2 3 4

A 50 100 100 0 0

B 50 50 50 50 50

C 50 80 80 20 20

ESCOLA MÉDIANOTA DO ALUNO

DESVIO PADRÃO1 2 3 4

A 50 100 100 0 0 57,7

B 50 50 50 50 50 0,0

C 50 80 80 20 20 34,6

SIMARE 2014

Módulo 2Conceitos Básicos Utilizados na TRI

• O que são itens?• São os elementos que compõem os testes ou questionários

• O que é proficiência?• É a medida que representa um determinado traço latente (aptidão)

• Teoria da Resposta ao Item (TRI)• Grupo de modelos matemáticos e estatísticos que descrevem a associação entre a aptidão de um indivíduo e a probabilidade de uma resposta a um item

Fundamentos da TRI

Principais produtos da TRI- Interpretação pedagógica da escala

- Comparabilidade de resultados:

- Entre diferentes avaliações em um mesmo período de tempo

- Entre diferentes avaliações em diferentes períodos de tempo

Qualidade na educação

• Ferramentas de qualidade de Deming e Juran

• Normas de Qualidade ISSO 9000

• Qualidade nas escolas

SIMARE 2014

• Realizada de forma intuitiva

• Cálculo do percentual de alunos que acertam cada item do teste

• Quanto maior a nota maior a chance de acertar os itens mais difíceis

Interpretação por item pela TCT

• Realizada por meio de modelagem matemática• Cálculo de parâmetros de itens• CCI

Interpretação por item pela TCT

Estatística Descritiva• 1ª Etapa: organizar e resumir os dados com o

objetivo de conhecê-los, detectar informações importantes e valores atípicos.

• FERRAMENTAS: Tabelas, gráficos e medidas.• Dados brutos: são apresentados em tabelas,

através de variáveis. Não obtemos muita informação por meio deles. Normalmente não são apresentados nas publicações.

Como se calcula a proficiência de um aluno?

I - AVALIAÇÃO EM LARGA ESCALA

II – TEORIA DA RESPOSTA AO ITEM - TRI

III – INDICADORES DE DESEMPENHO

Avaliação em larga escala

Como construir uma escala

Escala: altura de uma pessoa

• Item 1Você consegue guardar as malas no bagageiro interno de um ônibus?

• Item 2 Você consegue subir ou descer dois degraus de cada vez em uma escada?

• Item 3Para conversar com as pessoas, você precisa olhar para baixo?

Respostas do questionário

Nome Item 1 Item 2 Item 3

Carolina Sim Não Não

Priscila Sim Sim Não

Leonardo Sim Sim Sim

Escala: altura de uma pessoa

Nome Item 1 Item 2 Item 3

Carolina Sim Não Não

Priscila Sim Sim Não

Leonardo Sim Sim Sim

1,5 1,6 1,7 1,8 1,9

Item 1 Item 2 Item 3

Carolina Priscila Leonardo

Questionário de altura

3 – estimação dos parâmetros dos itens

Posição dos itens na escala

Guardar a bagagemPés fora da cama

Atrás na fila

17169 4 15 7 20 18

14 5 13 6 3 2 19 8

Posição dos itens e pessoas na escala

17169 4 15 7 20 18

14 5 13 6 3 2 19 8

1,5 1,6 1,7 1,8 1,9

II – Teoria da Resposta ao Item (TRI)

• HISTÓRICO TRI

• FUNDAMENTOS – TRI

• MEDIDAS E ESCALAS

Avaliações em larga escala com a TRI

• Análise segundo a TRI – Lord (1952) • Probabilidade de acerto ao item em função da habilidade• Posicionamento dos itens em função da dificuldade na mesma escala da proficiência• Década de 1970• Desenvolvimento de testes adaptativos• Década de 1980• Desenvolvimento de softwares específicos para TRI• Década de 1990• Desenvolvimento de testes informatizados (CBT’s) e testes adaptativos informatizados (CAT’s)

Características das avaliações em larga escala no Brasil

• Até 1993: TCT• A partir de 1995: TRI• INEP

• Avaliações estaduais e municipais MG (2000), CE (1992), RS, RJ, PE, SP, ES, BA.

1995 1997 1999 2001 2003 2005 2007 2009

SAEB e Prova Brasil

Características das avaliações em larga escala no Brasil

SIMARE 2014

BIB- SAEB ATÉ 2005

POS1 POS2 POS3 POS1 POS2 POS31 1 2 5 14 1 3 82 2 3 6 15 2 4 93 3 4 7 16 3 5 104 4 5 8 17 4 6 115 5 6 9 18 5 7 126 6 7 10 19 6 8 137 7 8 11 20 7 9 18 8 9 12 21 8 10 29 9 10 13 22 9 11 310 10 11 1 23 10 12 411 11 12 2 24 11 13 512 12 13 3 25 12 1 613 13 1 4 26 13 2 7

CADERNOBLOCOS

BIB- A PARTIR DE 2005

Principais produtos da TRI• Interpretação pedagógica da escala• Comparabilidade de resultados:

• Entre diferentes avaliações em um mesmo período de tempo

• Entre diferentes avaliações em diferentes períodos de tempo

Medidas e Escalas

• A ESCALA SAEB

• CONTRUÇÃO DE TESTES

• Matriz de referência• Design do teste

ESCALA SAEB

ESCALAS DE PROFICIÊNCIACurva normal

Escala: altura de uma pessoa• Item 1

• Você consegue guardar as malas no bagageiro interno de um ônibus?

• Item 2 • Você consegue subir ou descer dois degraus de cada vez

em uma escada?

• Item 3• Para conversar com as pessoas, você precisa olhar para

baixo?

ESCALA SAEB

250 270190

Transformação de Escala

K = C + 273

C / 5 = (F - 32) / 9

Transformação de Escala

ESCALA SAEB (250,50)

ESCALA X (0,1)

FATOR DE TRANSFORMAÇÃO

Construção de testes

PRECISÃO DO TESTEAJUSTE DA POPULAÇÃO AO TESTE

Precisão do teste

AJUSTE DO TESTE COM A POPULAÇÃOAJUSTE DO TESTE COM A POPULAÇÃOTESTE BEM AJUSTADOTESTE BEM AJUSTADO

AJUSTE DO TESTE COM A POPULAÇÃOAJUSTE DO TESTE COM A POPULAÇÃOTESTE DESAJUSTADOTESTE DESAJUSTADO

INTERPRETAÇÃO DA ESCALA

Ancoragem dos itens na escala• Estatística: PONTO DE ANCORAGEM DO ITEM: Proficiência que corresponde a uma probabilidade

de acerto de 65%

• Especialistas pedagógicos: Alocação dos itens na escala por descritor e ponto de

ancoragem

III – INDICADORES DE DESEMPENHO• BOLETIM DE RESULTADOS CAEd• SÉRIE HISTÓRICA SAEB• IDEB

Interpretação de medidas de desempenho educacional

III – INDICADORES DE DESEMPENHO• Série histórica SAEB – Rede pública LÍNGUA PORTUGUESA

1995 1997 1999 2001 2003 2005 2007 2009

IDEB• Forma geral do Ideb: IDEB = N . P

• N = média da proficiência em Língua Portuguesa e Matemática, padronizada para um indicador entre 0 e 10, no exame realizado ao final da etapa de ensino• P = indicador de rendimento baseado na taxa de aprovação da etapa de ensino

Evolução do Ideb - Brasil

• Rede Pública – Anos Iniciais Ens. Fundamental

• Rede Pública – Anos Finais Ens. Fundamental

SIMARE 2014

Evolução do Ideb - Estados• Rede Pública – Anos Iniciais Ens. Fundamental

SIMARE 2014

Módulo 3MODELOS MATEMÁTICOS DA TRI

Dicotômico

Politômico

Dicotômico

Politômico

Modelo de crédito parcial

Modelo de resposta ponderada

Modelo de resposta nominal

MODELOS MATEMÁTICOS

Modelo de crédito parcial generalizado

Fundamentos da TRI

MÉTODOS DE ESTIMAÇÃO

PARÂMETROS DE ITENS

SCORES

MODELO LOGÍSTICO

MÉTODOS DE LINKAGENS

LINEARES

REGRESSÃO LINEAR

MÉDIA/SIGMA

MÉDIA/MÉDIA

CURVA CARACTERÍSTICA

NÃO LINEARES

CALIBRAÇÃO SIMULTÂNEA

PRÉ-FIXAÇÃO DE PARÂMETROS - FPIP

Testes Unidimensionais compostos por itensdicotômicos

Relação não-linear

)(11)1(),,,/1( biaiDe

ciciciaibiXiP

SIMARE 2014

MODELOS DA TRI – 3PL

Proficiência

ITEM PARÂMETROSA B C

1 0,010 250 0,30

0,65Prob

Proficiência

1 0,010 250 0,302 0,020 250 0,30

Proficiência

1 0,010 250 0,302 0,020 250 0,303 0,020 350 0,30

350Proficiência

1 0,010 250 0,302 0,020 250 0,303 0,020 350 0,304 0,020 350 0,20

ITENS DE UM TESTE

EXEMPLOS DE ITENS – discriminação boa

FUNDAMENTOS DA TRIMÉTODOS DE ESTIMAÇÃO

SCORES

MODELO LOGÍSTICO

LINEARES

REGRESSÃO LINEAR

MÉDIA/SIGMA

MÉDIA/MÉDIA

NÃO LINEARES

Métodos de Estimação

( , ,..., | ) ( ) ( )si si

s s ns i s i si

L u u u P Q

)(11)1()( bisaiDe

cicisPi

)(11)1()1()( bisaiDe

cicisQi

• Verossimilhança

Métodos de Estimação• Máxima Verossimilhança - ML

( 1| ) log ( ) (1 ) log ( )n

is is isi

LogL u u Pi u Qi

Métodos interativos

• Máxima Verossimilhança Marginal – MML

• Máxima Verossimilhança Conjunta

Métodos de Estimação• Métodos Bayesianos

Distribuição à posteriori

Função de verossimilhança Prioris x

- Distribuições utilizadas nas prioris População: normal Parâmetros dos itens

o a – log-normalo b – normalo c – beta

• Máxima Distribuição Marginal à Posteriori – MMAP

• Máxima à Posteriori – MAP

• Esperado à Posteriori - EAP

Fundamentos da TRI

SCORES

MODELO LOGÍSTICO

LINEARES

REGRESSÃO LINEAR

MÉDIA/SIGMA

MÉDIA/MÉDIA

NÃO LINEARES

PRÉ-FIXAÇÃO DE PARÂMETROS -

FPIPTestes Unidimensionais compostos por itensdicotômicos

MÉTODOS DE LINKAGEM

• Cultura de uma escala única nacional – SAEB

• Características da avaliação em larga escala de 1995 a 2007

Equalização Vertical

• Avaliações do SAEB• Testes com conteúdos diferentes• Testes com descritores diferentes• Populações não equivalentes

Designs ou Delineamentos para coleta de dados

Design para grupos não equivalentes através de itens comuns

Forma X

Grupo 1 Grupo 2

Itens comunscomum

Forma Y

Itens comunscomum

Linkagem

• Processo para colocar diferentes testes em uma mesma escala (equalização vertical)

• Método adotado: Vertical equating

DESIGN TESTE SAEPE 2008 LÍNGUA PORTUGUESA 4ª SÉRIE EF 8ª SÉRIE EF 3º ANO EM

ITENS COMUNS ENTRE GRUPOS

TRI padrão SAEB

SCORES

MODELO LOGÍSTICO

LINEARES

REGRESSÃO LINEAR

MÉDIA/SIGMA

MÉDIA/MÉDIA

NÃO LINEARES

Introdução ao Bilogmg

• Método de equalização• Sintaxe• Arquivo dat• Fase 1• Fase 2• Fase 3• Arquivo de parâmetros• Arquivo de proficiências

Fase 1: Medidas Clássicas• Análise dos Itens

• Percentual de acerto• Correlação bisserial

• Comportamento do item em relação ao teste• Melhores respondentes devem acertar

Fase 1: Medidas Clássicas

• Medidas Produzidas• Número de pontos no teste• Percentual de acertos no teste

Fase 1: Medidas Clássicas

• Ponto de Controle 1• Bisseriais podem indicar problemas• Verificação de gabaritos (CIA)• Problemas na ordem dos itens *

simare 2014 formação continuada aprofundamento tri simare 2014

Documents

simare 2014 1 3º momento resultados. simare 2014 2 como os...

oficina de apropriação de resultados simare 2014 geografia

o aprofundamento da integração europeia

educação trabalho e afetividade - aprofundamento idj 2013

3 ano_logica para aprofundamento3 ano logica para...

oficina de apropriaÇÃo dos resultados das avaliaÇÕes...

reino vegetal aprofundamento

aprofundamento em enzimas

simare 2014 rp cn 4ef - simare.caedufjf.net · 4º ano do...

simare 2014 rp ge 8ef...constitui em um recorte do...

simare 2014 rg rm · 2015. 5. 7. · o trabalho e para a...

simare 2014 rp ge 4ef - simare.caedufjf.net · então, por...

a internacionalizaÇÃo do capitalismo brasileiro:...

caderno ii - edislei - aprofundamento

ampliação e aprofundamento no currículo cultural da

#pulafogueira: aprofundamento do modelo news diamond na...

aprofundamento 2016zoologia - anglo guarulhos - curso pré...

modelo quântico - aprofundamento mÁximo 2012

simare 2014 rp cn 8ef · ano tem alguma questão igual ao...

aprofundamento -...