conbrepro2013 - proposta de ferramenta para uso abrangente de testes adaptativos computadorizados na...

PROPOSTA DE FERRAMENTA PARA USO

ABRANGENTE DE TESTES ADAPTATIVOS

COMPUTADORIZADOS NA EDUCAÇÃO A

DISTÂNCIA

Paulo Rogério Pires Manseira (UNISOCIESC) [email protected]

Mehran Misaghi (UNISOCIESC) [email protected]

Introdução

Instituições de Ensino

Busca e exploração de

dados

Perfilamento, retenção e qualidade

Complexidade maior em EaD

Personalização do ensinoPostura ativa, ritmo de

aprendizagem e ênfase na formação

Testes diagnósticos e análise de proficiência

Maior esforço na elaboração, análise e

feedback

Computer-BasedTesting

Uso de TI em avaliação para classificação, seleção e aferição

ComputerizedAdaptive Testing

JOHNSON et al., 2013; ALVES et al., 2011; SCHEUERMANN; BJORNSSON, 2009; MOREIRA JUNIOR, 2011.

Objetivos

Propor uma ferramenta de software que torne abrangente

o uso do TAC em cursos de EaD

– desde a execução de avaliações formais em sala de aula até a

realização de exercícios em ambientes virtuais de aprendizagem,

– permitindo dessa maneira a personalização do processo de ensino-

aprendizagem com avaliações formativas e feedbacks constantes

– enquanto diminui o esforço e tempo necessários à execução do

conjunto de atividades ligadas ao processo avaliativo realizado por

professores e tutores

Pesquisa bibliográfica

• TAC

• TRI

• Modelos de uso

Estudo de caso

• Escolha do modelo

• Implementação do módulo

• Projeto piloto

Avaliação dos resultados

• Análise quantitativa

• Análise qualitativa

Metodologia

Trabalho em andamento

O TAC é um

– teste computadorizado flexível e adaptável

– ao indivíduo que está sendo examinado,

– em tempo real,

– e que gera dados estatísticos tanto do indivíduo quanto do

grupo a que o indivíduo pertence,

– em função do nível de proficiência inferido a partir das questões

apresentadas

– que seguem certa metodologia psicométrica em sua formulação

Revisão Bibliográfica

PINTON-GONÇALVES, 2012.

Testes Adaptativos Computadorizados

Unidimensional

Multidimensional


• Existência de uma relação entre habilidade (traço latente) e

probabilidade de resposta correta

• Estimadores de proficiência obtidos através de inferência estatística

RECKASE, 2009; DEMARS, 2010; MOREIRA JUNIOR, 2011; PINTON-GONÇALVES, 2013.

Início

Fim

Seleção e apresentação de um

item

Avaliação da resposta

Estimação da(s) habilidade(s)

Critério de parada foi atingido?

sim

não


Adaptado de FETZER et al., 2011.

Algoritmo básico de um TAC

Exemplo de um TAC


MOREIRA JUNIOR, 2011.

TAC

Banco de itens

Critério de início

Algoritmo para seleção

de itens

Algoritmo para

estimação de habilidade

Critério de término


Arquitetura de um TAC

THOMPSON; WEISS, 2011.

Vantagens

• A correção automática.

• Controle do tempo de exposição.

• A personalização do teste.

• Diminuição do tempo necessário.

• Diminuição do número de questões.

• Possibilidade de aplicação na EaD.

• Testes em dias, horários e locais

diferentes.

• Permite comparação entre indivíduos.

• Feedback instantâneo.

• Não necessita impressão.

• Questões com uso de multimídia.

• Acompanhamento evolutivo dos

indivíduos.


Desvantagens

• Banco de itens

– Elaboração de questões com

qualidade psicométrica.

– Metodologia de calibração inicial.

– Potencial aumento de custos

(profissionais de estatística).

– Sistema computacional rápido e

seguro.

– Necessita de procedimentos

criteriosos na inclusão/exclusão de

itens.

MOREIRA JUNIOR, 2011; PITON-GONÇALVES, 2012.

Resultados e Discussão

Abordagem Foco Quant TrabalhosImplementação Ferramenta 3 Monografias: Dalpiaz (2007); Fernandes (2009); Carvalho e Coelho (2011)

2 Artigos: Ferreira et al. (2011); Abreu e Silva (2012)3 Dissertações: Santos (2003); Piton-Gonçalves (2004); Abreu (2012)

Banco de itens 2 Artigos: Oliveira, Aluísio e Piton-Gonçalves (2004); Karino, Costa e Laros (2009)

2 Dissertações: Oliveira (2002); Monzón (2008)Arquitetura 2 Artigos: Pimentel e Omar (2007); Cura Junior et al. (2007)

Diagnóstico Modelos 3 Artigos: Aluísio et al. (2003); Pimentel e Omar (2006); Piton-Gonçalves, Monzón e Aluísio(2009)

Ferramenta 1 Relatórios técnicos: Piton-Gonçalves e Aluísio (2004)6 Artigos: Piton-Gonçalves et al. (2004); Santos et al. (2004a); Santos et al. (2004b); Santos

e Guedes (2004); Santos e Guedes (2005); Andrade e Justino (2007)4 Dissertações: Descovi (2008); Becher (2009); Murlick (2009); Dallemole (2010)

InteligênciaComputacional

Seleção de item 2 Artigos: Sassi e Curi (2010); Galvão, Neto e Borges (2012)

Algoritmo 1 Artigos: Moreira Junior et al. (2013)Modelos TRI 1 Relatórios técnicos: Oliveira e Aluísio (2002)

1 Artigos: Labarrére, Da-Silva e Costa (2011)Banco de itens 2 Dissertações: Costa (2009); Ricarte (2013)TACMultidimensional

1 Artigos: Piton-Gonçalves e Aluísio (2012a)1 Teses: Piton-Gonçalves (2012)

Seleção de item 1 Artigos: Costa et al. (2009)1 Dissertações: Sassi (2012)

Implementação 1 Teses: Moreira Junior (2011)Banco de itens Taxonomia 1 Artigos: Piton-Gonçalves e Aluísio (2012b)

Resumo das pesquisas acadêmicas brasileiras sobre TAC

Este é um trabalho em andamento e em estágio inicial

Resultados e DiscussãoR

esu

ltad

os

esp

erad

os

Uso de TAC de forma simples em diferentes momentos de estudo.

A propiciação de avaliações formativas e feedbacks constantes.

O diagnóstico e a personalização do processo de ensino-aprendizagem.

A diminuição do esforço e tempo necessários.

Percebe-se a partir da literatura brasileira analisada

Considerações Finais

Não apresenta (ou apresenta pouco)

• Aplicações abrangentes.

• Aplicações em EaD.

Com foco

• na melhora qualitativa do processo de ensino-aprendizagem.

• no favorecimento de uma experiência personalizada de aprendizagem.

Pesquisa bibliográfica

• Levantar técnicas para criação do banco de itens

Estudo de caso

• Mapear o processo

• Identificar o tipo de TAC ideal

• Implementar módulo de software

Avaliação dos resultados

• Análise quantitativa

• Análise qualitativa

• Apresentação dos resultados

Considerações Finais

Próximas etapas

ALVES, Danilo T. et al. Análise de metodologia baseada no sistema de ensino individualizado de Keller aplicada em um curso

introdutório de eletromagnetismo. Revista Brasileira de Ensino de Física, São Paulo, v. 33, n. 1, Mar. 2011. Disponível em

<http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1806-11172011000100014& lng=en&nrm=iso>. Acesso em 07 jul. 2013.

DEMARS, C. Item response theory. Oxford: Oxford University Press, 2010.

FETZER, M. et al. Computer Adaptive Testing (CAT) in an Employment Context. White paper. Roswell, USA: PreVisor, 2011.

JOHNSON, L. et al. NMC Horizon Report: 2013 Higher Education Edition. Austin, Texas: The New Media Consortium, 2013.

MOREIRA JUNIOR, F. J. Sistemática para a implantação de Testes Adaptativos Informatizados baseados na Teoria da Resposta

ao Item. 2011, 334 f. Tese (Doutorado) – Centro Tecnológico, UFSC, Florianópolis.

OLIVEIRA, L. H. M. Testes Adaptativos Sensíveis ao Conteúdo do Banco de Itens: uma Aplicação em Exames de Proficiência

em Inglês para Programas de Pós-Graduação. 2002, 200 f. Dissertação (Mestrado) – ICMC-USP, Instituto de Ciências

Matemáticas e de Computação, ICMC/USP, São Carlos.

PITON-GONÇALVES, J. Desafios e perspectivas da implementação computacional de Testes Adaptativos Multidimensionais

para avaliações educacionais. 2012, 153 f. Tese (Doutorado) – Instituto de Ciências Matemáticas e de Computação, ICMC/USP,

São Carlos.

RECKASE, M. D. Multidimensional Item Response Theory. New York: Springer, 2009.

SCHEUERMANN, F,; BJÖRNSSON, J. (Eds.). The Transition to Computer-Based Assessment: New Approaches to Skills

Assessment and Implications for Large-scale Testing. Luxemburgo: European Communities, 2009.

THOMPSON, N. A.; WEISS, D. J. A Framework for the Development of Computerized Adaptive Tests. Practical Assessment,

Research & Evaluation, 16(1), 2011. Disponível em: <http://pareonline.net/getvn.asp? v=16&n=1>. Acesso em 10 jul. 2013.

Referências

Obrigado!

Paulo Rogério Pires Manseira

[email protected]