Download - Conepro Sul 2014 - Arquitetura para um Sistema de Gestão de Testes Adaptativos Computadorizados
Arquitetura para um Sistema de Gestão de Testes Adaptativos Computadorizados
Paulo Rogério Pires Manseira (UNISOCIESC) [email protected] Misaghi (UNISOCIESC) [email protected]
Introdução
Instituições de Ensino
Busca e exploração de dados
Personalização do ensino
Postura ativa, ritmo de
aprendizagem e ênfase na formação
Computer-Based Testing
Uso de TI em avaliação para classificação, seleção e aferição
JOHNSON et al., 2013; ALVES et al., 2011; SCHEUERMANN; BJORNSSON, 2009; MOREIRA JUNIOR, 2011.
Objetivo
Propor uma arquitetura para a construção de um sistema de gestão de testes adaptativos computadorizados,
que possa ser utilizado em diferentes momentos de um curso da modalidade EaD
Pesquisa bibliográfica
• TAC• TRI• Modelos de
uso• Algoritmos
Estudo de caso
• Escolha do modelo
• Modelagem e implementação do sistema
• Projeto piloto
Metodologia
Trabalho em andamento
O TAC é um – teste computadorizado flexível e adaptável – ao indivíduo que está sendo examinado, – em tempo real,– e que gera dados estatísticos tanto do indivíduo quanto do
grupo a que o indivíduo pertence, – em função do nível de proficiência inferido a partir das questões
apresentadas – que seguem certa metodologia psicométrica em sua formulação
Revisão Bibliográfica
PINTON-GONÇALVES, 2012.
Testes Adaptativos Computadorizados
Unidimensional
Multidimensional
Revisão Bibliográfica
• Existência de uma relação entre habilidade (traço latente) e probabilidade de resposta correta
• Estimadores de proficiência obtidos através de inferência estatística
RECKASE, 2009; DEMARS, 2010; MOREIRA JUNIOR, 2011; PINTON-GONÇALVES, 2013.
Início
Fim
Seleção e apresentação de um
item
Avaliação da resposta
Estimação da(s) habilidade(s)
Critério de parada foi atingido?
sim
não
Revisão Bibliográfica
Adaptado de FETZER et al., 2011.
Algoritmo básico de um TAC
Exemplo de um TAC
Revisão Bibliográfica
MOREIRA JUNIOR, 2011.
TAC
Revisão Bibliográfica
Arquitetura de um TAC
THOMPSON; WEISS, 2011.
Vantagens
• A correção automática.• Controle do tempo de exposição.• A personalização do teste.• Diminuição do tempo necessário.• Diminuição do número de questões.• Possibilidade de aplicação na EaD.• Testes em dias, horários e locais
diferentes.• Permite comparação entre indivíduos.• Feedback instantâneo.• Não necessita impressão.• Questões com uso de multimídia.• Acompanhamento evolutivo dos
indivíduos.
Revisão Bibliográfica
Desvantagens
• Banco de itens– Elaboração de questões com
qualidade psicométrica.– Metodologia de calibração inicial.– Potencial aumento de custos
(profissionais de estatística).– Sistema computacional rápido e
seguro.– Necessita de procedimentos
criteriosos na inclusão/exclusão de itens.
MOREIRA JUNIOR, 2011; PITON-GONÇALVES, 2012.
Resultados e Discussão
Servidor LMS
Servidor ERP
AlunoServidor TAC
Professor
AdministradorAuto-teste
LMS
Avaliação
Administração
Gestão do TAC
Diagrama Conceitual
Resultados e Discussão
Aluno
WebservicesTAC
Gestão
Administração
Diagrama de Componentes
Resultados e DiscussãoDiagrama de Casos de Uso do Módulo Aluno
Aluno
Módulo Aluno
Visualizarfeedback
Realizaravaliação
Realizarauto-teste
Escolherassunto
<<in
clud
e>>
<<extend>>
<<extend>>
Resultados e Discussão
<<actor>>
LMS
Módulo Webservices
Visualizarfeedback
Realizaravaliação
Realizarexercício
Informarassunto
<<extend>>
<<extend>>
Diagrama de Casos de Uso do Módulo Webservices
Resultados e Discussão
Módulo Gestão
Prepararavaliações
Manterassuntos
Manterquestões
<<include>> Manteralternativas
Visualizarresultados
Professor
Diagrama de Casos de Uso do Módulo Gestão
Resultados e Discussão
Módulo Administração
Manterdisciplinas
Manter alunos
Manter turmas
Importar ERP
Manterprofessores
Administrador<<extend>>
<<actor>>
TAC
Validar aluno
Diagrama de Casos de Uso do Módulo Administração
Res
ulta
dos
e D
iscu
ssão
Módulo TAC
Informarresposta
Obter questão
<<extend>>
<<actor>>
Webservices /Aluno
Iniciar seção
<<extend>>
Escolher teste
Encerrar seção<<extend>>
<<include>>
Estimarhabilidade
Registrar uso<<include>>
<<include>>
Verificarcritério de
parada
<<include>>
<<actor>>
Gestão
Obterresultados
Calibrarquestões
Diagrama de Casos de Uso do Módulo TAC
Resultados e DiscussãoProtótipo de Projeto Gráfico
Este é um trabalho em andamento e em estágio inicial
Resultados e Discussão
Resultados esperados
Uso de TAC de forma simples em diferentes momentos de estudo.
A propiciação de avaliações formativas e feedbacks constantes.
Oferecer indicativos de lacunas no aprendizado de alunos.
O diagnóstico e a personalização do processo de ensino-aprendizagem.
Estudo de caso
• Modelar detalhes técnicos
• Escolher algoritmos da TRI
• Implementar sistema
Estudo de caso
• Realizar teste piloto
Considerações Finais
Próximas etapas
ABREU, R. C. P.; SILVA, P. N. DIA - Ferramenta de teste adaptativo informatizado. Edu.Tec Revista Científica Digital da Faetec, Rio de Janeiro, ano 4, v. 1, n. 1, Fev. 2012. Disponível em <http://www.faetec.rj.gov.br/desup/index.php/1013-5-edicao-ano-iv-vol-01-n-01 >. Acesso em 01 jul. 2013.
ALVES, D. T. et al. Análise de metodologia baseada no sistema de ensino individualizado de Keller aplicada em um curso introdutório de eletromagnetismo. Revista Brasileira de Ensino de Física, São Paulo, v. 33, n. 1, Mar. 2011. Disponível em <http://repositorio.ufpa.br/jspui/handle/2011/3231>. Acesso em 07 jul. 2013.
BIRDSALL, M. Implementing Computer Adaptive Testing to Improve Achievement Opportunities. [S.l.]: Office of Qualifications and Examinations Regulation, 2011.
CARVALHO, R. M.; COELHO, E. G. Sistema de Testagem Adaptativa Computadorizada (CAT) da Universidade de Brasília com Pré-Testagem Automatizada. 2011, 121 f. Monografia (Licenciatura em Computação) Departamento de Ciência da Computação, Instituto de Ciências Exatas, Universidade de Brasília, Brasília.
CURA JUNIOR, C. et al. Uma Ferramenta Adaptativa de Avaliação da Aprendizagem Baseada no Perfil Cognitivo e Metacognitivo do Estudante. Revista de Informática Aplicada, São Caetano do Sul, v. 3, n. 2, p. 41-48, 2007.
DALPIAZ, M. G. G. SIA on-line: Sistema Integrado de Avaliação On-line baseado em Testes Adaptativos Informatizados (TAIs). 2007, 75 f. Monografia (Tecnólogo em Análise e Desenvolvimento de Sistemas). Faculdade de Tecnologia SENAC/RS, Porto Alegre.
DEMARS, C. Item response theory. Oxford: Oxford University Press, 2010.
FERNANDES, P. G. M. Sistema Computadorizado de Avaliação Adaptativa em Larga Escala (SCAALE). 2009, 152 f. Monografia (Ciência da Computação). Departamento de Ciência da Computação, Instituto de Ciências Exatas, Universidade de Brasília, Brasília.
FETZER, M. et al. Computer Adaptive Testing (CAT) in an Employment Context. White paper. Roswell, USA: PreVisor, 2011.
HUANG, Y.-.; LIN, Y.-.; CHENG, S.-C. An adaptive testing system for supporting versatile educational assessment. Computers & Education, v. 52, p. 53-67, 2009.
JOHNSON, L. et al. NMC Horizon Report: 2013 Higher Education Edition. Austin, Texas: The New Media Consortium, 2013.
JUSTINO, G; ANDRADE, D. F. Software para avaliação de aprendizagem utilizando a teoria da resposta ao item. In: WORKSHOP SOBRE INFORMÁTICA NA ESCOLA, 13. 2007, Rio de Janeiro. Anais... Rio de Janeiro: SBC, 2007.
LILLEY, M.; BARKER, T.; BRITTON, C. The development and evaluation of a software prototype for computer-adaptive testing. Computers & Education, v. 43(1), p. 109-123, 2004.
Referências
LUECHT, R. M.; SIRECI, S. G. A Review of Models for Computer-Based Testing. [S.l.]: CollegeBoard, 2011.
MANSEIRA, P. R. P.; MISAGHI, M. Proposta de ferramenta para uso abrangente de testes adaptativos computadorizados na educação a distância. In: CONGRESSO BRASILEIRO DE ENGENHARIA DE PRODUÇÃO, 3., 2013, Ponta Grossa. Disponível em <http://www.aprepro.org.br/conbrepro/2013/down.php ?id=178&q=1>. Acesso em 10 jan. 2014.
MOREIRA JUNIOR, F. J. Sistemática para a implantação de Testes Adaptativos Informatizados baseados na Teoria da Resposta ao Item. 2011, 334 f. Tese (Doutorado) – Centro Tecnológico, UFSC, Florianópolis.
OLIVEIRA, L. H. M. Testes Adaptativos Sensíveis ao Conteúdo do Banco de Itens: uma Aplicação em Exames de Proficiência em Inglês para Programas de Pós-Graduação. 2002, 200 f. Dissertação (Mestrado) – ICMC-USP, Instituto de Ciências Matemáticas e de Computação, ICMC/USP, São Carlos.
OLIVEIRA, L. H. M.; ALUÍSIO, S. M.; PITON-GONÇALVES, J. Criação e aplicação de Testes Adaptativos Informatizados: um estudo de caso. In: CONGRESSO DA SOCIEDADE BRASILEIRA DE COMPUTAÇÃO, 24., 2004, Salvador. Anais… São Paulo: Editora TecArt LTDA., 2004.
PIMENTEL, E. P.; OMAR, N. An Architecture of a Computer Learning Environment for Mapping the Student’s Knowledge Level. Journal of Issues in Informing Science & Information Technology, v. 4, p. 313-326, 2007.
PITON-GONÇALVES, J. A Integração de Testes Adaptativos Informatizados e Ambientes Computacionais de Tarefas para o Aprendizado do Inglês Instrumental. 2004, 116 f. Dissertação (Mestrado) – ICMC-USP, Instituto de Ciências Matemáticas e de Computação, ICMC/USP, São Carlos.
PITON-GONÇALVES, J. Desafios e perspectivas da implementação computacional de Testes Adaptativos Multidimensionais para avaliações educacionais. 2012, 153 f. Tese (Doutorado) – Instituto de Ciências Matemáticas e de Computação, ICMC/USP, São Carlos.
RECKASE, M. D. Multidimensional Item Response Theory. New York: Springer, 2009.
SANTOS, P. et al. Modeling the Computing Based Testing domain extending IMS QTI: Framework, models and exemplary implementations. Computers in Human Behavior, v. 28, p. 1648-1662, 2012.
SCHEUERMANN, F,; BJÖRNSSON, J. (Eds.). The Transition to Computer-Based Assessment: New Approaches to Skills Assessment and Implications for Large-scale Testing. Luxemburgo: European Communities, 2009.
TRIANTAFILLOU, E.; GEORDIADOU, E.; ECONOMIDES, A. A. The design and evaluation of a computerized adaptive test on mobile devices. Computers & Education, v. 50(4), p. 1319-1330, 2008.
THOMPSON, N. A.; WEISS, D. J. A Framework for the Development of Computerized Adaptive Tests. Practical Assessment, Research & Evaluation, 16(1), 2011. Disponível em: <http://pareonline.net/getvn.asp ?v=16&n=1>. Acesso em 10 jul. 2013.
Referências