hipermída adaptativa para avaliação
DESCRIPTION
Estudo de casos em HA em sistemas de avaliação mediados por computador.TRANSCRIPT
Hipermídia adaptativa para sistema de avaliação em cursos virtuais
Autor: Wallace ViannaOrientador: André Monat
Instituição: ESDI/UERJ
PPDESDI - Programa de
Pós-graduação ESDI
Rio de Janeiro, agosto 2007
Sumário
• Introdução• Estudo de caso1• Estudo de caso2• Esboço da proposta• Conclusões• Bibiografia• Agradecimentos
Introdução
Esta pesquisa pretende desenvolver um sistema de avaliação para cursos virtuais, com uso hipermídia adaptativa.
A tarefa a ser avaliada será uma etapa deste curso - a elaboração de ilustração com linhas de contorno, sem preenchimento.
A hipótese a ser trabalhada é até que ponto o uso de sistemas adaptativos podem ter um impacto positivo no processo de avaliação, em cursos desta natureza se for elaborado durante o processo de aprendizagem e não ao final.
A seguir iremos discorrer sobre dois estudos de caso, dentro da área de avaliação adaptativa
• Introdução• Estudo de caso1• Estudo de caso2
• Esboço da proposta• Conclusões• Bibliografia
• Agradecimentos
Estudo de caso1(a)
“Uma Ferramenta Adaptativa de Avaliação da Aprendizagem Baseada no Perfil Cognitivo e Metacognitivo do Estudante”.
O trabalho afirma que o ensino e avaliação de modo geral
• são uniformes (presenciais)• não consideram conhecimento prévio
(presenciais e virtuais)• não permitem ensino individual (presenciais)• permitem ensino individualizado mas não
possuem avaliação adaptável do NAC - Nível de Aquisição de Conhecimento nem do KMA e KMB – conhecimento adquirido e desvio do aprendizado (virtuais)
• Introdução• Estudo de caso1• Estudo de caso2
• Esboço da proposta• Conclusões• Bibliografia
• Agradecimentos
Estudo de caso1(b)A base do sistema são as informações cognitivas (NAC) e metacognitivas (KMA e KMB) do módulo aprendiz. A avaliação deve se dar da seguinte forma:
1) O aprendiz é avaliado para saber seu perfil inicial em cada item (conceito) do conhecimento em questão.
2) Essa avaliação inicial (metacognitiva) permite o aprendiz estimar seu próprio conhecimento da matéria.
3) Após essa avaliação (automática ou feita manualmente pelo professor) – o NAC do aprendiz naquele conhecimento é definido e o software sorteia as questões.
4) O aluno responde as questões sorteadas, e com base nos novos dados coletados uma avaliação final, adaptada, é exibida.
• Introdução• Estudo de caso1• Estudo de caso2
• Esboço da proposta• Conclusões• Bibliografia
• Agradecimentos
Estudo de caso1(c)
Ao final um relatório é exibido ao aluno sobre seu desempenho, com valores relativos a:• Nível metacognitivo inicial• Nível metacognitivo final• KMA e KMB• Tempo decorrido• Menor tempo de resposta• Maior tempo de resposta• Quantidade de questões sorteadas• Quantidade de acertos e erros• NAC• Encerramento antecipado por erros
consecutivos• Encerramento antecipado por atingir meta
de avaliação• Gráfico de desempenho• Análise do aluno (realista, pessimista e
respostas em tempo hábil)
• Introdução• Estudo de caso1• Estudo de caso2
• Esboço da proposta• Conclusões• Bibliografia
• Agradecimentos
Estudo de caso2(a)
“Willow: Avaliação automática e adaptativa de textos com respostas livres”
Os autores colocam que avaliações de múltipla escolha ou de preencher campos vazios não avalia o conhecimento do estudante completamente.
Esta abordagem não pretende substituir professores ou esgotar o assunto, mas fornecer uma forma alternativa de avaliação, seja como filtragem, cruzamento de dados ou treinamento adicional.
• Introdução• Estudo de caso1• Estudo de caso2
• Esboço da proposta• Conclusões• Bibliografia
• Agradecimentos
Estudo de caso2(b)
• No Willow o curso “textual” (idiomas, p.ex.) é organizado por assuntos (tópicos) que englobam coleções de perguntas.
• O professor seleciona as perguntas (ou cria novas) e decide quais serão modificadas ou adicionadas.
• O professor é solicitado a organizar o conteúdo por nível de conhecimento, faixa etária, tópicos e nível de dificuldade.
• As respostas - ou referências - corretas podem ser gerenciadas manualmente ou por um “algoritmo genético”, que poupa o professor de escrever todas as respostas do curso.
• Introdução• Estudo de caso1• Estudo de caso2
• Esboço da proposta• Conclusões• Bibliografia
• Agradecimentos
Estudo de caso2(c)• Inicialmente o aluno é avaliado com
perguntas para respostas textuais.
• O sistema captura as respostas e cria referências (palavras-chave) para medir o grau de conhecimento.
• As palavras da resposta são destacadas em cor verde mostrando o grau de acerto.
• Se o estudante erra, uma nova tela é apresentada com outras 3 questões, da mais básica à mais complexa, para guiá-lo à resposta correta.
• Se ainda assim não acertar as respostas é apresentada outra pergunta dentro de seu nível de dificuldade, faixa etária etc. Uma ajuda será mostrada para ajudá-lo a responder a nova questão.
• Introdução• Estudo de caso1• Estudo de caso2
• Esboço da proposta• Conclusões• Bibliografia
• Agradecimentos
Estudo de caso2(d)
• À medida que o estudante responde mais questões, o Willow analisa as respostas do estudante comparando com termos ou expressões corretas extraídas das referências.
• Cada termo corresponde a um conceito e possui um valor associado que é calculado pelo Willow para indicar o nível de conhecimento do estudante.
• Assim se gera um mapa conceitual do
alunos para o professor analisar o desempenho deste (o que não foi bem compreendido ou deve ser reforçado).
• Introdução• Estudo de caso1• Estudo de caso2
• Esboço da proposta• Conclusões• Bibliografia
• Agradecimentos
Esboço da proposta(a)
Cenário: Avaliação adaptativa dentro de curso virtual (á distância) de Corel X3.
Objetivo: desenvolver as competências de uso do software CorelDraw, para realização de ilustração
Estratégia: ensino do software através da execução de partes da ilustração, da mais simples para a mais complicada.
• Introdução• Estudo de caso1• Estudo de caso2
• Esboço da proposta• Conclusões• Bibliografia
• Agradecimentos
Esboço da proposta(b)
Esquema diagramático da tarefa avaliada:• O aluno recebe um gabarito (imagem) sobre
o qual irá traçar linhas soltas• Introdução
• Estudo de caso1• Estudo de caso2
• Esboço da proposta• Conclusões• Bibliografia
• Agradecimentos
Esboço da proposta(c)
• Se tiver mau desempenho nesta tarefa um exercício de reforço é proposto com ajuda teórica
• Introdução• Estudo de caso1• Estudo de caso2
• Esboço da proposta• Conclusões• Bibliografia
• Agradecimentos
Esboço da proposta(d)
• Se obtiver boa avaliação, o exercício prossegue do ponto onde foi interrompido até o final, onde será realizada avaliação final.
• Caso obtenha mau desempenho em algumas tarefas isoladas, é proposto exercício de reforço e avaliação englobando apenas as tarefas deficientes (adaptatibilidade).
• Introdução• Estudo de caso1• Estudo de caso2
• Esboço da proposta• Conclusões• Bibliografia
• Agradecimentos
Conclusões
A avaliação adaptativa depende
• da modelagem do usuário que pode ser feita através de avaliações anteriores, correntes e posteriores a atividade.
• do contexto (tarefa a ser avaliada).
• do feedback (retorno de informações) sobre o conhecimento do aluno sobre a matéria e o aprendizado
• da estruturação do curso se em conjunto da avaliação, não em separado.
• Introdução• Estudo de caso1• Estudo de caso2
• Esboço da proposta• Conclusões• Bibliografia
• Agradecimentos
Bibliografia
• Uma Ferramenta Adaptativa de Avaliação da AprendizagemBaseada no Perfil Cognitivo e Metacognitivo do Estudante, Claudio Cura, Danilo Nunes, Edson Pinheiro,Enio Bonano, Ricardo Mandaji , Enio Bonano, Ricardo Mandaji; Universidade Municipal de São Caetano do Sul, Brasil. Internet; acessado em junho de 2007
• Willow: automatic and adaptive assessment of students’ free-text answers; Diana Perez-Marin, Enrique Alfonseca, Pilar Rodriguiez, Ismael Pacual-Nieto. Internet, acessado em julho/2007
• Introdução• Estudo de caso1• Estudo de caso2
• Esboço da proposta• Conclusões• Bibliografia
• Agradecimentos