easy– evaluation automatic generation sy stemfor web ... · paulo blauth menezes. vi ciclo de...

1

EASy – Evaluation AutomaticGeneration System for Webbased on Hyper-Automaton

Renata Zanella

Graciela Lima

Bruna Antunes

Paulo Blauth Menezes

2VI Ciclo de Palestras sobre Novas Tecnologias na Educação

Roteiro

Introdução

Avaliação

XHA

EASy

Conclusões

Avaliação Experimental

Trabalhos Futuros

3VI Ciclo de Palestras sobre Novas Tecnologias na Educação

Introdução

A educação via Web

� acesso independente da localização

� ambientes de ensino-aprendizagem

� ferramentas de apoio ao professor

Avaliação da Aprendizagem� um dos componentes fundamentais

� algumas de suas funções são:

� verificar quão e quanto o aluno aprendeu

� fornecer feedback para o aluno

� avaliar o conhecimento do aluno

Aspectos pedagógicos� importantes no desenvolvimentos de sistemas destinados a

educação

4VI Ciclo de Palestras sobre Novas Tecnologias na Educação

Roteiro

Introdução

Avaliação

XHA

EASy

Conclusões

Avaliação Experimental

Trabalhos Futuros

5VI Ciclo de Palestras sobre Novas Tecnologias na Educação

Avaliação

Funções da Avaliação� Diagnóstica

� Formativa

� Somativa

Técnicas de Avaliação� Aplicação de Testes

� Aplicação de Provas Subjetivas

� Auto-Avaliação

Instrumentos de Avaliação� Provas Objetivas

� Provas Orais

� Provas Dissertativa

6VI Ciclo de Palestras sobre Novas Tecnologias na Educação

Roteiro

Introdução

Avaliação

XHA

EASy

Conclusões

Avaliação Experimental

Trabalhos Futuros

7VI Ciclo de Palestras sobre Novas Tecnologias na Educação

XHA

Sistema eXtensible Hyper-Automaton (XHA)

� Ambiente de ensino e disponibilização de material instrucional na Web

� Modelo Hyper-Automaton� Autômatos Finitos com Saída (Máquina de Mealy e

Máquina de Moore)

� Material instrucional separado da estrutura de navegação

� Reuso de material instrucional

8VI Ciclo de Palestras sobre Novas Tecnologias na Educação

Roteiro

IntroduçãoAvaliação

XHA

EASy� Características� Arquitetura� Modelo Funcional� Utilização do Sistema

Conclusões

Avaliação ExperimentalTrabalhos Futuros

9VI Ciclo de Palestras sobre Novas Tecnologias na Educação

Características

Aspectos pedagógicos

ProvasSomativa

Provas

Listas de Exercícios

Questionários

Formativa

QuestionáriosDiagnóstica

Instrumentos da Avaliação

ObjetivosFunções da Avaliação

10VI Ciclo de Palestras sobre Novas Tecnologias na Educação

CaracterísticasAspectos pedagógicos - Tipos de Questões

Verdadeira ou falsa Múltipla-escolha

11VI Ciclo de Palestras sobre Novas Tecnologias na Educação

Características

Aspectos pedagógicos

� Domínio Cognitivo

Criticarcomparação entre idéiasAvaliação

Desenvolverrelacionado a conhecimentos de

várias áreas

Síntese

Compararexpressão das idéias dos alunos

sobre um problema

Análise

Calcularresolução de problemasAplicação

Interpretarentendimento de um conceitoCompreensão

Definirlembrança de conceitosConhecimento

Exemplos de VerbosDefiniçãoDomínio Cognitivo

12VI Ciclo de Palestras sobre Novas Tecnologias na Educação

CaracterísticasAspectos Tecnológicos

� Ciclo de Vida das Questões Objetivas (Brusilovsky et al, 1999)

� Autoria� Banco de Dados

� Seqüência de questões dinâmicas

� Metadados

� Apresentação� Usabilidade

� Avaliação (Feedback)� Professores

� Relatórios

� Rastreamento

� Alunos

� Relatórios

13VI Ciclo de Palestras sobre Novas Tecnologias na Educação

Características

Metadados da Questão

Abrangente, Abrangência média, Profunda,

Profundidade Média

Abrangência/Profundidade

Conhecimento, Compreensão, Aplicação, Análise,

Avaliação e Síntese

Domínio Cognitivo

Fácil, Intermediário, Difícil Nível de Dificuldade

Qual parte do tópico?Sub-tópico

Tópico relacionadoAssunto/Tópico

Disciplina associadaTema/Disciplina

Curso associadoCurso/área

DescriçãoMetadados

14VI Ciclo de Palestras sobre Novas Tecnologias na Educação

Arquitetura

Arquivos de

Imagens

Arquitetura - Três camadas

15VI Ciclo de Palestras sobre Novas Tecnologias na Educação

Modelo Funcional

LOGIN

Interface do Aluno Interface do Professor

Base de dados

Aluno Professor

Ambiente de Realização de

Avaliações

Ambiente de Autoria e Geração de Avaliações

Realizador

de

Avaliações

Verificador de

Desempenho

Autoria de

Questões

Gerador de

Avaliações

Metadados

Adapáveis

Gerador de

Relatórios

Gerenciamento da Base de Dados

Configuração

Curso Dados

Pessoais

Manutenção

dos Dados

PessoaisDisciplina

16VI Ciclo de Palestras sobre Novas Tecnologias na Educação

EASy – Modelo Funcional

LOGIN

Interface do Aluno Interface do Professor

Base de dados

Aluno Professor

Ambiente de Realização de

Avaliações

Ambiente de Autoria e Geração de Avaliações

Realizador de

Avaliações

Verificador de

Desempenho

Autoria de

Questões

Gerador de

Avaliações

Metadados

Adapáveis

Gerador de

Relatórios

Gerenciamento da Base de Dados

Configuração

Curso Dados

Pessoais

Manutenção dos

Dados PessoaisDisciplina

17VI Ciclo de Palestras sobre Novas Tecnologias na Educação

EASy – Modelo Funcional

LOGIN

Interface do Aluno Interface do Professor

Base de dados

Aluno Professor

Ambiente de Realização de

Avaliações

Ambiente de Autoria e Geração de Avaliações

Realizador de

Avaliações

Verificador de

Desempenho

Autoria de

Questões

Gerador de

Avaliações

Metadados

Adapáveis

Gerador de

Relatórios

Gerenciamento da Base de Dados

Configuração

Curso Dados

Pessoais

Manutenção dos

Dados PessoaisDisciplina

18VI Ciclo de Palestras sobre Novas Tecnologias na Educação

Roteiro

Introdução

Avaliação

XHA

EASy

� Utilização do Sistema

Conclusões

Avaliação Experimental

Trabalhos Futuros

19VI Ciclo de Palestras sobre Novas Tecnologias na Educação

Utilização do Sistema

Criação de Questões

20VI Ciclo de Palestras sobre Novas Tecnologias na Educação

Utilização do SistemaGeração de Avaliação

21VI Ciclo de Palestras sobre Novas Tecnologias na Educação

Utilização do SistemaMetadados

22VI Ciclo de Palestras sobre Novas Tecnologias na Educação

Utilização do Sistema

Questões

23VI Ciclo de Palestras sobre Novas Tecnologias na Educação

Utilização do SistemaVisualização das Questões

24VI Ciclo de Palestras sobre Novas Tecnologias na Educação

Utilização do SistemaAvaliação

25VI Ciclo de Palestras sobre Novas Tecnologias na Educação

Utilização do Sistema

Apresentação da Avaliação para o aluno

26VI Ciclo de Palestras sobre Novas Tecnologias na Educação

Utilização do Sistema

Relatório de Acompanhamento

27VI Ciclo de Palestras sobre Novas Tecnologias na Educação

Conclusões

Sistema de geração automática e de apoio a geração de avaliações

Flexibilidade na geração das avaliações com a recuperação de questões através de Metadados

Relatórios ricos em informações

Contemplação de aspectos pedagógicos

Não exige conhecimento de linguagens

Tecnologia Web

28VI Ciclo de Palestras sobre Novas Tecnologias na Educação

Avaliação Experimental

Disciplina – Linguagens Formais & Autômatos

� Prova sobre Matemática Discreta

� 44 aluno

� Prova 3

� 38 alunos

Sim Não Sem Opinião

1) Avaliações on-line são mais fáceis..? 21 14 3

2) Você confia em avaliações Web? 23 13 2

3) Avaliações na Web facilitam a "cola"? 6 29 3

Caneta e papel na web sem preferência

4) Preferência para a próxima avaliação? 13 20 5

Sim Não Sem Opinião

5) Você gostou de receber o feedback? 37 1

55,1%

60,1%

76,1%

52,6%

97%

Nota 7 a 10 27 71,05%

29VI Ciclo de Palestras sobre Novas Tecnologias na Educação

Trabalhos Futuros

Automatização dos metadados adaptáveis

Implementação:

� dos metadados palavras-chave e data

� de testes adaptativos

� de relatórios dinâmicos

� de um editor para símbolos matemáticos

� de recursos para fazer upload de arquivos pdf ou doc naautoria de questões

Melhorar aspectos de usabilidade

Integração com o XHA

30VI Ciclo de Palestras sobre Novas Tecnologias na Educação

E-mail: renataz@inf.ufrgs.brblauth@inf.furgs.br