easy– evaluation automatic generation sy stemfor web ... · paulo blauth menezes. vi ciclo de...

30
1 EASy – Evaluation Automatic Generation System for Web based on Hyper-Automaton Renata Zanella Graciela Lima Bruna Antunes Paulo Blauth Menezes

Upload: others

Post on 30-Mar-2021

3 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: EASy– Evaluation Automatic Generation Sy stemfor Web ... · Paulo Blauth Menezes. VI Ciclo de Palestras sobre Novas Tecnologias na Educação 2 Roteiro Introdução ... Autômatos

1

EASy – Evaluation AutomaticGeneration System for Webbased on Hyper-Automaton

Renata Zanella

Graciela Lima

Bruna Antunes

Paulo Blauth Menezes

Page 2: EASy– Evaluation Automatic Generation Sy stemfor Web ... · Paulo Blauth Menezes. VI Ciclo de Palestras sobre Novas Tecnologias na Educação 2 Roteiro Introdução ... Autômatos

2VI Ciclo de Palestras sobre Novas Tecnologias na Educação

Roteiro

Introdução

Avaliação

XHA

EASy

Conclusões

Avaliação Experimental

Trabalhos Futuros

Page 3: EASy– Evaluation Automatic Generation Sy stemfor Web ... · Paulo Blauth Menezes. VI Ciclo de Palestras sobre Novas Tecnologias na Educação 2 Roteiro Introdução ... Autômatos

3VI Ciclo de Palestras sobre Novas Tecnologias na Educação

Introdução

A educação via Web

� acesso independente da localização

� ambientes de ensino-aprendizagem

� ferramentas de apoio ao professor

Avaliação da Aprendizagem� um dos componentes fundamentais

� algumas de suas funções são:

� verificar quão e quanto o aluno aprendeu

� fornecer feedback para o aluno

� avaliar o conhecimento do aluno

Aspectos pedagógicos� importantes no desenvolvimentos de sistemas destinados a

educação

Page 4: EASy– Evaluation Automatic Generation Sy stemfor Web ... · Paulo Blauth Menezes. VI Ciclo de Palestras sobre Novas Tecnologias na Educação 2 Roteiro Introdução ... Autômatos

4VI Ciclo de Palestras sobre Novas Tecnologias na Educação

Roteiro

Introdução

Avaliação

XHA

EASy

Conclusões

Avaliação Experimental

Trabalhos Futuros

Page 5: EASy– Evaluation Automatic Generation Sy stemfor Web ... · Paulo Blauth Menezes. VI Ciclo de Palestras sobre Novas Tecnologias na Educação 2 Roteiro Introdução ... Autômatos

5VI Ciclo de Palestras sobre Novas Tecnologias na Educação

Avaliação

Funções da Avaliação� Diagnóstica

� Formativa

� Somativa

Técnicas de Avaliação� Aplicação de Testes

� Aplicação de Provas Subjetivas

� Auto-Avaliação

Instrumentos de Avaliação� Provas Objetivas

� Provas Orais

� Provas Dissertativa

Page 6: EASy– Evaluation Automatic Generation Sy stemfor Web ... · Paulo Blauth Menezes. VI Ciclo de Palestras sobre Novas Tecnologias na Educação 2 Roteiro Introdução ... Autômatos

6VI Ciclo de Palestras sobre Novas Tecnologias na Educação

Roteiro

Introdução

Avaliação

XHA

EASy

Conclusões

Avaliação Experimental

Trabalhos Futuros

Page 7: EASy– Evaluation Automatic Generation Sy stemfor Web ... · Paulo Blauth Menezes. VI Ciclo de Palestras sobre Novas Tecnologias na Educação 2 Roteiro Introdução ... Autômatos

7VI Ciclo de Palestras sobre Novas Tecnologias na Educação

XHA

Sistema eXtensible Hyper-Automaton (XHA)

� Ambiente de ensino e disponibilização de material instrucional na Web

� Modelo Hyper-Automaton� Autômatos Finitos com Saída (Máquina de Mealy e

Máquina de Moore)

� Material instrucional separado da estrutura de navegação

� Reuso de material instrucional

Page 8: EASy– Evaluation Automatic Generation Sy stemfor Web ... · Paulo Blauth Menezes. VI Ciclo de Palestras sobre Novas Tecnologias na Educação 2 Roteiro Introdução ... Autômatos

8VI Ciclo de Palestras sobre Novas Tecnologias na Educação

Roteiro

IntroduçãoAvaliação

XHA

EASy� Características� Arquitetura� Modelo Funcional� Utilização do Sistema

Conclusões

Avaliação ExperimentalTrabalhos Futuros

Page 9: EASy– Evaluation Automatic Generation Sy stemfor Web ... · Paulo Blauth Menezes. VI Ciclo de Palestras sobre Novas Tecnologias na Educação 2 Roteiro Introdução ... Autômatos

9VI Ciclo de Palestras sobre Novas Tecnologias na Educação

Características

Aspectos pedagógicos

ProvasSomativa

Provas

Listas de Exercícios

Questionários

Formativa

QuestionáriosDiagnóstica

Instrumentos da Avaliação

ObjetivosFunções da Avaliação

Page 10: EASy– Evaluation Automatic Generation Sy stemfor Web ... · Paulo Blauth Menezes. VI Ciclo de Palestras sobre Novas Tecnologias na Educação 2 Roteiro Introdução ... Autômatos

10VI Ciclo de Palestras sobre Novas Tecnologias na Educação

CaracterísticasAspectos pedagógicos - Tipos de Questões

Verdadeira ou falsa Múltipla-escolha

Page 11: EASy– Evaluation Automatic Generation Sy stemfor Web ... · Paulo Blauth Menezes. VI Ciclo de Palestras sobre Novas Tecnologias na Educação 2 Roteiro Introdução ... Autômatos

11VI Ciclo de Palestras sobre Novas Tecnologias na Educação

Características

Aspectos pedagógicos

� Domínio Cognitivo

Criticarcomparação entre idéiasAvaliação

Desenvolverrelacionado a conhecimentos de

várias áreas

Síntese

Compararexpressão das idéias dos alunos

sobre um problema

Análise

Calcularresolução de problemasAplicação

Interpretarentendimento de um conceitoCompreensão

Definirlembrança de conceitosConhecimento

Exemplos de VerbosDefiniçãoDomínio Cognitivo

Page 12: EASy– Evaluation Automatic Generation Sy stemfor Web ... · Paulo Blauth Menezes. VI Ciclo de Palestras sobre Novas Tecnologias na Educação 2 Roteiro Introdução ... Autômatos

12VI Ciclo de Palestras sobre Novas Tecnologias na Educação

CaracterísticasAspectos Tecnológicos

� Ciclo de Vida das Questões Objetivas (Brusilovsky et al, 1999)

� Autoria� Banco de Dados

� Seqüência de questões dinâmicas

� Metadados

� Apresentação� Usabilidade

� Avaliação (Feedback)� Professores

� Relatórios

� Rastreamento

� Alunos

� Relatórios

Page 13: EASy– Evaluation Automatic Generation Sy stemfor Web ... · Paulo Blauth Menezes. VI Ciclo de Palestras sobre Novas Tecnologias na Educação 2 Roteiro Introdução ... Autômatos

13VI Ciclo de Palestras sobre Novas Tecnologias na Educação

Características

Metadados da Questão

Abrangente, Abrangência média, Profunda,

Profundidade Média

Abrangência/Profundidade

Conhecimento, Compreensão, Aplicação, Análise,

Avaliação e Síntese

Domínio Cognitivo

Fácil, Intermediário, Difícil Nível de Dificuldade

Qual parte do tópico?Sub-tópico

Tópico relacionadoAssunto/Tópico

Disciplina associadaTema/Disciplina

Curso associadoCurso/área

DescriçãoMetadados

Page 14: EASy– Evaluation Automatic Generation Sy stemfor Web ... · Paulo Blauth Menezes. VI Ciclo de Palestras sobre Novas Tecnologias na Educação 2 Roteiro Introdução ... Autômatos

14VI Ciclo de Palestras sobre Novas Tecnologias na Educação

Arquitetura

Arquivos de

Imagens

Arquitetura - Três camadas

Page 15: EASy– Evaluation Automatic Generation Sy stemfor Web ... · Paulo Blauth Menezes. VI Ciclo de Palestras sobre Novas Tecnologias na Educação 2 Roteiro Introdução ... Autômatos

15VI Ciclo de Palestras sobre Novas Tecnologias na Educação

Modelo Funcional

LOGIN

Interface do Aluno Interface do Professor

Base de dados

Aluno Professor

Ambiente de Realização de

Avaliações

Ambiente de Autoria e Geração de Avaliações

Realizador

de

Avaliações

Verificador de

Desempenho

Autoria de

Questões

Gerador de

Avaliações

Metadados

Adapáveis

Gerador de

Relatórios

Gerenciamento da Base de Dados

Configuração

Curso Dados

Pessoais

Manutenção

dos Dados

PessoaisDisciplina

Page 16: EASy– Evaluation Automatic Generation Sy stemfor Web ... · Paulo Blauth Menezes. VI Ciclo de Palestras sobre Novas Tecnologias na Educação 2 Roteiro Introdução ... Autômatos

16VI Ciclo de Palestras sobre Novas Tecnologias na Educação

EASy – Modelo Funcional

LOGIN

Interface do Aluno Interface do Professor

Base de dados

Aluno Professor

Ambiente de Realização de

Avaliações

Ambiente de Autoria e Geração de Avaliações

Realizador de

Avaliações

Verificador de

Desempenho

Autoria de

Questões

Gerador de

Avaliações

Metadados

Adapáveis

Gerador de

Relatórios

Gerenciamento da Base de Dados

Configuração

Curso Dados

Pessoais

Manutenção dos

Dados PessoaisDisciplina

Page 17: EASy– Evaluation Automatic Generation Sy stemfor Web ... · Paulo Blauth Menezes. VI Ciclo de Palestras sobre Novas Tecnologias na Educação 2 Roteiro Introdução ... Autômatos

17VI Ciclo de Palestras sobre Novas Tecnologias na Educação

EASy – Modelo Funcional

LOGIN

Interface do Aluno Interface do Professor

Base de dados

Aluno Professor

Ambiente de Realização de

Avaliações

Ambiente de Autoria e Geração de Avaliações

Realizador de

Avaliações

Verificador de

Desempenho

Autoria de

Questões

Gerador de

Avaliações

Metadados

Adapáveis

Gerador de

Relatórios

Gerenciamento da Base de Dados

Configuração

Curso Dados

Pessoais

Manutenção dos

Dados PessoaisDisciplina

Page 18: EASy– Evaluation Automatic Generation Sy stemfor Web ... · Paulo Blauth Menezes. VI Ciclo de Palestras sobre Novas Tecnologias na Educação 2 Roteiro Introdução ... Autômatos

18VI Ciclo de Palestras sobre Novas Tecnologias na Educação

Roteiro

Introdução

Avaliação

XHA

EASy

� Utilização do Sistema

Conclusões

Avaliação Experimental

Trabalhos Futuros

Page 19: EASy– Evaluation Automatic Generation Sy stemfor Web ... · Paulo Blauth Menezes. VI Ciclo de Palestras sobre Novas Tecnologias na Educação 2 Roteiro Introdução ... Autômatos

19VI Ciclo de Palestras sobre Novas Tecnologias na Educação

Utilização do Sistema

Criação de Questões

Page 20: EASy– Evaluation Automatic Generation Sy stemfor Web ... · Paulo Blauth Menezes. VI Ciclo de Palestras sobre Novas Tecnologias na Educação 2 Roteiro Introdução ... Autômatos

20VI Ciclo de Palestras sobre Novas Tecnologias na Educação

Utilização do SistemaGeração de Avaliação

Page 21: EASy– Evaluation Automatic Generation Sy stemfor Web ... · Paulo Blauth Menezes. VI Ciclo de Palestras sobre Novas Tecnologias na Educação 2 Roteiro Introdução ... Autômatos

21VI Ciclo de Palestras sobre Novas Tecnologias na Educação

Utilização do SistemaMetadados

Page 22: EASy– Evaluation Automatic Generation Sy stemfor Web ... · Paulo Blauth Menezes. VI Ciclo de Palestras sobre Novas Tecnologias na Educação 2 Roteiro Introdução ... Autômatos

22VI Ciclo de Palestras sobre Novas Tecnologias na Educação

Utilização do Sistema

Questões

Page 23: EASy– Evaluation Automatic Generation Sy stemfor Web ... · Paulo Blauth Menezes. VI Ciclo de Palestras sobre Novas Tecnologias na Educação 2 Roteiro Introdução ... Autômatos

23VI Ciclo de Palestras sobre Novas Tecnologias na Educação

Utilização do SistemaVisualização das Questões

Page 24: EASy– Evaluation Automatic Generation Sy stemfor Web ... · Paulo Blauth Menezes. VI Ciclo de Palestras sobre Novas Tecnologias na Educação 2 Roteiro Introdução ... Autômatos

24VI Ciclo de Palestras sobre Novas Tecnologias na Educação

Utilização do SistemaAvaliação

Page 25: EASy– Evaluation Automatic Generation Sy stemfor Web ... · Paulo Blauth Menezes. VI Ciclo de Palestras sobre Novas Tecnologias na Educação 2 Roteiro Introdução ... Autômatos

25VI Ciclo de Palestras sobre Novas Tecnologias na Educação

Utilização do Sistema

Apresentação da Avaliação para o aluno

Page 26: EASy– Evaluation Automatic Generation Sy stemfor Web ... · Paulo Blauth Menezes. VI Ciclo de Palestras sobre Novas Tecnologias na Educação 2 Roteiro Introdução ... Autômatos

26VI Ciclo de Palestras sobre Novas Tecnologias na Educação

Utilização do Sistema

Relatório de Acompanhamento

Page 27: EASy– Evaluation Automatic Generation Sy stemfor Web ... · Paulo Blauth Menezes. VI Ciclo de Palestras sobre Novas Tecnologias na Educação 2 Roteiro Introdução ... Autômatos

27VI Ciclo de Palestras sobre Novas Tecnologias na Educação

Conclusões

Sistema de geração automática e de apoio a geração de avaliações

Flexibilidade na geração das avaliações com a recuperação de questões através de Metadados

Relatórios ricos em informações

Contemplação de aspectos pedagógicos

Não exige conhecimento de linguagens

Tecnologia Web

Page 28: EASy– Evaluation Automatic Generation Sy stemfor Web ... · Paulo Blauth Menezes. VI Ciclo de Palestras sobre Novas Tecnologias na Educação 2 Roteiro Introdução ... Autômatos

28VI Ciclo de Palestras sobre Novas Tecnologias na Educação

Avaliação Experimental

Disciplina – Linguagens Formais & Autômatos

� Prova sobre Matemática Discreta

� 44 aluno

� Prova 3

� 38 alunos

Sim Não Sem Opinião

1) Avaliações on-line são mais fáceis..? 21 14 3

2) Você confia em avaliações Web? 23 13 2

3) Avaliações na Web facilitam a "cola"? 6 29 3

Caneta e papel na web sem preferência

4) Preferência para a próxima avaliação? 13 20 5

Sim Não Sem Opinião

5) Você gostou de receber o feedback? 37 1

55,1%

60,1%

76,1%

52,6%

97%

Nota 7 a 10 27 71,05%

Page 29: EASy– Evaluation Automatic Generation Sy stemfor Web ... · Paulo Blauth Menezes. VI Ciclo de Palestras sobre Novas Tecnologias na Educação 2 Roteiro Introdução ... Autômatos

29VI Ciclo de Palestras sobre Novas Tecnologias na Educação

Trabalhos Futuros

Automatização dos metadados adaptáveis

Implementação:

� dos metadados palavras-chave e data

� de testes adaptativos

� de relatórios dinâmicos

� de um editor para símbolos matemáticos

� de recursos para fazer upload de arquivos pdf ou doc naautoria de questões

Melhorar aspectos de usabilidade

Integração com o XHA

Page 30: EASy– Evaluation Automatic Generation Sy stemfor Web ... · Paulo Blauth Menezes. VI Ciclo de Palestras sobre Novas Tecnologias na Educação 2 Roteiro Introdução ... Autômatos

30VI Ciclo de Palestras sobre Novas Tecnologias na Educação

E-mail: [email protected]@inf.furgs.br