-- PNOTA -- Uma Aplicação para Correção

Assistida de Questões DiscursivasFilipe Wall Mutz

Agenda

• Motivação• Revisão de Literatura• A Interface de Correção• Componentes do Software• Experimentos• O Framework• Conclusão e Trabalhos Futuros

Motivação

“Para se tornar um bom piloto são necessárias muitas horas de vôo.”

Para se tornar um aluno eficaz, é necessária muita prática

Responsabilidades Burocráticas e Cargos a desempenhar

Turmas maiores, com grupos heterogêneos

Proposta

Criar uma ferramenta para auxiliar o especialista humano a corrigir respostas

em menos tempo.

Automatização

Revisão de Literatura

Sistema Online de Atividades de Classificação [1]

• Disciplina Representação Temática no curso de Biblioteconomia da UFES

• O Aluno deveria classificar notícias de jornal• O sistema corrigia automaticamente as

respostas dos alunos

• Alunos motivados a realizarem mais exercícios• Identificação de perfis por meio de relatórios

gráficos

Resultados

Nivelamento do Aprendizado na Turma

Sistema Online de Atividades de Indexação [2]

• Disciplina Representação Temática II no curso de Biblioteconomia da UFES

• O aluno deveria preencher quadros de indexação com base na análise sistemática de textos

• Professor passou a corrigir grupos de respostas.

Resultados

De 7009 respostas, apenas 6 precisaram ser corrigidas manualmente!

A Interface de Correção

10

10

10

Componentes do Software

O Modelo Vetorial de Representação de Documentos

• Objetivo: transformar textos em vetores (pontos no espaço)

• Como: Contando a frequência das palavras importantes

Resposta 1: “Itens de dados como = Entidade, atributo e relacionamento.”

Resposta 2: “Entidades, relacionamentos e atributos.”

Resposta 3: “Entre os elementos de um banco de dados podemos citar: a entidade, o relacionamento e os atributos.”

Pergunta: “Segundo o livro da disciplina, quais são os elementos básicos do modelo ER?”

Resposta 1: “Itens dados Entidade atributo relacionamento”

Resposta 2: “Entidades relacionamentos atributos.”

Resposta 3: “Entre elementos banco dados podemos citar entidade relacionamento atributos.”

Palavra Resposta 1 Resposta 2 Resposta 3

Atributos 1 1 1

Banco 0 0 1

Citar 0 0 1

Dados 1 0 1

Elementos 0 0 1

Entidade 1 1 1

Itens 1 0 0

Relacionamentos 1 1 1

A Seleção da Ordem de Correção

• Corrigir primeiro respostas que provavelmente possuem notas diferentes

• Farthest Insertion usando as representações vetoriais das respostas

1

23

4

1

23

4

5

6

7

8

9

A Predição de Notas

• Respostas parecidas terão notas parecidas• A Predição é atualizada a cada rodada de

correções

Nota 10

Nota 0Nota 5

5.78

8.40

3.70

3.55

2.39

4.90

Pontos de Parada

• A predição será boa quando se aproximar da nota dada pelo humano

• Uma variação de nota de mais ou menos 0.5 pontos é imperceptível

Nota 10

Nota 0Nota 5

Nota Estimada: 4.89

Nota Estimada: 7.59Nota Estimada: 5.63

Erro Médio Estimado: 4.43

Experimentos

Turma de SGBD da UFES

• 25 questões e 320 respostas

Turma de SGBD da UFES

Turma de SGBD da UFES

• Tempo para correção manual: 5h 18min• Tempo com uso do sistema: 54min

Economia de 4h e 26min com uma taxa de acerto de 69.43%

Turma de Introdução à Computação da Universidade do Norte do Texas

• 80 questões e 2273 respostas

Turma de Introdução à Computação da Universidade do Norte do Texas

Turma de Introdução à Computação da Universidade do Norte do Texas

• Tempo para correção manual: 1d 13h 41min• Tempo com uso do sistema: 5h 31min

Economia de 1d 8h e 21min com uma taxa de acerto de 55.01%

Conclusão e Trabalhos Futuros

Contribuições

• Framework para estudo de ferramentas para auxílio à correção de questões com pequenas respostas discursivas

• Protótipo de ferramenta.• Experimentos com bases de dados em

português e em inglês.

Resultados

• O protótipo alcançou uma taxa de acerto satisfatória na base de dados em português e uma taxa de acerto baixa na base de dados em inglês

• Foi verificado que a utilização da ferramenta pode trazer economia de esforço para o especialista humano

Trabalhos Futuros

• Estudo de novos algoritmos de seleção, predição e de parada

• Estudo da possibilidade de uso das estruturas de similaridade entre as respostas para cálculo das notas

• Realização de experimentos– Bases de Dados– Ferramentas de Recuperação da Informação

Referências

1. OLIVEIRA, M. et al. Uma Metodologia para Avaliação Formativa em um Ambiente de Ensino e Aprendizagem de Classificação em Biblioteconomia. XI ENACIB, 2008.

2. OLIVEIRA, M. et al. Uma Tecnologia de Agrupamento de Respostas para Redução de Esforço de Correção de Atividades em Sistema Online de Apoio à Avaliação Formativa em Indexação. Proceedings of XI Encontro Nacional de Pesquisa em Ciência da Informação, 2010.