heurísticas de usabilidade para sistemas eletrônicos de avaliação

178
Ana Paula Galvão Damasceno Carrare Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação da Aprendizagem Baseada em Casos Clínicos: Uma Aplicação na Educação Médica Tese apresentada ao curso de Pós-Graduação da Faculdade de Ciências Médicas da Santa Casa de São Paulo para obtenção do título de Doutora em Ciências da Saúde. São Paulo 2014

Upload: phungtruc

Post on 21-Dec-2016

218 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

Ana Paula Galvão Damasceno Carrare

Heurísticas de Usabilidade para Sistemas Eletrônicos de

Avaliação da Aprendizagem Baseada em Casos Clínicos:

Uma Aplicação na Educação Médica

Tese apresentada ao curso de Pós-Graduação da

Faculdade de Ciências Médicas da Santa Casa de São

Paulo para obtenção do título de Doutora em Ciências da

Saúde.

São Paulo

2014

Page 2: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

Ana Paula Galvão Damasceno Carrare

Heurísticas de Usabilidade para Sistemas Eletrônicos de

Avaliação da Aprendizagem Baseada em Casos Clínicos:

Uma Aplicação na Educação Médica

Tese apresentada ao curso de Pós-Graduação da

Faculdade de Ciências Médicas da Santa Casa de São

Paulo para obtenção do título de Doutora Ciências da

Saúde.

Área de concentração: Ciências da Saúde

Orientador: Dr. Carlos Alberto Longui

Co-orientador: Dr. Ismar Frango Silveira

Versão corrigida

São Paulo

2014

Page 3: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

FICHA CATALOGRÁFICA

Preparada pela Biblioteca Central da Faculdade de Ciências Médicas da Santa Casa de São Paulo

Carrare, Ana Paula Galvão Damasceno Heurísticas de usabilidade para sistemas eletrônicos de avaliação da aprendizagem baseada em casos clínicos: uma aplicação na educação médica./ Ana Paula Galvão Damasceno Carrare. São Paulo, 2014.

Tese de Doutorado. Faculdade de Ciências Médicas da Santa Casa de São Paulo – Curso de Pós-Graduação em Ciências da Saúde.

Área de Concentração: Ciências da Saúde Orientador: Carlos Alberto Longui Co-Orientador: Ismar Frango Silveira 1. Interface usuário-computador 2. Sistemas de computação 3.

Educação médica 4. Avaliação educacional/métodos 5. Aprendizagem BC-FCMSCSP/21-14

Page 4: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação
Page 5: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

Dedicatória

Aos meu filhos, Luiza e Miguel,

ao meu marido Marcelo e aos meus pais Neide e Enival.

Page 6: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

Agradecimentos

Ao meu marido Marcelo pela compreensão e paciência, e por estar sempre ao

meu lado, me ajudando, nos momentos mais difíceis, muitas vezes suprindo minha

ausência junto aos meus filhos.

Aos meus filhos Luiza e Miguel, por serem um incentivo à minha vida, sempre

me dando forças e coragem para continuar.

Aos meus pais por me apoiarem e acreditarem em mim.

Ao meu orientador Prof. Dr. Carlos Alberto Longui, que me recebeu como

orientanda e me permitiu realizar este estudo, muitas vezes buscando comigo

soluções para problemas que eu não conseguia resolver.

Ao meu co-orientador Prof. Dr. Ismar Frango Silveira, pela maneira como me

ajudou e não me deixou desistir nos momentos de desespero.

À Faculdade de Ciências Médicas da Santa Casa de São Paulo e à

Irmandade da Santa Casa de Misericórdia de São Paulo por proporcionar a

realização deste estudo.

À pessoas que me ajudaram muito e tiveram um papel fundamental na

realização do estudo: Drª Beatriz A. Pacheco, Drª Maria Amélia Eliseo, Drª Ana

Grasielle D. Correa, Drª Valéria F. Martins, Drª Ilana S. Concilio, Dr. Juliano

Schimiguel e Dr. Vagner F. Santana.

À minha amiga Ms. Cristiane C. Hernandez, professora da Faculdade de

Ciências Médicas da Santa Casa de São Paulo, que esteve ao meu lado, durante

todo o percurso, me ajudando de inúmeras formas e nunca me deixou desistir.

Às integrantes da banca de qualificação Drª Juliana Cristina Braga, Drª

Pollyana Notargiacomo Mustaro e Drª Daniella Curcio Franco pelas suas

contribuições para o presente estudo, por meio de indicações de aspectos que

precisavam de aperfeiçoamento.

A todos que acreditaram e me apoiaram.

Page 7: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

Abreviaturas e Símbolos

3D – 3 Dimensões ou Tridimensional

ACM – Association for Computing Machinery

AF – Antecedentes Familiares

AH – Avaliação Heurística

AP – Antecedentes Pessoais

AVA – Ambiente Virtual de Aprendizagem

BBC – British Broadcasting Corporation

CAA – Computer Assisted Assessment

CBL – Case-Based Learning

CPF – Cadastro de Pessoa Física

DI – Aplicação muito dependente de interpretação do avaliador da

interface

EF – Exame Físico

FAQ – Frequently Asked Questions

HCI – Human-Computer Interaction

HD – Hipótese diagnóstica

HDA – História da Doença Atual

HTML – HyperText Markup Language

ID – Identificação do paciente

IHC – Interação Humano-Computador

IS – Interrogatório Sintomatológico

MedCC – Medical Clinical Case

Mini-Cex – Mini-Clinical Evaluation Exercise

NIED – Núcleo de Informática Aplicada à Educação

OB – Aplicação clara e objetiva

OSE – Online Statistics Education

PBL – Problem-Based Learning

QD – Queixa principal e duração

SE – Sistema Eletrônico

TCLE – Termo de Consentimento Livre e Esclarecido

VLE – Virtual Learning Enviroment

Page 8: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

Sumário

1. INTRODUÇÃO ............................................................................................................................... 1

1.1 REVISÃO DE LITERATURA .......................................................................................................... 4

1.1.1 Avaliação da aprendizagem .............................................................................................. 4

1.1.2 Ferramentas eletrônicas para avaliação de aprendizagem ............................................ 10

1.1.2.1 Moodle .................................................................................................................................. 13

1.1.2.2 Blackboard® Learn ............................................................................................................... 16

1.1.2.3 Medical Clinical Case (MedCC) ............................................................................................ 18

1.1.3 Conceitos de interação humano-computador (IHC) ........................................................ 19

1.1.3.1 Avaliação de interfaces ........................................................................................................ 21

1.1.3.2 Avaliação heurística ............................................................................................................. 22

1.1.3.3 Revisão de guidelines .......................................................................................................... 24

1.1.4 Trabalhos relacionados ................................................................................................... 26

1.1.5 Considerações adicionais ................................................................................................ 34

2. OBJETIVOS ................................................................................................................................. 36

3. MATERIAL E MÉTODOS............................................................................................................. 37

3.1 METODOLOGIA PARA REVISÃO DE LITERATURA ......................................................................... 37

3.2 METODOLOGIA PARA DEFINIÇÃO DAS HEURÍSTICAS ESPECIALIZADAS ......................................... 38

3.3 METODOLOGIA PARA VALIDAÇÃO DAS HEURÍSTICAS ESPECIALIZADAS......................................... 40

4. RESULTADOS ............................................................................................................................. 53

4.1 HEURÍSTICAS ESPECIALIZADAS PARA SISTEMAS ELETRÔNICOS DE AVALIAÇÃO DA APRENDIZAGEM

BASEADA EM CASOS CLÍNICOS .............................................................................................................. 53

4.1.1 Análise dos recursos avaliativos disponíveis nos sistemas Moodle e Blackboard® ...... 53

4.1.1.1 Características e recursos positivos na interface do professor ............................................. 54

4.1.1.2 Características e recursos positivos na interface do aluno ................................................... 57

4.1.1.3 Características e recursos negativos na interface do professor ........................................... 58

4.1.1.4 Características e recursos negativos na interface do aluno ................................................. 61

4.1.2 Definição das heurísticas especializadas ........................................................................ 63

4.2 VALIDAÇÃO DAS HEURÍSTICAS ................................................................................................. 80

5. DISCUSSÃO ................................................................................................................................ 87

5.1 HEURÍSTICAS ESPECIALIZADAS PARA SISTEMAS ELETRÔNICOS DE AVALIAÇÃO DA APRENDIZAGEM

BASEADA EM CASOS CLÍNICOS .............................................................................................................. 88

5.2 VALIDAÇÃO DAS HEURÍSTICAS ................................................................................................. 99

6. CONCLUSÕES .......................................................................................................................... 115

7. CONSIDERAÇÕES FINAIS ....................................................................................................... 116

Page 9: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

8. ANEXOS ..................................................................................................................................... 118

ANEXO 1: CENÁRIOS DE INTERAÇÃO DO ALUNO ................................................................................... 118

ANEXO 2: CENÁRIOS DE INTERAÇÃO DO PROFESSOR ........................................................................... 120

ANEXO 3: FORMULÁRIO DE AVALIAÇÃO HEURÍSTICA DE USABILIDADE DA INTERFACE DO ALUNO .............. 122

ANEXO 4: FORMULÁRIO DE AVALIAÇÃO HEURÍSTICA DE USABILIDADE DA INTERFACE DO PROFESSOR ...... 123

ANEXO 5: INDICAÇÕES DOS PROBLEMAS DE USABILIDADE NO MEDCC APONTADAS DURANTE AS AVALIAÇÕES

HEURÍSTICAS REALIZADAS PARA A VALIDAÇÃO ..................................................................................... 124

9. REFERÊNCIAS BIBLIOGRÁFICAS .......................................................................................... 153

FONTES CONSULTADAS ................................................................................................................. 159

LISTAS E APÊNDICES ...................................................................................................................... 164

LISTA DE FIGURAS ............................................................................................................................. 164

LISTA DE QUADROS ............................................................................................................................ 166

LISTA DE TABELAS ............................................................................................................................. 167

APÊNDICE 1: TERMO DE CONSENTIMENTO LIVRE E ESCLARECIDO ......................................................... 168

APÊNDICE 2: PARECER DO COMITÊ DE ÉTICA EM PESQUISA ................................................................ 169

Page 10: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

1. Introdução

O ensino e aprendizagem na área médica vem sofrendo mudanças há alguns

anos, pois acreditava-se que o conhecimento se concretizava a partir da

memorização de teorias apresentadas pelo professor (Saviani, 2006), mas com o

tempo percebeu-se que era necessário compreender estas teorias e identificar onde

aplicá-las na prática (Botti e Rego, 2010).

As mudanças que vem ocorrendo levam a valorização de processos de ensino

e aprendizagem que buscam explorar as experiências práticas, fundamentadas

pelos conceitos teóricos e científicos, isto acontece tanto na graduação como na

pós-graduação. Segundo Botti e Rego (2010) a combinação de diversas formas de

conhecimentos é fundamental para o desenvolvimento do raciocínio diagnóstico e de

atitudes profissionais, sendo mais importante do que habilidades ou tarefas mentais

isoladas.

Neste contexto surgem várias propostas metodológicas que defendem o uso

de evidências, problemas e casos clínicos como meio de levar os alunos ao universo

da prática médica, ao mesmo tempo que recebem conceitos teóricos para fomentar

seu raciocínio e remetê-los a aquisição de conhecimento. Elas permitem que em

dado momento, conforme o nível de aprendizagem do aluno, sejam apresentadas

situações (casos) propondo que ele se posicione a respeito (Goldwasser, 2006;

Savaris, 2009; Sebastiani, 2012), permitindo uma avaliação mais ampla, que mostre

os aspectos nos quais os alunos precisam melhorar, além de oferecer ao professor

um cenário para reforçar conceitos importantes e que não foram bem assimilados.

A avaliação é um dos componentes do processo, sempre discutida devido sua

importância. Desde a década de 1990 são estudadas mudanças na forma de avaliar,

propondo o abandono do método somativo, que verifica o desempenho do aluno

utilizando testes e provas, oferecendo um resultado quantitativo final, ao término do

curso (Sousa e Heinisch, 2012), para o formativo, que é definido por Perrenoud

(1999, p. 78) como “toda prática de avaliação contínua que pretenda contribuir para

melhorar as aprendizagens em curso...”, neste último o trabalho do professor precisa

ser diferenciado, requer maior dedicação às “avaliações” do que no método

somativo. Além disso, ela acontece durante todo o processo de ensino, não só ao

final. Por outro lado, ela permite acompanhar o desenvolvimento gradual do aluno,

Page 11: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

2

ajudando a detectar dificuldades à medida em que estas vão sendo reveladas.

A avaliação sempre foi vista como uma forma de medir o quanto o aluno

aprendeu sobre um determinado conteúdo proposto no currículo acadêmico, mas ela

permite muito mais do que isso. Com metodologias e ferramentas adequadas, é

possível acompanhar continuamente o desenvolvimento do aluno, dando ao

professor condições de orientá-lo de forma adequada durante todo processo de

ensino e aprendizagem, revendo estratégias e propondo discussões e reflexões.

A maioria dos debates sobre avaliação se concentram na perspectiva do aluno,

na aquisição ou não de conhecimento, se ele sente-se inseguro ou prejudicado pela

forma como o professor avalia. Mas também é importante refletir sobre o processo

de avaliação do ponto de vista do professor, que prepara, aplica, corrige e discute os

resultados obtidos pelos alunos, precisa ser considerado que em todas as etapas ele

dispõe de tempo, normalmente superior ao previsto, e que há um desgaste

emocional durante a aplicação e correção. Assim como, independente da estratégia

de avaliação adotada, espera-se que o resultado obtido possa guiá-lo por novos

caminhos de ensino (Perrenoud, 1999).

A problemática relacionada ao processo avaliativo está presente em todos os

níveis de ensino e em todas as áreas do conhecimento. Portanto é necessário que

se busque maneiras de colaborar com esta atividade, para diminuir as dificuldades

tanto para os alunos como para os professores.

Pereira et al. (2007) afirmam que o avanço e desenvolvimento tecnológico, a

partir da segunda metade do século XX, impulsionaram e estão transformando a

maneira de ensinar e de aprender.

As ferramentas disponíveis são diversificadas, desde aplicativos que ensinam

algo específico, como formas geométricas, até sistemas mais complexos utilizados

para gerenciar cursos a distância ou apoiar o ensino presencial, tendo cada uma

suas próprias características e funcionalidades (Franciscato et al., 2008).

Neste contexto, se enquadram as ferramentas eletrônicas para avaliação, que

podem contribuir automatizando algumas etapas e oferecendo recursos

diferenciados para o processo. Elas são encontradas na forma de aplicativos

especializados na elaboração de questões e criação de provas, ou como módulos

inseridos em sistemas mais amplos.

Entre os diferentes recursos disponíveis nestes sistemas, tem maior destaque

para a avaliação formativa os fóruns e chats; e para a somativa, os questionários.

Page 12: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

3

Embora existam estes e outros, e que tenham utilização reconhecida, é importante

analisar se atendem satisfatoriamente ao que é necessário para verificar o

aprendizado, ou seja, se estão adequados para que o professor elabore a avaliação

de forma clara e legível, resultando na apresentação de uma atividade condizente

com o que é mais apropriado para o conteúdo e entendimento do aluno. Além disso,

devem permitir a interação do usuário de forma que seu desempenho não seja

comprometido.

Na educação médica a utilização de recursos multimídia e de instrumentos

diferenciados na avaliação da aprendizagem, podem enriquecer o processo,

colaborando para o entendimento e aquisição de conhecimento por parte do aluno.

Mas isto só ocorre se forem oferecidos de forma adequada e se o professor os

aplicar de maneira estratégica.

Um dos aspectos que tem impacto sobre o sucesso na utilização de uma

ferramenta informatizada é a usabilidade da interface, ou seja, o que ela oferece

para que o usuário consiga interagir com o sistema.

Nas últimas décadas a área de Interação Humano-Computador (IHC) se

destacou por buscar soluções para as dificuldades percebidas no uso dos sistemas

eletrônicos. A necessidade do usuário interagir facilmente com eles estimulou o

desenvolvimento de pesquisas, procurando identificar modelos e métodos que

pudessem proporcionar às pessoas maior controle sobre os mesmos (Rocha e

Baranauskas, 2003). Dentro deste contexto foram iniciadas avaliações de

usabilidade dos sistemas, possibilitando diagnosticar problemas e propor soluções.

Na IHC são definidos princípios de usabilidade e guidelines para design de

interfaces, que têm como objetivo orientar o desenvolvimento e a avaliação da

usabilidade dos sistemas (Rocha e Baranauskas, 2003).

Considerando as dificuldades encontradas pelas pessoas na utilização das

ferramentas informatizadas e as características do processo de avaliação da

aprendizagem, entende-se que é importante que as interfaces de sistemas

eletrônicos destinados à esta tarefa, sejam projetadas para oferecer facilidades,

recursos diversificados e úteis e não se caracterizar como mais um elemento

complicador, principalmente em áreas como a educação em saúde, na qual há a

utilização de multimídias, bases de conhecimento, recursos automatizados, entre

outras possibilidades que podem ser oferecidas pela informática.

Portanto, este trabalho pretende estudar e propor heurísticas de usabilidade

Page 13: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

4

que norteiem o desenvolvimento e inspeção de interfaces de sistemas eletrônicos

para avaliação da aprendizagem baseada em casos clínicos, contribuindo assim,

para minimizar a ocorrência de problemas e dificuldades no uso destas ferramentas,

e facilitar a interação com recursos que colaborem positivamente no processo de

criação e aplicação de uma atividade avaliativa, tanto do ponto de vista do aluno,

como do professor.

Assim, a seguir é apresentada a revisão da literatura realizada para o

desenvolvimento do estudo. Seguida dos objetivos; materiais e métodos para a

revisão de literatura, definição e validação das heurísticas; resultados contendo a

definição das heurísticas e a validação; discussão das heurísticas especializadas e

validação e por fim as conclusões.

1.1 Revisão de literatura

Esta revisão apresenta os principais conceitos e objetivos da avaliação da

aprendizagem, mostrando com mais detalhe a avaliação baseada em casos clínicos.

Em seguida descreve as principais características dos módulos para avaliação da

aprendizagem das ferramentas eletrônicas Moodle, Blackboard® e MedCC, que são

utilizadas neste estudo. São apresentados conceitos sobre Interação humano-

computador (IHC), buscando explicar seus objetivos, área de atuação e avaliação de

interfaces, e por fim uma revisão sistemática sobre propostas e validações de

heurísticas de usabilidade e guidelines para design em IHC.

1.1.1 Avaliação da aprendizagem

A avaliação tem um papel fundamental no processo de ensino, considerada

como um instrumento de aprendizagem, gera muitas discussões, principalmente

sobre sua finalidade e a forma como deve ser realizada para atingir os objetivos a

que se propõe (Oliveira e Santos, 2005; Zeferino e Passeri, 2007; Moraes, 2011).

O entendimento do que seja avaliar é fundamental para que o processo

aconteça satisfatoriamente. Em seu trabalho, Luckesi (p. 69, 2006) cita que a

avaliação é "... um juízo de qualidade sobre dados relevantes, tendo em vista uma

Page 14: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

5

tomada de decisão". Para Zeferino e Passeri (p. 40, 2007) "avaliar a aprendizagem

significa determinar as competências adquiridas por meio de aspectos quantitativos

e qualitativos do comportamento humano", já Perrenoud (1999) cita que:

"Avaliar é – cedo ou tarde – criar hierarquias de excelência, em função das

quais se decidirão a progressão no curso seguido, a seleção no início do

secundário, a orientação para diversos tipos de estudos, a certificação antes

da entrada no mercado de trabalho e, frequentemente, a contratação.

Avaliar é também privilegiar um modo de estar em aula e no mundo,

valorizar formas e normas de excelência, definir um aluno modelo, aplicado

e dócil para uns, imaginativo e autônomo para outros [...]" (p. 9).

O ato de avaliar sempre esteve presente na sociedade, considerando que os

indivíduos avaliam e são avaliados frequentemente, de forma consciente ou não

(Serapompa, 1999; Oliveira e Santos, 2005).

Luckezi (2006) e Perrenoud (1999) acreditam que a prática da avaliação

normalmente se apresenta de forma autoritária, classificando os alunos a partir de

um padrão de excelência, quando deveria estar colaborando para a aprendizagem,

identificando os pontos onde são necessárias maior atenção e dedicação, tanto dos

professores como dos alunos.

A avaliação tem objetivos definidos, que podem variar conforme as

metodologias empregadas (Sordi, 2000). Entretanto pode-se afirmar que o principal

deles é verificar se houve a aquisição satisfatória de conhecimento a respeito de um

conjunto de conceitos, procedimentos e práticas. Quando aplicada durante o

andamento de um curso, a avaliação possibilita rever e alterar a forma de abordar o

conteúdo que se deseja ensinar ao aluno (Perrenoud, 1999).

Segundo Luckesi (2006) a avaliação tem como objetivo verificar se os

resultados planejados estão sendo obtidos e se necessário permear decisões que

conduzam a eles. Afirma ainda que a avaliação deve possibilitar uma qualificação da

aprendizagem do aluno e não uma simples classificação.

É necessário considerar que qualquer que seja o método de avaliação

adotado, é fundamental que ele seja aplicado adequadamente (Sordi, 2000) e que o

uso de um não exclua o outro. Para a realização de um processo avaliativo eficiente,

é importante que aluno e professor estejam comprometidos com a ação e que haja

instrumentos adequados ao conhecimento que se pretende avaliar (Sordi, 2000;

Page 15: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

6

Punhagui e Souza, 2011).

Ao planejar a avaliação, o professor precisa identificar seus objetivos, ou seja,

quais conhecimentos deseja verificar se o aluno adquiriu. Apenas após considerá-

los, recomenda-se escolher o método a ser utilizado e definir os critérios de

avaliação (Fenili, 2002; Otsuka e Rocha, 2005; Garcia, 2009; Punhagui e Souza,

2011). Este planejamento orienta o professor no processo avaliativo e serve para

que o aluno entenda a importância do que foi ensinado e saiba como está sendo

avaliado.

A escolha do instrumento de avaliação deve ser feita em função da natureza

do que se deseja verificar: raciocínios, práticas ou atitudes; das competências

envolvidas na educação profissional: técnica, tecnológica ou gerais; e finalidade da

avaliação: diagnóstica, formativa ou somativa (Depresbiteris, 1998).

Existem diversos instrumentos avaliativos disponíveis. No Quadro 1 são

apresentados alguns deles, indicados na literatura, juntamente com o público no

qual foi utilizado pelo estudo referido.

QUADRO 1: Instrumentos de avaliação indicados na literatura

Instrumentos Público alvo

Mapa conceitual, observação, portfólio, projeto, entrevista, teste, prova, relatório, roteiro, pesquisa, dramatização e fórum (Depresbiteris,1998).

Não determinado no estudo

Prova teórica ou prática, atividade de campo, resumo, observação, trabalho, seminário, atividade teórico-prática, estudo de situação, ficha de leitura, elaboração de planejamento, relatórios de atividade prática ou não, teste teórico-prático, processo simplificado, projeto e estágio (Fenili, 2002).

Graduação em Enfermagem

Prova escrita, prova oral, portfólio, avaliações práticas, discussão de casos clínicos, Mini-Cex, observação, avaliação por pares e auto avaliação (Zeferino e Passeri, 2007).

Graduação em Medicina e Residência Médica

Teste, estudo de caso, portfólio, mapa conceitual e resolução de problemas (Garcia, 2009).

Não determinado no estudo

Prova teórica, portfólio, avaliação estruturada e conceito global itemizado (Domingues et al, 2010)

4º ano de graduação em Medicina

Tarefa complexa, observação, projeto, auto avaliação, avaliação por pares e portfólio (Punhagui e Souza, 2011).

Qualificação em ensino de língua inglesa da Universidade de Cambrigde

Além de poder contar com instrumentos avaliativos adequados o professor

Page 16: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

7

também precisa ter meios de fornecer ao aluno o feedback sobre seu desempenho,

para que o mesmo compreenda em que aspectos precisa aprimorar seus

conhecimentos (Garcia, 2009). Segundo Zeferino e Passeri (2007) quanto antes o

aluno obtiver o feedback de sua avaliação melhor poderá ser a recuperação de suas

dificuldades.

A avaliação da aprendizagem é sem dúvida muito importante em todas as

etapas do processo de ensino, e deve ser feita de forma continua e sistematizada

para oferecer ao aluno o retorno necessário, assumindo uma função orientadora e

não seletiva (Zeferino e Passeri, 2007).

Na área da saúde a avaliação é realizada de diversas formas, conforme a

disciplina, o conteúdo e até mesmo o nível de formação que está sendo proposto.

No Quadro 1 observa-se que três dos trabalhos citados são voltados para esta área,

e é possível notar a variedade de instrumentos avaliativos adotados. Entre eles,

encontra-se a discussão de casos clínicos, utilizada também como meio de ensino,

ela é denominada como aprendizagem baseada em casos e vem sendo adotada por

muitas instituições de ensino superior, tendo sido utilizada inicialmente em Harvard

no início do século XX (Baeten et al, 2013).

Nesta metodologia de ensino e aprendizagem, os alunos são desafiados por

meio de problemas complexos envolvendo situações do mundo real, levando-os à

análise crítica e fazendo com que criem ligações entre os conceitos oferecidos e a

prática, utilizando suas capacidades cognitivas (Kim et al, 2006; Segers et al, 2008;

Nordquist et al, 2012).

A aprendizagem baseada em casos (Case-Based Learning - CBL) não deve

ser confundida com a aprendizagem baseada em problemas (Problem-Based

Learning - PBL), a primeira trabalha com um método de investigação guiada, com a

estrutura mais definida e controlada, a segunda promove uma discussão mais aberta

e pouco estruturada, deixando livre o pensamento crítico (Srinivasan, 2007).

A avaliação de aprendizagem baseada em casos clínicos adota a mesma

metodologia da CBL e segundo Segers et al (2008) tem sido adotada em programas

educacionais regulares. Contando com uma estrutura básica composta

principalmente por: materiais sobre o caso e perguntas relacionadas. Estes materiais

podem ser de qualquer tipo (texto, imagem, som, etc) e tem como finalidade oferecer

informações pertinentes ao caso, para que o aluno analise e possa tomar decisões.

As perguntas são feitas a ele para que, a partir da análise, registre suas escolhas.

Page 17: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

8

Ambos podem ser intercalados e apresentados gradativamente (Hooper et al, 1998;

Schuwirth, 2005; Langendyk, 2006; Segers et al, 2008; Struyven et al, 2008; Baeten

et al, 2013). Um caso clínico é composto normalmente pelos elementos descritos no

Quadro 2 (Porto e Porto, 2013):

QUADRO 2: Composição de um caso clínico

Elemento Descrição

Identificação do paciente

(ID)

Perfil sociodemográfico do paciente, composto pelo: nome, idade,

sexo/gênero, etnia, estado civil, profissão atual e anterior, local de

trabalho, naturalidade, procedência, residência atual e anterior, nome da

mãe, nome do responsável, religião e plano de saúde.

Queixa principal e

duração (QD)

Queixa principal, ou seja, motivo que levou o paciente a procurar ajuda e

há quanto tempo está ocorrendo.

História da Doença Atual

(HDA)

Registro cronológico e detalhado de tudo que se relaciona à doença

atual: sintomatologia, época de início, evolução, entre outros.

Interrogatório

Sintomatológico (IS)

Interrogatório sobre os sistemas do paciente, que permite ao médico

levantar hipóteses de diagnósticos.

Antecedentes pessoais

(AP)

Informações sobre a vida e costumes do paciente. Por exemplo:

condições de parto, alergias, cirurgias, etc.

Antecedentes familiares

(AF)

Informações sobre a família do paciente e suas condições de trabalho e

vida. Procura-se alguma relação de hereditariedade das doenças.

Hábitos de Vida Informações sobre os hábitos e estilo de vida do paciente. É importante o

registro de uso de tabaco, bebidas alcoólicas, etc.

Exame físico (EF) Informações e estado físico do paciente (peso, estatura, pressão arterial

e temperatura). Neste exame podem ser percebidos sintomas físicos.

Exames complementares Exames necessários para colaborar ou confirmar a hipótese diagnóstica.

Hipóteses diagnósticas

(HD)

Formulações provisórias de diagnóstico que direcionam o atendimento

Diagnóstico Identificação do problema que gerou a queixa do paciente.

Conduta (terapêutica e

tratamento)

Decisões e ações adotadas para o tratamento do paciente, no momento

atual e durante todo o processo. Exemplos: opções de tratamento,

controlar da evolução, intervenção no tratamento, administração das

complicações e identificação de associações.

Desfecho/Prognóstico Como terminou o atendimento/tratamento do paciente

Alguns dos elementos apresentados no Quadro 2, são oferecidos ao aluno

durante a avaliação, mas outros devem ser decididos por ele, como por exemplo a

hipótese diagnóstica (HD). O diagrama da Figura 1 mostra processo de aplicação da

Page 18: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

9

avaliação baseada em casos clínicos.

FIGURA 1: Exemplo de etapas de realização da avaliação baseada em casos clínicos.

Fonte: Hernadez et al (2012)

Normalmente o objetivo deste formato de avaliação é verificar se o aluno

adquiriu os conhecimentos necessários para conduzir a consulta e o tratamento de

um paciente e para tanto, ele precisa demonstrar coerência no atendimento.

O caso clínico tem uma sequência lógica, iniciando na anamnese, seguida, se

necessário, da solicitação de exames, tratamento, retorno (a partir do qual o ciclo é

reiniciado) e desfecho. Para que o aluno seja considerado proficiente, precisa ser

capaz de conduzir de forma apropriada o que está descrito acima, como por

exemplo, solicitar exames somente quando necessário e pertinentes ao caso.

Curtis et al (2012), em um estudo feito com alunos do curso de Educação

Odontológica da Universidade da Califórnia, explica que o uso da avaliação baseada

em casos clínicos requer do aluno maior preparo cognitivo, pois ele precisa do

julgamento clínico. Afirmam que este método oferece vantagens na avaliação de

Page 19: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

10

habilidades práticas e permite que o aluno proponha soluções em domínios nos

quais ainda não tem amplo conhecimento.

Segundo Segers et al (2008) os métodos de avaliação interferem na forma

como os alunos estudam, havendo mais ou menos dedicação e aprofundamento nos

conceitos de acordo com a maneira como o professor apresenta e avalia os

conhecimentos, neste sentido o uso de casos pode levá-los a criar relações entre

diversas disciplinas da área de estudo, construindo um conhecimento mais amplo e

voltado para a prática.

Devido a importância da avaliação da aprendizagem, é fundamental que haja

recursos eficientes para colaborar com alunos e professores na realização adequada

da mesma. Neste caso, uma das possibilidades é o uso de ferramentas eletrônicas,

que podem contribuir automatizando partes do processo e permitindo a variação dos

formatos em que ela é oferecida. É importante que se destaque que o preparo do

professor e o comprometimento do aluno são essenciais para que a avaliação

cumpra seu papel, embora estes aspectos não sejam tratados neste estudo.

1.1.2 Ferramentas eletrônicas para avaliação de aprendizagem

A informática tem possibilitado o uso de ferramentas digitais para

disponibilizar conteúdos didáticos (vários formatos), facilitar a comunicação entre

alunos e professores e ampliar e diversificar recursos para avaliação da

aprendizagem (Otsuka e Rocha, 2005; Silva e Santos, 2006).

Estas ferramentas podem ser encontradas na forma de sistemas específicos,

como por exemplo o HotPotatoes1, o iTest2 e o MedCC3, ou inseridas como módulos

nos Ambientes Virtuais de Aprendizagem (AVA), exemplos: Moodle, Blackboard® e

TelEduc. Todos oferecem opções para criação de questões, havendo variação nos

formatos das mesmas. Nos AVAs, são oferecidas também, ferramentas como fóruns

de discussão, chats, blogs, portfólios, entre outras, voltadas para avaliação formativa

(Pimentel et al, 2012; Blackboard, 2013; MedCC, 2013; Moodle, 2013; NIED, 2013;

Querido, 2013; Tomlein, 2013).

1 Disponível em: http://hotpot.uvic.ca/ 2 Disponível em: http://itest.sourceforge.net/ 3 Disponível em: http://www.clinicalcaselearning.com

Page 20: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

11 QUADRO 3: Representação dos instrumentos avaliativos em meios eletrônicos para avaliação da aprendizagem

Característica Instrumento avaliativo Recurso eletrônico

Diagramas Mapa conceitual Tarefa (envio de arquivo) e resposta

arquivo

Elaboração de documento

textual, com ou sem

ilustrações

Projeto, relatório, roteiro, pesquisa, atividade de campo, resumo, trabalho,

atividade teórico-prática, elaboração de planejamento, relatórios de atividade

prática, estudo de caso, estudo de situação e resolução de problemas

Tarefa (envio de arquivo) ou

preenchimento online

Resposta em forma de

arquivo

Prova prática4, seminário e tarefa Tarefa (envio de arquivo) e resposta

arquivo

Realizada através de

comunicação, discussão ou

exposição de opinião

Observação, entrevista, fórum, discussão de casos clínicos e estudo de caso Fórum (envio de textos e anexos) e

chat (troca de mensagens)

Realizada através de

comunicação visual ou oral

Prova oral, discussão de casos clínicos e estudo de caso Fórum e chat (somente com

comunicação por áudio ou vídeo)

Registro de atividades

desenvolvidas

Portfólio Tarefa online

Diário (não considerado avaliação)

Realizada através de

perguntas de autocorreção ou

dissertativas

Teste, prova teórica, ficha de leitura e Mini-Cex Questionário (vários tipos de

perguntas podendo inserir imagens e

links)

Pode ser em qualquer um dos

formatos anteriores, mas

quem avalia são os próprios

alunos

Avaliação por pares e auto avaliação Laboratório de avaliação (envio de

arquivo e controle das avaliações e

submissões)

4 O uso deste instrumento de avaliação em um sistema eletrônico depende da disciplina, ou seja, para avaliar se o aluno sabe realizar um procedimento cirúrgico, não é possível usar. Mas se for uma prova de programação de computador, é possível, pois o aluno pode enviar a resolução em arquivo.

Page 21: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

12

11

Alguns recursos são encontrados na maioria dos sistemas (questionários e

fóruns), variando conforme o tamanho e complexidade destes. No Quadro 3 são

apresentados cada um deles e a forma como podem ser utilizados em um sistema

eletrônico de avaliação.

Estes instrumentos permitem a utilização de ferramentas eletrônicas para

representá-los, mas é preciso verificar se os recursos disponíveis oferecem uma

interação satisfatória, ou seja, se são adequados aos seus objetivos. O que significa,

que eles devem fornecer meios para o professor propor a avaliação de forma clara,

apresentando recursos que permitam oferecer aos alunos todas as informações

necessárias, em qualquer que seja o formato (Choules, 2007) e também facilitar o

processo de correção das atividades e feedback a ser dado ao aluno (Pimentel et al,

2012).

Por outro lado, os sistemas também devem proporcionar aos alunos uma

interação objetiva, na qual eles realizem atividades sem preocupação com a

tecnologia, se possível dispor de mecanismos que o auxiliem no processo de

realização.

Segundo Choules (2007), na educação médica, as ferramentas eletrônicas

podem contribuir aumentando os formatos nos quais as informações podem ser

oferecidas, enriquecendo topo o processo de ensino e aprendizagem.

No âmbito da aprendizagem baseada em casos (CBL), existem ferramentas

eletrônicas desenvolvidas para auxiliar esta metodologia, disponibilizando casos

clínicos que podem ser estudados por alunos em todos os níveis de ensino,

permitindo a interação com situações clínicas que não são frequentes (Losekann et

al, 2007; Pinto et al, 2010; Silva et al, 2010; Sebastiani et al, 2012). Para avaliação

baseada em casos clínicos não foram encontrados outros sistemas além do MedCC.

Neste estudo são apresentados os recursos avaliativos do Moodle,

Blackboard® e MedCC, com o objetivo de mostrar o que eles oferecem para a

avaliação e de que forma.

O primeiro sistema descrito será o Moodle, seguido do Blackboard®, ambos

desenvolvidos para permitir a utilização em qualquer área de conhecimento, não

possuindo recursos especializados.

Page 22: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

13

1.1.2.1 Moodle

O Moodle é um sistema com recursos para criação de cursos na web, que

está atualmente na versão 2.6, ele oferece ferramentas para disponibilização de

conteúdo, comunicação e avaliação (Moodle, 2013).

O seu objetivo é oferecer aos educadores ferramentas que possam ser

utilizadas de forma variada, adequando-se às necessidades do modelo pedagógico

adotado por eles ou pela instituição de ensino. Originalmente sua proposta é

trabalhar com o modelo construtivista (Moodle, 2013).

As ferramentas de avaliação são chamadas de “Atividades”, com elas é

possível trabalhar adotando os princípios de avaliação formativa, somativa ou

diagnóstica. São identificadas como: base de dados, chat, escolha, fórum, glossário,

laboratório de avaliação, lição, tarefa, wiki e questionário (Alves et al, 2012). A seguir

serão descritas cada uma delas:

Base de dados: permite criar um repositório no qual os participantes podem

acrescentar informações e arquivos. Por exemplo, o professor pode solicitar uma

pesquisa sobre uma determinada doença, onde cada aluno deverá buscar

informações sobre um aspecto específico (por exemplo: sintomas) e inserir o que

encontrar na base de dados. Desta forma os alunos estarão contribuindo para

construção de um repositório sobre a doença, que poderá ser utilizado por eles. Por

outro lado, o professor poderá avaliar o aluno por meio de sua participação.

Chat: mecanismo de comunicação síncrona que permite criar uma sala de

“bate bapo” para troca de mensagens entre os participantes do curso. Ele pode ser

utilizado pelo professor para promover um debate, em tempo real, sobre um tópico

do curso. No decorrer do debate os alunos compartilham conhecimento, aprendem e

ao mesmo tempo o professor pode avaliar as postagens e verificar como está o

conhecimento e participação deles.

Escolha: permite criar enquetes para serem respondidas pelos participantes

do curso. O professor pode utilizá-la para avaliar o conhecimento do grupo de alunos

sobre um tópico mais específico, como por exemplo perguntar que medicamento o

aluno prescreveria no tratamento de cefaléia.

Fórum: mecanismo de comunicação assíncrona que permite criar um ou mais

tópicos de assunto para discussão entre os participantes do curso. Por exemplo, o

Page 23: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

14

professor pode cria um fórum, iniciando-o com a descrição de um caso clínico, e

solicitar que os alunos postem as condutas que adotariam para aquela situação.

Simultaneamente o professor avalia as participações e pode postar informações

complementares sobre o paciente fictício.

Glossário: permite criar uma lista de definições e conceitos que os próprios

alunos inserem, é como um dicionário ou “perguntas mais frequentes” (FAQ). Desta

forma eles contribuem para construção de um glossário, que pode ser utilizado por

todos e por outro lado, o professor pode avaliar as participações.

Laboratório de Avaliação: propõe criar uma atividade de avaliação por

pares, como uma oficina, ou seja, os próprios participantes avaliam as atividades

uns dos outros.

Lição: permite criar uma avaliação que ofereça conteúdos explicativos

intercalados por perguntas relacionadas a eles, e o avanço do participante acontece

de acordo com suas respostas a cada grupo de perguntas.

Tarefa: permite definir uma atividade para a qual os participantes, devem

enviar a resposta em arquivo. Ela também possibilita que o professor configure para

o aluno enviar a resposta por meio de formulário online.

Wiki: permite a criação colaborativa de conteúdo usando páginas web, ou

seja, os participantes poderão contribuir na construção de um espaço onde serão

colocados conceitos e conhecimentos para eles e para outros. Por outro lado, o

professor poderá avaliar o aluno por meio de sua contribuição.

Questionário: permite a criação de uma avaliação com perguntas de

diversos tipos, 12 no total, desde questões de autocorreção até as que precisam ser

avaliadas posteriormente pelo professor. Nesta atividade, há paralelamente a

criação das questões, que pode ser feita diretamente no questionário ou no banco

de questões que o sistema oferece. No Quadro 4 são descritos, brevemente, cada

um dos tipos disponíveis.

Page 24: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

15

QUADRO 4: Tipos de questões oferecidas pelo Moodle

Tipo Descrição/característica

Associação É pedido ao aluno que associe informações com conceitos.

Calculada Permite trabalhar com cálculos numéricos.

Calculada Simples Permite trabalhar com cálculos numéricos de forma mais simplificada.

Ensaio Permite que o aluno escreva textos mais longos. (correção manual)

Múltipla Escolha

Permite que, para uma pergunta (podendo incluir uma imagem), o aluno

escolha respostas múltiplas. Existe a possibilidade de configurar a questão

para aceitar somente uma resposta ou várias.

Calculada de

Múltipla Escolha

É como uma questão de múltipla escolha. Permite a inclusão de uma

imagem, assim como a opção de estabelecer respostas múltiplas.

Numérica Esta questão aceita somente resposta numérica e permite que seja

configurada uma margem de erro para a mesma.

Resposta Curta

Esta questão permite que o aluno escreva a resposta usando somente uma

linha. (correção manual)

Correspondência de

Resposta Curta

Randômica

A criação deste tipo de questão requer que existam no banco de questões

ao menos duas questões do tipo "Resposta Curta". Havendo, pega-se

aleatoriamente algumas delas e o conjunto é transformado em uma

questão do tipo Associação.

Resposta Embutida

Consiste em um trecho de texto contendo perguntas de resposta curta ou

de múltipla escolha embutidas nele. Se parece com preenchimento de

lacunas.

Falso/Verdadeiro Apresenta uma afirmativa e o aluno deve escolher se ela é Falsa ou

Verdadeira.

Descrição A descrição não é um tipo de pergunta, mas simplesmente um texto que

será exibido sem a necessidade de respostas, semelhante a um rótulo.

Os tipos de atividades sugerem uma ou outra modalidade de avaliação

(diagnóstica, formativa ou somativa) por suas características, mas isto não significa

que o professor, usando suas habilidades didáticas não possa combiná-las.

O sistema oferece uma área para gerenciamento de notas que mostra as

avaliações dos alunos e as pontuações obtidas, quando disponíveis. Quando não,

permite que o professor acesse a resposta do aluno, avalie e informe a nota,

podendo a qualquer momento, gerar um arquivo para uma planilha eletrônica com

as informações dos alunos.

Page 25: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

16

1.1.2.2 Blackboard® Learn

O Blackboard® é um sistema com recursos para criação de cursos na web,

que está atualmente na versão SP10, ele dispõe de ferramentas para colocação de

conteúdo, comunicação e avaliação (Blackboard, 2013).

As ferramentas para avaliação da aprendizagem estão disponíveis em dois

locais principais: na área de conteúdo e no menu lateral esquerdo. Tais ferramentas

atendem à avaliação somativa, formativa e diagnóstica, sendo identificadas como:

chat, fórum, exercício e teste (Alves et al, 2012). A seguir são descritas cada uma

delas:

Chat: mecanismo de comunicação síncrona que permite criar uma sala de

“bate-bapo” para troca de mensagens entre os participantes do curso. Ele pode ser

utilizado pelo professor para promover um debate, em tempo real, sobre um tópico

do curso. No decorrer do debate os alunos compartilham conhecimento, aprendem e

ao mesmo tempo o professor pode avaliar as postagens e verificar como está o

conhecimento e participação.

Fórum: mecanismo de comunicação assíncrona que permite criar um ou mais

tópicos de assunto para discussão entre os alunos do curso. Por exemplo, o

professor pode cria um fórum, iniciando-o com a descrição de um caso clínico, e

solicitar que os alunos postem as condutas que adotariam para aquela situação.

Simultaneamente o professor avalia as participações e pode postar informações

complementares sobre o paciente fictício.

Exercício: permite definir uma atividade na qual os participantes enviam a

resposta em arquivo.

Teste: permite a criação de uma avaliação com perguntas de diversos tipos,

17 no total, desde questões de autocorreção até as que precisam ser avaliadas

posteriormente pelo professor. Existe a possibilidade de criação das perguntas

diretamente no teste ou no banco de questões oferecido pelo sistema. No Quadro 5

são descritos, brevemente, cada um dos tipos disponíveis.

Page 26: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

17

QUADRO 5: Tipos de questões oferecidas pelo Blackboard®

Tipo Descrição/característica

Correspondência Solicita que os alunos relacionem itens de uma coluna aos de outra,

podendo incluir um número diferente de itens na coluna de perguntas e

de respostas para aumentar o grau de dificuldade.

E/OU Pede a escolha entre Verdadeiro/Falso ou Sim/Não.

Escala de Opinião

(ou escala likert)

Avalia atitudes ou reações usando uma escala comparável, algo como

uma pesquisa de opinião.

Fórmula Calculada Contém uma fórmula com variáveis que mudam para cada usuário.

Frase Confusa Pergunta com lacunas de múltipla escolha para as quais os alunos devem

escolher a palavra correta entre as oferecidas em um menu.

Hot Spot Pede a identificação de uma área em um arquivo de imagem. A área é

definida por coordenadas em pixels e, se os alunos clicarem na faixa de

pixels, a resposta será registrada como correta.

Múltipla Escolha Permite aos alunos escolherem uma resposta correta entre várias.

Ordenação Pede que os alunos coloquem uma série de itens na ordem correta.

Preencha os espaços

em branco

Neste tipo de questão a resposta é pontuada com base na

correspondência de texto exato. Não diferencia letras maiúsculas e

minúsculas, mas utiliza a base ortográfica.

Preencha os vários

espaços em branco

Pede preenchimento de lacunas múltiplas, usa variáveis para identificar

diversas partes do texto inserido.

Quiz Bowl Pede que a resposta seja na forma de uma pergunta.

Redação Pede uma resposta dissertativa. (correção manual)

Resposta Abreviada Pede respostas em uma ou mais caixas de texto.

Resposta do Arquivo Pede um arquivo como resposta.

Resposta Múltipla Permite a escolha de uma ou mais respostas corretas entre várias.

Valor Numérico

Calculado

Solicita que o usuário envie uma resposta numérica.

Falso/Verdadeiro Exibe duas opções de resposta: verdadeiro e falso.

As ferramentas podem ser utilizadas em um ou outro método de avaliação

(diagnóstica, formativa ou somativa), mas dependendo dos objetivos didáticos do

professor, podem ser combinadas.

O sistema oferece um centro de gerenciamento de notas que mostra as

avaliações dos alunos e as pontuações obtidas, quando disponíveis. Independente

disso, permite que o professor acesse a resposta do aluno, avalie e informe a nota,

podendo a qualquer momento gerar um arquivo para uma planilha eletrônica com as

informações dos alunos.

Page 27: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

18

Os dois sistemas apresentados anteriormente oferecem inúmeros recursos

avaliativos, não tendo uma área de aplicação específica. Esta característica,

favorece a ampla utilização, mas pode ser um obstáculo para avaliações baseadas

em casos clínicos, pois estas têm uma estrutura mais especializada. Diante disso, é

apresentado a seguir, uma ferramenta computacional desenvolvida para este

formato específico de avaliação.

1.1.2.3 Medical Clinical Case (MedCC)

O MedCC é um sistema especializado, com recursos para criação de

avaliações baseada em casos clínicos, desenvolvido a partir da colaboração entre

um grupo de docentes. Atualmente ele está na versão 2.

A ferramenta oferece recursos que permitem a criação da avaliação em

formato de caso clínico ou teste. Para o primeiro, além das questões, haverá uma

descrição inicial sobre o paciente, para a partir dela ser possível fazer os

questionamentos referente aos diagnósticos e condutas a serem adotadas

(Hernandez et al, 2012).

No MedCC uma avaliação é chamada de prova e pode conter um ou mais

textos descritivos com informações do paciente, sendo, para cada um deles,

associado um conjunto de questões de um dos tipos oferecidos pelo sistema, 10 no

total, todas de autocorreção (MedCC, 2013). No Quadro 6 são apresentadas breves

descrições de cada tipo.

Estão disponíveis quatro relatórios: notas, evento por prova, evento por

questão e estatísticas por prova. Eles mostram as avaliações dos alunos e as notas

obtidas. No capítulo 3 serão apresentados maiores detalhes sobre eles.

Page 28: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

19

QUADRO 6: Tipos de questões oferecidas pelo MedCC

Tipo Descrição/característica

Composta Este tipo de questão tem como resposta sim ou não e dependendo da escolha

feita pelo aluno surgirá outra pergunta, em formato de escrita livre (texto curto).

Correspondência Apresenta ao aluno duas lista de itens que devem ser relacionados.

Direta Apresenta uma pergunta e espera uma ou mais respostas em texto livre breve.

Escolha Múltipla Oferece um conjunto de itens e permite ao aluno escolher mais de um como

resposta.

Escolha Única Oferece um conjunto de itens e permite ao aluno escolher apenas um como

resposta.

Falso/Verdadeiro Apresenta a pergunta e várias afirmativas, devendo o aluno assinalar cada uma,

como falsa ou verdadeira.

Medicamento Apresenta uma pergunta referente ao tratamento de uma condição clínica e o

aluno deve indicar um ou mais medicamentos (nome, doses, protocolos, etc).

Prioridade Apresenta o enunciado e um número de respostas. É pedido ao aluno que

coloque as respostas na ordem de prioridade correta.

Sub-questões Apresenta um enunciado principal e outros secundários com itens associados,

entre os quais o aluno deve escolher a resposta correta.

Única Permite resposta sim ou não.

Considerando os recursos descritos anteriormente, espera-se que estes

sistemas tenham condições de oferecer, aos alunos e professores, meios de

realizarem uma avaliação adequada. Contudo, somente isto, pode não ser

suficiente, é necessário que seja avaliada a qualidade dos recursos, para verificar se

estão funcionando de maneira correta e oferecendo aos meios claros para a

realização das atividades.

Neste aspecto, uma das características que interfere na aceitação e uso de

um sistema pelas pessoas é sua usabilidade. Para melhor entendimento a seguir

são apresentados conceitos sobre Interação Humano-Computador (IHC), área

responsável pelo processo de definição e avaliação da usabilidade dos sistemas

eletrônicos.

1.1.3 Conceitos de interação humano-computador (IHC)

A tecnologia evoluiu aperfeiçoando interfaces onde a interação acontecia por

meio de cartões perfurados (Nielsen, 1993), chegando a sistemas que executam

Page 29: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

20

comandos ativados pelo toque dos dedos nas telas ou pela voz.

Estes avanços ocorreram devido ao desenvolvimento de novas tecnologias de

software e hardware, fazendo com que pessoas sem conhecimento especializado

em informática e computação, passassem a utilizar computadores. Assim, a difusão

do uso destes equipamentos tornou necessário o aperfeiçoamento das interfaces

para que as pessoas consigam interagir satisfatoriamente com os sistemas (Rocha e

Baranauskas, 2003).

Neste contexto, a área de IHC tem desempenhado um papel importante, pois

ao regular os projetos de interfaces, contribui para melhorar o desempenho dos

sistemas computacionais, de forma satisfatória e eficiente, para seus usuários.

O termo IHC surgiu na década de 1980 como uma área de estudo que visa

investigar formas de criar interfaces melhores e de fácil utilização (Rocha e

Baranauskas, 2003). Simultaneamente surgiram, métodos para avaliá-las

possibilitando aos desenvolvedores o constante aperfeiçoamento da implementação

de suas soluções.

Segundo Rocha e Baranauskas (2003, p. 14) "IHC é a disciplina preocupada

com o design, avaliação e implementação de sistemas computacionais interativos

para uso humano e com o estudo dos principais fenômenos ao seu redor". Um dos

aspectos abordados por ela é a "Usabilidade", definida por Nielsen (2012) como um

atributo de qualidade que avalia quão fácil de usar são as interfaces de usuário, e

envolve métodos que podem ser aplicados durante o processo de design para

aumentar a facilidade de uso. Nielsen (1993) apresenta cinco características que

tornam ideal a usabilidade de um sistema:

Fácil de aprender: permitir que o usuário consiga realizar facilmente a atividade

que precisa;

Eficiente: uma vez que o usuário tenha aprendido como utilizá-lo, deve poder

atingir um alto nível de produtividade;

Fácil de lembrar: mesmo após um período de tempo afastado, ao voltar a

utilizar o sistema, o usuário não deve ter dificuldades para lembrar como ele

funciona, não sendo necessário aprender novamente;

Poucos erros: deve ter poucos erros, se possível nenhum e caso haja, deve

possibilitar retroceder o estado do sistema ao ponto anterior;

Satisfação subjetiva: os usuários devem ficar satisfeitos e gostar de utilizá-lo.

Page 30: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

21

Na norma NBR-9241-11 (ABNT, 2002), usabilidade é definida como "medida

na qual um produto pode ser usado por usuários específicos para alcançar objetivos

específicos com eficácia, eficiência e satisfação em um contexto específico de uso"

(p. 3), onde:

Eficácia: é a acurácia e completude com as quais usuários alcançam objetivos

específicos;

Eficiência: são os recursos gastos em relação à acurácia e abrangência com as

quais usuários atingem os objetivos;

Satisfação: é a ausência do desconforto e presença de atitudes positivas para

com o uso de um produto.

Contexto específico de uso: são os usuários, tarefas, equipamentos (hardware,

software e materiais), e o ambiente físico e social no qual um produto é usado.

A ampla utilização das tecnologias da informação por pessoas com pouco ou

nenhum conhecimento em informática, justifica o investimento na usabilidade dos

sistemas, pois leva ao aperfeiçoamento para atender os usuários e possibilita a

criação de interfaces melhores e mais fáceis, para novas ferramentas (Goldberg et

al, 2011) de forma que mais pessoas passem a utilizar as tecnologias disponíveis

(Valiati, 2008).

Além de definir quais são os princípios de usabilidade, a área de IHC também

propõe meios para avaliar as interfaces.

1.1.3.1 Avaliação de interfaces

O processo de avaliação de interfaces tem como principais objetivos avaliar a

funcionalidade do sistema, verificando o desempenho do usuário na realização de

uma determinada tarefa; estudar o efeito da interface sobre o usuário, identificando

se é de fácil aprendizagem ou se há algo que atrapalha a utilização; e por fim visa

identificar problemas no design, apontando elementos que possam, conforme o

contexto em que são usados, deixar o usuário confuso (Rocha e Baranauskas,

2003).

A avaliação da interface deve ocorrer durante todo o ciclo de vida do software

e para cada fase há uma técnica mais indicada, sendo divididas em dois grupos: as

Page 31: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

22

que são realizadas por usuários do sistema e as que são, normalmente, feitas por

especialistas em IHC e na área de aplicação. No primeiro caso estão os testes de

usabilidade e no segundo as inspeções de usabilidade.

Testes de Usabilidade: são métodos centrados no usuário que só podem ser

utilizados se o sistema já estiver implementado. Podem ser experimentais,

empíricos, observacionais ou técnicas de questionamento (Nielsen, 1993; Rocha e

Baranauskas, 2003).

Inspeção de Usabilidade: podem ser realizados em qualquer fase do

projeto, tendo ou não havido a implementação do sistema. Normalmente envolvem

especialistas em IHC, mas é possível realizar com especialistas na área de

aplicação do software e com usuários. Os principais são: a avaliação heurística, a

revisão de guidelines, a inspeção de consistência e o percurso cognitivo (Nielsen,

1993; Rocha e Baranauskas, 2003).

A circunstância na qual os sistemas eletrônicos para avaliação da

aprendizagem são utilizados, ou seja, o momento de resolução (aluno) da prova ou

de criação (professor), dificulta o uso dos testes de usabilidade, devido à questões

como privacidade, concentração, estresse e tempo. Além disso, a interface de

montagem da avaliação é complexa, com inúmeras configurações a serem feitas,

requerendo maior tempo de utilização. Portanto, neste estudo optou-se pela

avaliação heurística, que é apresentada abaixo, seguida da revisão de guidelines.

1.1.3.2 Avaliação heurística

Em 1993, Nielsen propôs o método de avaliação heurística buscando resolver

as dificuldades e o alto custo na realização dos testes de usabilidade. Em sua

proposta, ele a define como uma forma rápida e barata de avaliar as interfaces

(Nielsen, 1993; 1994).

Este método requer um pequeno grupo de avaliadores analisando a interface

e julgando suas características, tendo por base um conjunto de princípios de

usabilidade, chamados de heurísticas, sendo recomendada a participação entre três

e cinco pessoas. Neste processo os participantes precisam percorrer a interface pelo

Page 32: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

23

menos duas vezes e só a partir da segunda iniciar a identificação dos erros e

apontar as heurísticas violadas para cada um deles (Nielsen, 1993; Rocha e

Baranauskas, 2003; Valiati, 2008).

As heurísticas podem ser princípios gerais de usabilidade para serem

aplicados a qualquer tipo de sistema ou mais específicos para uma determinada

categoria. Nielsen (1995) propõe o conjunto de dez heurísticas apresentadas a

seguir:

Visibilidade de Status do Sistema: o diálogo deve sempre manter os usuários

informados sobre o que está acontecendo, através de feedback apropriado e em

tempo razoável.

Relacionamento entre a interface do sistema e o mundo real: o diálogo deve

ser na linguagem dos usuários, com palavras, frases e conceitos familiares a ele,

ao invés de termos próprios de sistemas. Siga as convenções do mundo real,

fazendo com que as informações apareçam em uma ordem natural e lógica.

Liberdade e Controle do Usuário: usuários frequentemente escolhem funções

do sistema por engano e vão precisar de uma "saída de emergência" claramente

definida para sair do estado indesejado. Ofereça opções de desfazer e refazer.

Consistência e padrões: os usuários não devem ter que pensar se palavras,

situações ou ações diferentes tem o mesmo significado. Siga convenções pré-

definidas.

Prevenção de Erros: melhor do que boas mensagens de erro é um design

cuidadoso que evite a ocorrência de um problema, que elimine situações

propensas a erros ou verifique-os e apresente aos usuários a opção de

confirmação antes de se comprometer com a ação.

Reconhecimento ao invés de lembrança: minimizar a dependência da

memória do usuário. Ele não deve ter que lembrar informações de uma parte do

diálogo para outra. Instruções para uso do sistema devem estar visíveis ou

facilmente recuperáveis sempre que apropriado.

Flexibilidade e eficiência de uso: o diálogo deve ser flexível para atender o

usuário iniciante, mas permitir que o experiente interaja com ele de forma mais

rápida, sem que o primeiro perceba, atendendo a ambos satisfatoriamente. Ele

deve oferecer atalhos.

Page 33: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

24

Estética e design minimalista: os diálogos não devem conter informações que

sejam irrelevantes ou raramente necessárias. Pois cada item extra de informação

em um diálogo compete com os mais importantes e diminui a visibilidade destes

últimos.

Ajudar os usuários a reconhecer, diagnosticar e se recuperar de erros: as

mensagens de erro devem ser expressas em linguagem simples (sem códigos),

indicar com precisão o problema e construtivamente sugerir uma solução.

Ajuda e documentação: deve ser fácil de pesquisar, direcionada à tarefa do

usuário, direta, e concisa.

Além das heurísticas, quando Nielsen (1993) propôs este método, também

definiu os níveis de gravidade a serem atribuídos aos problemas encontrados. O

objetivo desta escala é demonstrar a relevância deles para direcionar a priorização,

por parte da equipe de desenvolvimento, no ajuste dos problemas encontrados,

sendo conhecida como "Graus de Severidade".

Graus de severidade (Nielsen, 1993):

1. Isso não é um problema de usabilidade

2. Problema cosmético - corrigir se houver tempo disponível no projeto

3. Problema de usabilidade menor - tem prioridade baixa

4. Problema de usabilidade grave - tem alta prioridade

5. Catástrofe de usabilidade - a correção é imperativa antes que o produto seja

liberado para uso

O resultado da avaliação heurística é uma lista de problemas de usabilidade

com seus respectivos graus de severidade, a partir da qual os designers de

interfaces podem priorizar e efetuar as devidas correções.

1.1.3.3 Revisão de guidelines

Segundo Nielsen (1993) este método é conduzido da mesma forma que a

Avaliação Heurística, mas usa como base um conjunto de guidelines. Podem ser

gerais para qualquer tipo de sistema ou específicas para uma determinada

Page 34: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

25

categoria.

Valiati (2008) chama este método de "Conformidade com Recomendações" e

explica que guidelines (recomendações) podem ser utilizados em forma de

afirmativas ou como uma lista de conferência (checklist), que por sua vez contêm

questionamentos.

Este método mostra-se bastante promissor para avaliar sistemas de

categorias específicas, pois as recomendações especializadas conseguem abordar

pontos que poderiam passar despercebidos aos avaliadores se fossem gerais. Além

disso, o resultado da avaliação é mais sistematizado (Cybis et al, 2007) e menos

dependente da habilidade dos avaliadores, podendo ser feita por pessoas sem

conhecimentos específicos de IHC.

A seguir, no Quadro 7, é apresentado um exemplo de guideline para entrada

de dados, adaptado do trabalho de Bastien e Scapin (2006), onde são

concretamente apontadas as características recomendadas para a interface.

QUADRO 7: Exemplo de proposta de Guideline (adaptado de Bastien e Scapin, 2006)

Guideline Em entradas de dados, informe ao usuário sobre os formatos e valores aceitos

Exemplo Datas (dd/mm/aa: ___/___/___ )

Unidades de medidas visíveis

Para cada campo de dados, mostrar um rótulo associado

Forneça indicações sobre o comprimento das entradas

Forneça um título para cada tela

Forneça ajuda online ou orientação

A definição das guidelines precisa ser feita com bastante critério, pois em

grande quantidade podem desestimular a aplicação do método, mas se foram muito

poucas podem ser incompletas e insuficientes (Valiati, 2008).

Os resultados deste método de avaliação são os mesmos da avaliação

heurística, ou seja, uma lista com os problemas encontrados na interface.

Page 35: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

26

1.1.4 Trabalhos relacionados

Este tópico apresenta a revisão sistemática realizada para verificar o estado

da arte à respeito da proposição e validação de heurísticas de usabilidade e

guidelines para design de interação humano-computador, havendo um interesse

específico pelos estudos relacionados à sistemas eletrônicos (SE) para avaliação da

aprendizagem.

A pesquisa foi feita nas bases de dados Pubmed, Scopus e ScienceDirect,

devido ao número de periódicos relacionados à área de saúde. Esta busca

considerou os últimos cinco anos, utilizando as palavras-chaves e combinações que

são apresentadas na Tabela 1. Durante a realização foram considerados somente

os artigos que contivessem os termos no título, abstract ou palavras-chaves e que

permitissem acesso ao texto completo. Devido ao número reduzido de trabalhos

encontrados e de não ter sido feita, inicialmente, pesquisa em bases de dados

específicas da área de computação, foi realizada uma busca complementar na ACM

e Web of Science, respeitando as mesmas regras citadas acima.

Os artigos encontrados foram avaliados a partir da leitura do abstract, sendo

pré-selecionados os que propunham ou validavam heurísticas ou guidelines de

usabilidade para sistemas com aplicação educacional. Os casos nos quais não era

possível determinar se abordavam ou não o assunto de interesse sem leitura mais

detalhada foram também considerados.

Os pré-selecionados foram lidos com mais abrangência para definir os que

seriam incluídos no estudo, sendo considerados os que: (1) tratassem de público

alvo jovem, adulto ou indeterminado, (2) estivessem relacionados à interação

humano-computador em sistemas eletrônicos de ensino e aprendizagem e (3)

tratassem de heurísticas ou guidelines de usabilidade especializados nesta

aplicação.

A pesquisa foi realizada com strings de busca, utilizando inicialmente as

palavras-chaves: usability heuristics, heuristic evaluation e usability guidelines,

sendo feito refinamento para cada uma delas conforme apresentado nas próximas

tabelas.

Page 36: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

27

TABELA 1: Resultados da pesquisa na base de dados PubMed, Scopus e ScienceDirect.

Palavras-chaves Pubmed Scopus ScienceDirect

E PS S E PS S E PS S

usability guidelines 0 0 0 951 NC NC 106 NC NC

usability guidelines AND User-Computer Interface 0 0 0 27 2 0 8 2 0

usability guidelines AND human-computer interface 0 0 0 90 NC NC 2 1 1

usability guidelines AND virtual learning environment 0 0 0 9 0 0 1 0 0

usability guidelines AND e-learning 0 0 0 32 1 1 3 0 0

usability heuristics 0 0 0 520 NC NC 51 12 0

usability heuristics AND extension 0 0 0 5 2 0 1 0 0

usability heuristics AND human-computer interface 0 0 0 60 34 0 5 2 0

heuristic evaluation 36 7 NC 4037 NC NC 467 NC NC

heuristic evaluation AND guidelines 11 1 0 127 NC NC 13 2 0

heuristic evaluation AND guidelines AND human-computer interface 0 0 0 11 0 0 0 0 0

heuristic evaluation AND guidelines AND User-Computer Interface 0 0 0 2 0 0 0 0 0

heuristic evaluation AND usability guidelines AND education 0 0 0 4 0 0 0 0 0

heuristic evaluation AND usability guidelines AND learning 1 0 0 6 0 0 0 0 0

heuristic evaluation AND interface AND systems 11 6 0 192 NC NC 13 1 0

heuristic evaluation AND human-computer interface 0 0 0 76 4 0 5 0 0

heuristic evaluation AND human-computer interface AND systems 0 0 0 45 0 0 5 0 0

heuristic evaluation AND User-Computer Interface 0 0 0 32 13 0 8 0 0

heuristic evaluation AND interface AND education 1 1 0 28 11 0 0 0 0

heuristic evaluation AND interface AND learning 2 0 0 41 10 0 1 0 0

heuristic evaluation AND virtual learning environment 0 0 0 10 0 0 1 0 0

heuristic evaluation AND e-learning 1 1 0 40 0 0 8 1 0

Total 63 16 0 6345 77 1 698 21 1

Legenda: E = encontrados; PS = pré-selecionados; S = selecionados; NC = não considerados devido ao alto número de retorno

Page 37: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

28

27

Na Tabela 1 encontram-se os resultados da pesquisa nas base de dados

PubMed, Scopus e ScienceDirect, sendo demonstrado para cada palavra-chave a

quantidade de publicações encontradas (E), as pré-selecionadas (PS) e as

selecionadas (S) conforme os critérios descritos anteriormente. Quando houve um

número elevado de resultados obtidos na busca, eles não foram considerados (NC)

e foram adicionados termos à string de busca, por exemplo: "guidelines usability",

retornou 951 publicações no Scopus, estas não foram analisadas, ao invés disso, foi

acrescentado "AND User-Computer Interface" que retornou 27 publicações. A

Tabela 2 apresenta os resultados da pesquisa nas base de dados ACM e Web of

Science, sendo demonstrados para cada palavra-chave a quantidade de publicações

encontradas (E), as pré-selecionadas (PS) e as selecionadas (S) conforme os

critérios descritos anteriormente. Para número elevado de retornos também foram

realizados refinamentos na string de busca, como descrito para a Tabela 1.

TABELA 2: Resultados da pesquisa na base de dados da ACM e Web of Science.

Palavras-chaves ACM Web of Science

E PS I E PS I

heuristic evaluation 1349 NC NC 191 NC NC

heuristic evaluation AND e-learning 0 0 0 5 0 0

heuristic evaluation AND guidelines 33 0 0 23 0 0

heuristic evaluation AND human-computer Interaction 11 0 0 20 0 0

heuristic evaluation AND interface AND education 3 1 1 6 0 0

heuristic evaluation AND interface AND learning 13 1 0 9 0 0

heuristic evaluation AND learning 148 2 0 31 1 0

heuristic evaluation AND usability guidelines AND education 0 0 0 0 0 0

heuristic evaluation AND user-computer interaction 0 0 0 0 0 0

heuristic evaluation AND virtual learning environment 5 2 0 0 0 0

usability guidelines AND e-learning 0 0 0 0 0 0

usability guidelines AND human-computer Interaction 9 0 0 1 0 0

usability guidelines AND User-Computer Interaction 55 1 0 0 0 0

usability guidelines AND virtual learning environment 2 0 0 0 0 0

usability heuristic AND learning assesment 3 0 0 0 0 0

usability heuristic AND learning evaluation 22 0 0 0 0 0

usability heuristic AND virtual learning environment 0 0 0 0 0 0

usability heuristics 205 13 1 24 0 0

Total 1858 20 2 310 1 0

Legenda: E = encontrados; PS = pré-selecionados; I = selecionados; NC = não considerados devido

ao alto número de retorno

Page 38: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

29

Além da pesquisa nas bases de dados também foram verificados estudos

indicados como referência de outros artigos, sendo considerados somente os que

eram provenientes de eventos científicos, como congressos e workshops, ou

estivessem vinculados à universidades e centros de pesquisa, destes somente um

foi incluído.

O primeiro estudo apresentado propõe heurísticas de usabilidade para

sistemas eletrônicos para avaliação da aprendizagem e os demais para sistemas

eletrônicos de ensino e aprendizagem. No Quadro 8 são apresentadas algumas das

características.

QUADRO 8: Síntese dos estudos encontrados na revisão sistemática

Estudo

Heurísticas de usabilidade para: Área de

Aplicação

Interações

consideradas SE de Avaliação da

Aprendizagem

SE para Ensino e

Aprendizagem

Sim et al

(2008)

Sim Não Geral Do aluno

Kemp et al

(2008)

Não Sim Aprendizagem

de idiomas

Do aluno

Minocha e

Hardy (2011)

Não Sim Geral Aluno, Professor e

Designer

Liu et al

(2011)

Não Sim Aprendizagem

de idiomas

Do aluno

Hoyle et al

(2012)

Não Sim Geral Do aluno

Legenda: SE = Sistema Eletrônico

Em seu estudo Sim et al (2008) propõem um conjunto de heurísticas de

usabilidade para a Avaliação Assistida por Computador (Computer Assisted

Assessment - CAA), abordando principalmente o formato de questionário. Eles

justificam que existem poucas pesquisas sobre a usabilidade deste tipo de

aplicação, sendo importante o desenvolvimento de estudos voltados para este

objetivo. Segundo os autores, problemas gerados pela má usabilidade de sistemas

de CAA, podem implicar em revisões de notas e processos acadêmicos, sendo

considerados graves e inaceitáveis. Considerando esta problemática, eles afirmam

que é importante a definição de heurísticas de usabilidade específicas para este tipo

de aplicação, já que as propostas por Nielsen (1995) são apontadas como

Page 39: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

30

genéricas. Diante disso, apresentam o desenvolvimento de um conjunto de

heurísticas e graus de severidade específicos.

Para a proposição, relatam que conduziram avaliações nos sistemas WebCT,

Questionmark Perception e TRIADS, por meio de avaliação heurística (AH) e teste

de usuário (Sim et al, 2004; Sim et al, 2007) e realizaram análise da literatura. A

partir dos resultados destas duas etapas identificaram um conjunto de problemas

frequentes e graves ocorridos no uso dos sistemas, os quais juntamente com a

análise das heurísticas propostas por Nielsen (1995), permitiram o mapeamento dos

problemas em tarefas, formando agrupamentos que possibilitaram a síntese de 11

heurísticas especializadas e um novo conjunto de classificações de gravidade. Os

autores destacam que trabalhos futuros serão realizados para validar as heurísticas

e permitir ajustes na definição inicial.

Os outros estudos são voltados para ensino e aprendizagem como um todo e

não especificamente avaliação, no de Kemp et al (2008) é apresentada a realização

de avaliação heurística do sistema IMMEDIATE, desenvolvido para o ensino e

aprendizagem de idiomas, tendo uma interface idealizada para ser invisível e

ubíqua. Para tanto, os autores definiram um conjunto de heurísticas para avaliação

de interfaces de sistemas e-learning com estas características. Com este objetivo,

eles analisaram as heurísticas de usabilidade definidas por Nielsen (1995) e o

framework para avaliação de computação ubíqua proposto por Scholz e Consolvo5,

a partir desta análise, definiram um conjunto de 18 heurísticas que envolvem os

aspectos necessários ao tipo de sistema que desejam avaliar. Em seguida, eles

criaram, para cada uma, questões específicas que foram utilizadas para verificar a

usabilidade de forma mais específica, fornecendo um retorno mais preciso.

A avaliação heurística do IMMEDIATE foi realizada por um especialista no

ensino de idiomas e em IHC, foram criados cenários de tarefas correspondentes às

atividades de um aluno no primeiro ano de curso. O avaliador percorreu a interface

duas vezes, na primeira para conhecê-la e obter algumas observações e na

segunda para analisar mais detalhadamente, indicando as violações e o grau de

severidade. Ao todo foram gastas quatro horas para a avaliação.

Os resultados apresentados indicaram que o IMMEDIATE é adequado para o

uso em educação à distância, embora apresente principalmente problemas de:

5 Scholtz J, Consolvo S. Toward a Framework for Evaluating Ubiquitous Computing Applications. IEEE Pervasive Computing Magazine. Abr-Jun 2004; 3(2):82-8.

Page 40: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

31

visibilidade e status do sistema, consistência e padrões, familiaridade e facilidade de

uso. Os autores afirmam que a definição do conjunto de heurísticas permitiu avaliar

o sistema considerando aspectos relevantes para a proposta do mesmo, e que

embora tenha sido considerado adequado para a educação à distância e os

problemas encontrados sejam pequenos, o conjunto deles pode impactar na

utilização do IMMEDIATE, justificando a priorização da adequação do sistema. A

partir dos resultados também foi feita um readequação das heurísticas e perguntas

associadas. Os autores consideraram que é necessário realizar mais avaliações,

tanto heurísticas como testes de usuário.

Um outro estudo, de Minocha e Hardy (2011) aborda a utilização de mundos

virtuais para fins educacionais, destacando que há poucos estudos publicados sobre

critérios de design, dificultando a utilização pelas instituições, pois os projetos

precisam ser desenvolvidos considerando os aspectos pedagógicos. Diante disso,

os autores definem um conjunto de heurísticas de usabilidade para esta modalidade

de sistema. Para este estudo, eles optaram pelo utilização de 11 ilhas (espaço

equivalente a um site) do sistema Second Life, realizando avaliações heurísticas

(AH), teste de usuário (protocolo think aloud) discussões pós-observação,

entrevistas estruturadas ou semi-estruturadas e análise de documentos. Foram

envolvidos três tipos de participantes na pesquisa: os designers de espaços no

Second Life, educadores e estudantes com experiência de uso do Second Life.

Inicialmente eles definiram um conjunto de dez categorias de heurísticas a

partir de bibliografias, sendo oito propostas por Nielsen (1995), uma de Sutcliffe e

Gault6 e uma de Muller et al7. As definições originais foram adaptadas para atender

o contexto de espaços de aprendizagem 3D. Depois, realizaram avaliação heurística

para identificar os aspectos de design dos espaços de aprendizagem que facilitam

ou dificultam a navegação e orientação espacial, além disso, também utilizaram a

AH para produzir o conjunto final de heurísticas. O teste de usuário, feito com dez

indivíduos, permitiu identificar problemas que os especialistas não veriam, por

estarem habituados com os espaços. Para a realização deste teste foram

preparadas atividades de aprendizagem com tempo máximo de duração de 45

minutos, após a realização das atividades, os participantes discutiram sobre sua 6 Sutcliffe A, Gault B. Heuristic Evaluation of Virtual Reality Applications'. Interacting with Computers. 2004; 16(4):831-849. 7 Muller M, Matheson L, Page C, Gallup R. Methods & Tools: Participatory Heuristic Evaluation. ACM Interactions. 1998; 5(5):13-8.

Page 41: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

32

experiência e ajustaram comentários e apontamentos já registrados. As entrevistas,

estruturadas e semi-estruturadas, foram realizadas com o objetivo de buscar

opiniões e exemplos úteis para projetos de espaços de aprendizagem, e foram

realizadas com cinco designers e um educador.

Foi realizada análise temática dos dados para identificar os temas

emergentes a partir dos dados coletados pelos diversos instrumentos utilizados. Os

resultados apresentaram os seguintes temas: locais-chave devem ser fáceis de

encontrar e acessar; as ilhas devem ser bem estruturadas sendo fácil de encontrar,

além disso, caminhos ao redor, sinais e símbolos de navegação devem ser de fácil

compreensão; objetos semelhantes aos do mundo real devem ser identificáveis;

áudio ou feedback visual das ações do usuário precisam coincidir com o contexto e

as vias e entradas devem ser óbvias e compreensíveis. Também foram

apresentados os temas e recursos de design com seus impactos na navegação e

orientação espacial e os efeitos sobre a experiência do usuário. Estes resultados

permitiram obter 104 heurísticas e mais de 200 diretrizes para a concepção de

espaços de aprendizagem em mundos virtuais.

Os autores identificaram problemas principalmente em relação à sinalização,

redundância de informações de navegação, localização do usuário no espaço virtual

e com os marcos arquitetônicos. Eles concluíram que os usuários utilizam

mecanismos de navegação reais (por exemplo: caminhar e placas de sinalização) e

outros do ambiente 3D (exemplos: voar e tele transportar), bem como são

influenciados pela experiência de interação em websites.

Em seu estudo Liu et al. (2011) apontam a necessidade de verificar a

qualidade dos websites voltados para a aprendizagem do idioma inglês por ser

crescente a procura por este tipo de recurso na formação dos profissionais em

Taiwan. Os autores destacam ser necessária a participação ativa de alunos e

professores na definição dos critérios que este tipo de sistema deve obedecer.

O estudo foi desenvolvido em quatro fases, na primeira realizaram uma

revisão de literatura a partir da qual identificaram e analisaram cinco dimensões

(aspectos) envolvidas na aprendizagem do idioma através de ferramentas web:

usabilidade web, materiais de aprendizagem, capacidade de auxiliar a aprendizagem

de línguas, a integração da tecnologia, e as preferências do aluno; com base nesta

revisão propuseram 55 critérios preliminares.

Na segunda fase foi realizada pesquisa incluindo 160 alunos, através de um

Page 42: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

33

questionário para saber sua opinião a respeito dos critérios definidos na fase

anterior, os dados resultantes foram processados estatisticamente e os critérios com

menos de 60% de aceitação foram eliminados.

Na terceira fase, sete especialistas, divididos em dois grupos: um com três

professores de inglês com prática em ensino com uso de computador e o outro com

quatro especialistas em tecnologias de aprendizagem, opinaram sobre os critérios,

participando em seguida de uma discussão sobre os mesmos, sendo esta gravada

para análise posterior.

Na última fase os pesquisadores transcreveram as gravações montando

tabelas com os critérios e votos classificando-os como: importante, sem importância

ou precisa de análise mais aprofundada. O resultado foi um conjunto de 17 critérios

refinados, entre os quais 13 já haviam sido propostos antes e 4 foram inseridos

pelos pesquisadores. Para validar os critérios avaliaram o site da BBC English

Learning e concluíram que o site cumpre 16 dos 17 critérios propostos, confirmando

a validade dos mesmos, tendo como base o reconhecimento anterior da qualidade

do website.

Em seu estudo Hoyle et al. (2012) relatam a ausência de guidelines para

desenvolvimento de websites educacionais e destacam que por isso um

componente importante para a aprendizagem, como o uso de conteúdo interativo,

poderia não ser considerado, já que não há recomendação formal para esta

utilização.

Diante desta problemática, conduziram um estudo no qual realizaram testes

de usuário com a participação de 26 alunos da universidade de Houston-Clear Lake,

para identificar os problemas de usabilidade e mapeá-los para guidelines. O teste foi

desenvolvido em três etapas:

Na primeira etapa foi pedido aos alunos que simulassem que estavam

estudando estatística e que utilizassem o website Online Statistics Education (OSE)

verbalizando as impressões e reações em relação à ferramenta (aplicação da

técnica think aloud), nesta fase eles exploraram a navegação do website; na

segunda etapa foi solicitado que utilizassem os recursos de simulação existentes no

website; e na terceira, os alunos puderam explorá-lo livremente.

Durante todas as etapas os participantes foram observados e suas reações

registradas, bem como os dados que pudessem gerar medidas quantitativas.

A partir dos testes realizados os pesquisadores analisaram os resultados e

Page 43: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

34

recomendaram um conjunto de 13 guidelines para melhorar a qualidade dos

websites educacionais, divididas em Navegação (8) e Simulação Interativa (5).

Concluíram que as guidelines podem contribuir para melhorar a qualidade do

websites educacionais e que desenvolvedores e educadores devem se unir para

criar ferramentas que sejam eficazes e facilitem a aprendizagem do aluno.

1.1.5 Considerações adicionais

A tecnologia possibilitou o surgimento de muitos recursos de software,

principalmente com a web, fazendo com que mais pessoas aderissem ao uso destes

recursos. Esta inovação trouxe consigo a necessidade de aprimorar técnicas e

métodos que verificam a usabilidade destes produtos, pois esta adesão aproximou

do computador, usuários com pouco ou nenhum conhecimento sobre ele. Por isso é

importante que os softwares possibilitem o entendimento e a interação necessários

para que as pessoas desenvolvam satisfatoriamente suas atividades.

Os estudos apresentados no item 1.1.4 mostraram que há uma preocupação

crescente em propor heurísticas (diretrizes) e guidelines (critérios) de usabilidade

que orientem os projetistas de softwares no desenvolvimento de novas ferramentas

com mais qualidade, pois os sistemas estão se tornando mais complexos e

especializados.

Estes estudos tratam de sistema eletrônicos educacionais, mas são

desenvolvidos com recursos tecnológicos distintos e mostram que cada um tem suas

particularidades de utilização. Nestes casos o uso de heurísticas muito gerais não

contribuem claramente para o design e em caso de avaliação de usabilidade a partir

delas, pode resultar em uma inspeção completa e rigorosa ou ao contrário, que não

registre problemas específicos da categoria do software. Desta forma, a qualidade

de um ou outro depende muito da experiência do profissional que irá utilizá-las. Este

aspecto também está relacionado à compreensão da heurística ou guideline, ou

seja, se o profissional não consegue entender o que ela propõe, pode utilizá-la de

forma errada ou simplesmente não a considerar.

Outra questão identificada nos estudos, diz respeito às particularidades dos

sistemas, ou seja, ao pensar em heurísticas para um software educacional, é

importante considerar os processos envolvidos na aprendizagem, para que as

Page 44: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

35

necessidades dos usuários possam ser englobadas.

Ao considerar o cenário atual, constata-se que há uma demanda por formas

de garantir a usabilidade dos sistemas existentes e dos que estão sendo

desenvolvidos, buscando atender as necessidades e dificuldades dos usuários.

Dos estudos encontrados nesta revisão apenas um trata de sistemas

eletrônicos para avaliação da aprendizagem e ainda assim aborda somente o

formato de questionário. Desta forma, considerando as características peculiares de

uma ferramenta voltada para a avaliação da aprendizagem baseada em casos

clínicos, é necessário o desenvolvimento de estudos para propor soluções para esta

modalidade de sistemas.

Page 45: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

27

2. Objetivos

Este estudo tem como objetivo propor um conjunto de heurísticas de

usabilidade especializadas para sistemas eletrônicos de avaliação da aprendizagem

baseada em casos clínicos, e validá-las por meio da inspeção de usabilidade do

sistema web Medical Clinical Case (MedCC), buscando contribuir para a melhora na

qualidade das interações dos usuários neste tipo de ferramenta.

Page 46: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

27

3. Material e métodos

O desenvolvimento da pesquisa foi organizado em duas fases: primeiro foram

identificadas e definidas as heurísticas de usabilidade especializadas. Depois, foi

realizada avaliação heurística, por especialistas em IHC, no sistema eletrônico para

avaliação de aprendizagem baseada em caso clínico Medical Clinical Case (MedCC)

para validar as heurísticas propostas.

A metodologia utilizada apresenta similaridades com a que é apresentada por

Jiménez et al (2012), na qual são definidas seis etapas: (1) Estágio exploratório, no

qual são recuperadas referências bibliográficas relacionadas com a área de

especialização; (2) Estágio descritivo, no qual são destacadas as informações e

características mais importantes obtidas no estágio anterior; (3) Estágio de

correlação, no qual são identificadas as características que as heurísticas de

usabilidade para aplicações especializadas devem ter, baseadas nas tradicionais ou

na análise de estudos de caso; (4) Estágio explicativo, no qual são especificadas

formalmente o conjunto de heurísticas propostas utilizando um modelo padronizado;

(5) Estágio de validação (experimental), no qual as novas heurísticas são verificadas

em relação as tradicionais, por meio de avaliação heurística e testes de usuários e

(6) Estágio de refinamento, realizado com base no retorno do estágio de validação.

3.1 Metodologia para revisão de literatura

Foi realizada uma revisão sistemática para recuperação de trabalhos

relacionados à definição de heurísticas de usabilidade ou guidelines para design de

interfaces de sistemas eletrônicos para ensino e aprendizagem, com o objetivo de

conhecer o estado da arte sobre o tema e as formas como vem sendo propostas e

validadas novas heurísticas. A forma como foi conduzida é apresentada junto com a

descrição dos artigos encontrados no tópico correspondente (1.1).

Os demais assuntos abordados na revisão foram pesquisados nas bases de

dados Scopus, ScienceDirect, Web of Science e Portal Capes, de forma não

sistemática e também foram realizadas pesquisas em bibliotecas de universidades8

8 Universidade Cruzeiro do Sul e Universidade Estadual de Campinas (UNICAMP)

Page 47: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

38

para localização de teses e livros para o embasamento conceitual dos temas

tratados.

3.2 Metodologia para definição das heurísticas especializadas

A etapa de definição das heurísticas foi dividida em quatro fases:

Na primeira, foi realizada pesquisa sobre avaliação da aprendizagem, para

identificar e compreender como ela é conduzida, o que é necessário para realizá-la,

e os instrumentos avaliativos que tem sido utilizados (Depresbiteris, 1998;

Perrenoud, 1999; Sordi, 2000; Fenili, 2002; Zeferino e Passeri, 2007; Garcia, 2009;

Domingues et al, 2010; Punhagui e Souza, 2011), independente da tecnologia,

observando principalmente aspectos que possam sofrer interferência com o uso de

sistemas informatizados.

Na segunda, foram selecionados dois AVAs, o Blackboard® e o Moodle,

tendo como critério de escolha a frequência de utilização pelas instituições de

ensino9, o fato de um ser pago (Blackboard®) e o outro gratuito (Moodle) e a

possibilidade de acesso aos mesmos pela pesquisadora responsável. Em cada um

dos sistemas, foram analisados os recursos disponíveis para avaliação da

aprendizagem, considerando o que foi encontrado na pesquisa realizada na primeira

fase. Buscou-se a identificação de problemas e características positivas na interação

e funcionalidade. Esta análise foi feita pela pesquisadora responsável, tendo o

tempo mínimo de uma hora e máximo de quatro horas para cada sistema,

respeitando a sistemática descrita a seguir:

1. Preparação: utilização dos recursos seguindo os cenários do Anexo 1 e 2;

2. Coleta de dados e interpretação: utilização pela segunda vez,

identificando os problemas e as características positivas, descrevendo-os

em uma planilha eletrônica, na qual foram registrados: o local da interface,

a descrição do problema ou da característica positiva e a importância;

3. Associação às heurísticas de Nielsen (1995): indicação de pelo menos

uma heurística de Nielsen (1995) para cada item apontado na relação 9 O Moodle tem 68.352 sites registrados mundialmente e no Brasil são 4.661 (Moodle, 2014). O Blackboard® tem 5.000 clientes mundialmente (Blackboard, 2014) e no Brasil são 17 (Blackboard, 2014).

Page 48: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

39

citada no item 2;

4. Consolidação e relato dos resultados: os resultados foram analisados e

agrupados de acordo com a similaridade, sendo apontadas as heurísticas

de Nielsen que eram atendidas ou violadas.

Na terceira fase, as dez heurísticas propostas por Nielsen (1995) foram

analisadas, considerando os resultados obtidos nas duas primeiras. Com exceção

da heurística "Ajudar os usuários a reconhecer, diagnosticar e se recuperar de

erros", todas tiveram especializações para representar as características pertinentes

à avaliação da aprendizagem baseada em casos clínicos utilizando sistemas

eletrônicos. Esta análise foi feita verificando se os problemas e características

positivas encontrados nos AVAs podiam ser representados por elas de forma clara

ou se era necessária a definição de especializações.

Na última fase, foi formalizada a definição das heurísticas considerando os

resultados da terceira, sendo estas nomeadas e descritas respeitando a estrutura

demonstrada no Quadro 9.

QUADRO 9: Estrutura de formalização das heurísticas especializadas

Elemento Conteúdo do elemento

Nome É composto por uma identificação única formada pela letra H

acompanhada de numeração sequencial e do nome da heurística,

representando de forma clara e sucinta seu significado.

Especialização

da Heurística

Apresenta a heurística de Nielsen (1995) a partir da qual houve

especialização, caso tenha ocorrido.

Interface de

aplicação

Indica para qual interface a heurística foi definida, aluno ou professor.

Descrição Texto que explica a heurística.

Exemplo(s) Situações nas quais a heurística é atendida.

Origem Informa o que foi considerado para sua definição, ou seja, a literatura, a

análise dos AVAs ou ambos.

O Quadro 9 apresenta os elementos que compõem a formalização de cada

uma das heurísticas especializadas acompanhados de explicação sobre o seu

conteúdo.

Page 49: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

40

3.3 Metodologia para validação das heurísticas especializadas

A validação foi realizada por meio de avaliação heurística no sistema Medical

Clinical Case (MedCC), ferramenta especializada na criação de avaliações da

aprendizagem baseadas em casos clínicos. A opção pela inspeção de usabilidade

com especialistas, foi feita após o insucesso na realização de teste de usabilidade

devido à dificuldade em conseguir usuários (professores) que concordassem em

participar.

Para tanto, foram convidados nove especialistas, definidos pela possibilidade

de acesso à eles e a especialidade de atuação, sendo um deles na área de

ambientes virtuais de aprendizagem e os demais em interação humano-computador

e todos atuam como professores no ensino superior. Destes, sete aceitaram

participar, recebendo e assinando o TCLE (Apêndice 1). No Quadro 10 é

apresentado o perfil dos avaliadores.

QUADRO 10: Avaliadores, suas formações e áreas de atuação

Sexo Formação Área de Atuação

1 F Doutorado em

Comunicação e

Semiótica

Arquitetura e Urbanismo; Comunidades Virtuais; Comunicação

Visual; Multimídia; Realidade Virtual; Semiótica; Sistemas de

Informação e Teoria da Comunicação.

2 F Doutorado em

Engenharia Elétrica

Informática em Saúde; Processamento Gráfico;

Processamento de Imagens Médicas; Realidade Aumentada;

Realidade Virtual e Telemedicina.

3 F Doutorado em

Engenharia Eletrônica e

Computação

Interface Humano-Computador; Processamento Digital de

Imagens; Realidade Virtual e Aumentada; Sistemas Multimídia

e Hipermídia e Tecnologia Web.

4 F Doutorado em

Engenharia Elétrica

Sistemas Eletrônicos; Sistemas de Computação; Informática

na Educação; Informática em Saúde; Realidade Virtual e

Realidade Aumentada.

5 M Doutorado em Ciência

da Computação

Interface Humano-Computador; Engenharia de Software e

Ciência da Computação

6 M Doutorado em Ciência

da Computação

Interface Humano-Computador; Educação à Distância; Objetos

de Aprendizagem; Ambientes Virtuais e Colaborativos para

Ensino Aprendizagem; Engenharia de Software e Sistemas de

Informação Geográfica

7 F Doutorado em

Engenharia Elétrica

Engenharia de Software e Linguagens de Programação

Page 50: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

41

As avaliações respeitaram os critérios descritos abaixo:

Foram realizadas no local de trabalho dos especialistas, sendo este

comum a todos.

Tempo máximo de duas horas e trinta minutos para cada avaliador;

A realização foi acompanhada pela pesquisadora responsável.

Inicialmente foram fornecidas informações à respeito do estudo e

esclarecimentos sobre a contribuição dos mesmos. Para realizar a avaliação, os

especialistas receberam os perfis dos dois tipos de usuários, dois cenários do aluno

(Anexo 1), três do professor (Anexo 2), conteúdo textual de um caso clínico, junto

com arquivos de imagens referentes ao mesmo, bem como a identificação e

descrição das heurísticas propostas.

Os avaliadores receberam o endereço do site do sistema, um usuário e senha

com nível de acesso de professor (avaliador) e foi solicitado que criassem outro, com

permissão de aluno. Em seguida, foram orientados a acessar a interface duas

vezes, na primeira somente para interagir com o sistema, entendendo a sequência

de uso, e na segunda para identificar e registrar os problemas encontrados a partir

da interação.

O registro dos problemas foi feito em dois formulários eletrônicos previamente

enviados (Anexos 3 e 4), criados no Google Docs. Os especialistas identificaram

cada problema separadamente, fornecendo o local de ocorrência, a descrição, a(s)

heurística(s) violada(s) e o grau de severidade (Nielsen, 1995) conforme o impacto

no uso do sistema. Além disso, todas as avaliações foram filmadas, para registrar

algum comentário ou apontamento não registrado através do formulário.

Depois de concluída esta etapa, os resultados das avaliações foram

organizados pela pesquisadora, considerando a heurística violada e o grau de

severidade. A partir destes dados foram computadas, tanto para as heurísticas de

Nielsen (1995) como para as especializadas, em ambas as interfaces, as

frequências de:

indicações dos graus de severidade (Nielsen, 1993);

violações de cada heurística;

violações de cada heurística, em cada grau de severidade (Nielsen, 1993).

Page 51: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

42

A determinação da validade das heurísticas foi feita considerando a frequência

de violações, a adequação da escolha da heurística violada, ou seja, a

correspondência à sua definição; e do seu grau de severidade, as que foram

associadas a graus mais graves foram consideradas importantes.

O sistema utilizado foi o Medical Clinical Case (MedCC), especializado na

criação de avaliações baseadas em casos clínicos. A ferramenta oferece recursos

que permitem a criação de casos, contendo a descrição inicial sobre o paciente, a

partir do que é possível fazer questionamentos referentes às condutas a serem

adotadas pelo estudante que está analisando (atendendo) o caso. Os recursos

disponíveis permitem trabalhar com conteúdo complementar como arquivos de texto,

imagem e links externos (Hernandez et al, 2012).

A montagem da avaliação pode ser iniciada por dois caminhos, pela definição

das configurações da prova ou pela criação das questões.

No sistema, uma avaliação é chamada de prova, e nela são feitas as

configurações gerais e definidos um ou mais textos descritivos com informações do

paciente, sendo para cada um destes, associado um conjunto de questões de

qualquer dos tipos oferecidos pelo sistema. A seguir são apresentadas cada uma

delas, sendo todas de autocorreção (MedCC, 2013):

Composta: é formada por duas perguntas, a primeira sempre tem como

resposta “Sim” ou “Não” (Figura 2) e a segunda poderá ter várias respostas textuais

(Figura 3). Inicialmente a segunda pergunta fica oculta e só é exibida ao aluno se a

resposta que ele selecionou para a primeira for igual a uma resposta pré-definida

pelo professor.

FIGURA 2: Exemplo da primeira parte da questão composta

FIGURA 3: Exemplo da segunda parte da questão composta

Page 52: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

43

Correspondência: apresenta ao aluno um enunciado e pede ao mesmo que

relacione dois grupos de itens (Figura 4).

FIGURA 4: Exemplo da questão correspondência

Direta: apresenta ao aluno uma pergunta e pede ao mesmo que forneça uma

ou mais respostas textuais (Figura 5).

FIGURA 5: Exemplo da questão direta

Escolha Múltipla: apresenta ao aluno uma pergunta e pede ao mesmo que

escolha uma ou mais respostas oferecidas como alternativas (Figura 6).

FIGURA 6: Exemplo da questão escolha múltipla

Escolha Única: apresenta ao aluno uma pergunta e pede ao mesmo que

escolha uma entre várias respostas oferecidas como alternativas (Figura 7).

Page 53: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

44

FIGURA 7: Exemplo da questão escolha única

Falso/Verdadeiro: apresenta ao aluno um enunciado e um conjunto de

afirmativas e pede ao mesmo que indique quais são falsas e quais são verdadeiras

(Figura 8).

FIGURA 8: Exemplo da questão falso/verdadeiro

Medicamento: apresenta ao aluno uma pergunta e pede ao mesmo que

indique o nome de um ou mais medicamentos, e suas formas de prescrição como

dose diária, unidade de medida e quantidade de tomadas por dia (Figura 9).

FIGURA 9: Exemplo da questão medicamento

Prioridade: apresenta ao aluno uma pergunta e pede ao mesmo que escolha

entre as respostas disponíveis respeitando a ordem de prioridade que ele considere

que seja certa para a situação apresentada (Figura 10).

Page 54: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

45

FIGURA 10: Exemplo da questão prioridade

Sub-questões: apresenta ao aluno uma pergunta com o enunciado principal,

mas além dele há um ou mais enunciados secundários acompanhados de opções

de escolha específicas destes últimos (Figura 11).

FIGURA 11: Exemplo da questão sub-questões

Única: apresenta ao aluno uma pergunta e pede ao mesmo que escolha

como resposta “Sim” ou “Não” (Figura 12).

FIGURA 12: Exemplo da questão única

A sequência de utilização do sistema pelo aluno começa com o cadastro no

site (Figura 13).

Page 55: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

46

FIGURA 13: Acesso ao cadastro no site

Após o cadastro o aluno precisa se inscrever na prova, clicando no link

"Participe" (Figura 14).

FIGURA 14: Inscrição e acesso a prova

Depois de inscrito, ao iniciar a avaliação, será apresentado conteúdo

geralmente descritivo do caso clínico, conforme mostra a Figura 15.

Page 56: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

47

FIGURA 15: Apresentação inicial da prova, exemplificada com caso clínico

O texto apresentado corresponde às informações iniciais sobre o paciente. No

momento em que o aluno se sentir apto, poderá clicar em "Questões" e serão

apresentadas, uma a uma, as perguntas da prova. Neste formato de avaliação o

aluno vê uma pergunta por vez (Figura 16) e ao seguir para a próxima, não pode

retornar para editar a resposta já enviada. O acesso visual ao que já respondido

aparece na parte superior da tela. Depois de concluir a prova o aluno poderá

imprimir a mesma.

FIGURA 16: Apresentação sequencial das questões durante a realização da prova, permitindo

visualização mas não edição das questões previamente respondidas

Page 57: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

48

Para o professor a interação é diferente; seu usuário é pré-cadastrado pelo

administrador do sistema e após conectado o professor pode criar e gerenciar as

avaliações.

A criação da avaliação, como citado anteriormente, pode ser feita por dois

caminhos: definindo as configurações da prova ou criando as questões.

Considerando a primeira escolha, o professor avaliador utilizará o formulário

acessível através do link "Provas" (Figura 17), sendo solicitadas informações de

identificação, orientação, duração e disponibilidade da avaliação.

FIGURA 17: Definição da prova

Na tela exemplificada na Figura 17 o professor poderá incluir a descrição

inicial do histórico do paciente, mas isto só é possível depois de salvar as

informações descritas anteriormente, só então é será apresentado o link "Incluir

Descrição da Prova", que abrirá a tela mostrada na Figura 18.

Page 58: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

49

FIGURA 18: Definição da descrição da prova

Depois que as informações são salvas, é oferecida a possibilidade de

escolher as questões da prova, mas para isto as mesmas já devem ter sido criadas.

Para a criação das questões é necessário clicar no link "Questões" do menu

lateral, que dá acesso a uma tela com as opções de tipos de questões que podem

ser inseridas (Figura 19).

FIGURA 19: Escolha do tipo de questão

Após escolher um tipo e clicar em "Próximo" ele abre o formulário para criar a

questão conforme a opção escolhida. Na Figura 20 é possível ver uma destas telas.

Page 59: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

50

FIGURA 20: Criação da questão Escolha Única

Há uma variação nos elementos do formulário conforme o tipo de questão,

podendo haver mais ou menos informações solicitadas.

Conforme as questões vão sendo criadas elas ficam disponíveis em uma lista,

a partir da qual é possível editar os conteúdos ao clicar sobre o enunciado da

questão (Figura 21).

FIGURA 21: Tela do banco de questões

Page 60: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

51

A partir do momento que já existem questões criadas, é possível associá-las a

uma prova, sendo necessário voltar à tela de descrição da prova e clicar no link

"Selecionar Questões". Na Figura 22 é apresentado um exemplo da tela de escolha.

FIGURA 22: Escolha das questões da prova

Depois de escolher as questões é necessário atribuir pontuação a cada uma

delas conforme mostra a Figura 23. A partir deste ponto a prova estará pronta para

ser aplicada.

FIGURA 23: Atribuição de pontuação às questões da prova

O ambiente oferece quatro relatórios de resultados, como descrito abaixo:

Notas (somente na tela): dá acesso às notas individuais e prova com as

Page 61: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

52

respostas, erros, acertos e pontuação em cada pergunta para cada aluno.

Evento por prova (tela e arquivo csv10): mostra as notas obtidas pelos

alunos em uma ou mais provas aplicadas em um mesmo evento11 e a média de

todas as provas do evento para cada aluno.

Evento por questão (tela e arquivo csv): mostra as notas obtidas pelos

alunos em cada questão em uma ou mais provas aplicadas em um mesmo evento.

Estatísticas por prova (somente na tela): mostra para cada questão da

prova as respostas dadas, a quantidade total de alunos que responderam a

pergunta, e para cada resposta a quantidade e porcentagem de alunos que a

escolheram, marcando em negrito as respostas corretas (Figura 24).

FIGURA 24: Relatório Estatística por Prova

Os recursos descritos acima são parte da interface acessível aos alunos e

professores. O sistema conta com outros recursos que não serão descritos, pois

fogem do foco do estudo.

10 O CSV é um arquivo de texto, que permite guardar dados para serem lidos por planilhas eletrônicas. Os dados são separados por vírgula ou ponto e vírgula fazendo com que ao abrir o arquivo em uma planilha eletrônica eles se organizem em linhas e colunas. 11 O Evento pode ser comparado a um curso em um AVA, ou seja, assim como um curso reúne conteúdos, informações e avaliações, ele reúne uma ou mais avaliações.

Page 62: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

4. Resultados

Os resultados do estudo foram divididos em duas partes: as heurísticas

especializadas e a validação das mesmas. Na primeira parte, são descritas as

características positivas e negativas dos recursos avaliativos dos sistemas Moodle e

Blackboard®, obtidas a partir da análise feita nas mesmas. Em seguida, são

definidas formalmente as heurísticas especializadas propostas pelo estudo.

Na segunda parte, são apresentados os resultados da inspeção de

usabilidade realizada para verificar a validade das heurísticas.

4.1 Heurísticas especializadas para sistemas eletrônicos de

avaliação da aprendizagem baseada em casos clínicos

Para a definição das heurísticas foram considerados os componentes da

avaliação da aprendizagem, geral e baseada em casos clínicos, identificados por

meio da revisão de literatura; e os resultados da análise dos recursos dos sistemas

Moodle e Blackboard®, realizada conforme descrito no item 3.2.

4.1.1 Análise dos recursos avaliativos disponíveis nos sistemas Moodle

e Blackboard®

Os sistemas foram analisados em relação a sua usabilidade, observando-se

principalmente o atendimento às necessidades das avaliações da aprendizagem

descritas pela literatura (Hooper et al, 1998; Depresbiteris, 1998; Perrenoud, 1999;

Sordi, 2000; Fenili, 2002; Schuwirth, 2005; Langendyk, 2006; Zeferino e Passeri,

2007; Segers et al, 2008; Struyven et al, 2008; Garcia, 2009; Megale et al, 2009;

Domingues et al, 2010; Punhagui e Souza, 2011; Sebastiani et al, 2012; Baeten et

al, 2013).

A partir da análise obteve-se um conjunto de características e recursos que

foram divididos em positivos e negativos, acompanhados da indicação da heurística

de Nielsen (1995) atendida ou violada, ambos para os sistemas Moodle e

Balckboard®, não sendo indicado em qual deles foi identificado, já que o objetivo

Page 63: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

54

não foi compará-los. Elas são apresentadas a seguir divididas entre as interfaces do

aluno e do professor, tanto para os positivos como para os negativos.

4.1.1.1 Características e recursos positivos na interface do professor

As características e recursos positivos da interface do professor nos AVAs

são apresentadas abaixo:

PP1. Facilidade em localizar o instrumento avaliativo desejado

Heurística Atendida: Estética e design minimalista.

Importância: recursos que podem ser localizados rapidamente colaboram com os

professores que não tem prática no uso de computadores, assim como consomem

menos tempo para realização da tarefa.

PP2. Boa organização dos elementos de formulário

Heurísticas Atendidas: Relacionamento entre a interface do sistema e o mundo real;

Consistência e padrões; Estética e design minimalista.

Importância: além de facilitar o preenchimento dos dados, também cria uma

seqüência na inserção das informações, orientando o professor no caminho a seguir.

PP3. Acesso rápido e fácil à ajuda

Heurística Atendida: Ajuda e documentação.

Importância: quando a ajuda pode ser consultada facilmente, a tendência é que os

professores a utilizem sempre que tiverem dúvidas, além disso, o rápido acesso

contribui para a realização da tarefa com menos comprometimento de tempo.

PP4. Possibilidade de definição e configuração da visualização do feedback

Heurísticas Atendidas: Liberdade e controle do usuário; Flexibilidade e eficiência de

uso.

Importância: possibilita ao professor definir os feedbacks que serão oferecidos aos

alunos automaticamente, no decorrer ou ao final da avaliação. Além disso, permite

que ele escolha o momento no qual deseja que os alunos os visualize. Esta é uma

etapa importante do processo de avaliação (Zeferino e Passeri, 2007; Garcia, 2009).

Page 64: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

55

PP5. Possibilidade de avaliar também as postagens e anexos no fórum

Heurísticas Atendidas: Relacionamento entre a interface do sistema e o mundo real;

Liberdade e controle do usuário; Flexibilidade e eficiência de uso.

Importância: oferece a possibilidade do professor realizar uma atividade de

discussão, promovendo um debate e avaliar as participações e estas ficam

registradas no centro de gerenciamento de notas. Além disso, o professor pode

receber materiais dos alunos através de arquivos anexos.

PP6. Flexibilidade na configuração da atribuição de pontuação às atividades

Heurística Atendida: Flexibilidade e eficiência de uso.

Importância: oferece ao professor maior flexibilidade na configuração da pontuação,

possibilitando a fragmentação de notas conforme as respostas dadas pelo aluno ou

o número de tentativas, diminuindo as pontuações extremas (mínima ou máxima).

PP7. Diversidade de instrumentos para avaliação

Heurísticas Atendidas: Relacionamento entre a interface do sistema e o mundo real;

Flexibilidade e eficiência de uso.

Importância: proporciona liberdade de escolha ao professor, permitindo que ele

selecione o instrumento que melhor se adequar ao conteúdo que deseja avaliar.

PP8. Possibilidade de uso de recursos de áudio e vídeo nas atividades

Heurística Atendida: Flexibilidade e eficiência de uso.

Importância: oferece ao professor recursos diferenciados para serem utilizados na

avaliação (Choules, 2007).

PP9. Possibilidade de sorteio e embaralhamento de questões e alternativas

Heurísticas Atendidas: Relacionamento entre a interface do sistema e o mundo real;

Flexibilidade e eficiência de uso.

Importância: esta funcionalidade oferece ao professor a possibilidade de diminuir as

chances do aluno copiar as respostas de um colega, fraudando seus resultados.

PP10. Possibilidade de visualizar questões e avaliações no formato em que o

aluno às verá

Heurística Atendida: Relacionamento entre a interface do sistema e o mundo real.

Page 65: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

56

Importância: o professor pode conferir como será a visualização das questões

oferecidas ao aluno, isto permite verificar se a apresentação está na forma que ele

deseja e imagina.

PP11. Possibilidade de gerenciamento das avaliações

Heurísticas Atendidas: Relacionamento entre a interface do sistema e o mundo real;

Flexibilidade e eficiência de uso.

Importância: oferece ao professor a possibilidade de avaliar ou reavaliar atividades e

acessar a entrega da tarefa do aluno, além disso permite que sejam inseridos

comentários sobre a atividade.

PP12. Possibilidade de configurar múltiplas tentativas de envio da avaliação

Heurística Atendida: Flexibilidade e eficiência de uso.

Importância: permite que sejam oferecidas várias oportunidades para o aluno

resolver a atividade, possibilitando que ele perceba, corrija seus erros e envie

novamente.

PP13. Configuração da disponibilidade e tempo de avaliação

Heurística Atendida: Flexibilidade e eficiência de uso.

Importância: oferece ao professor controle sobre o momento e tempo de realização

da atividade avaliativa.

PP14. Possibilidade de exportar notas e respostas de atividades avaliativas

Heurísticas Atendidas: Relacionamento entre a interface do sistema e o mundo real;

Flexibilidade e eficiência de uso.

Importância: poder exportar as notas permite ao professor guardar os resultados das

avaliação em local diferente do sistema e no caso das respostas, possibilita que ele

corrija as atividades sem depender de conexão de internet, além disso poderá

guardá-las.

PP15. Possibilidade de exportação das questões criadas no sistema

Heurística Atendida: Flexibilidade e eficiência de uso.

Importância: permite que o professor reaproveite as questões disponíveis no

sistema.

Page 66: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

57

O gráfico da Figura 25 mostrou que as heurísticas "Flexibilidade e eficiência

de uso" e "Relacionamento entre a interface do sistema e o mundo real" foram as

mais atendidas na interface do professor.

FIGURA 25: Gráfico da frequência de atendimento das heurísticas de Nielsen (1995) pelas

características e recursos positivos do AVAs

4.1.1.2 Características e recursos positivos na interface do aluno

As características e recursos positivos da interface do aluno nos AVAs são

apresentadas abaixo:

PA1. Possibilidade de uso de recursos de áudio e vídeo nas atividades

Heurística Atendida: Flexibilidade e eficiência de uso.

Importância: oferece ao aluno a visualização de informações durante a avaliação em

formatos diversificados (Choules, 2007).

PA2. Apresentação de área de navegação entre as questões durante a

avaliação

Heurísticas Atendidas: Relacionamento entre a interface do sistema e o mundo real;

Reconhecimento ao invés de lembrança; Estética e design minimalista.

Importância: ajuda o aluno a identificar em que ponto da avaliação está, o que ainda

falta e em algumas situações permite que ele volte nas perguntas já respondidas.

0 5 10 15

Visibilidade de status do sistema

Relacionamento entre a interface do sistema e o …

Liberdade e controle do usuário

Consistência e padrões

Prevenção de erros

Reconhecimento ao invés de lembrança

Flexibilidade e eficiência de uso

Estética e design minimalista

Ajudar os usuários a reconhecer, diagnosticar e …

Ajuda e documentação

Page 67: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

58

PA3. Confirmação de salvamento de respostas e salvamento automático

periódico durante a realização da prova

Heurísticas Atendidas: Visibilidade de status do sistema.

Importância: ajuda o aluno a identificar que sua resposta foi salva, fazendo com que

ele não fique em dúvida e apreensivo sobre isso.

Na interface do aluno, as características e recursos positivos atenderam à

cinco heurísticas distintas de Nielsen (1995), conforme apresentado anteriormente.

Se forem consideradas junto com as indicações da interface do professor, a

prevalência de "Flexibilidade e eficiência de uso" e "Relacionamento entre a

interface do sistema e o mundo real" se mantém.

4.1.1.3 Características e recursos negativos na interface do professor

As características e recursos negativos da interface do professor nos AVAs

são apresentadas abaixo:

NP1. Falta de clareza no comportamento da avaliação de acordo com a

definição de sua disponibilidade

Heurística Violada: Prevenção de erros.

Importância: o professor fica sem saber como o sistema se comportará em relação

as respostas inseridas pelo aluno quando o tempo de disponibilidade se encerra,

gerando insegurança no uso desta configuração.

NP2. Visualização da ajuda do sistema na mesma janela de criação da

avaliação

Heurística Violada: Liberdade e controle do usuário.

Importância: os professores nem sempre percebem o local onde um conteúdo foi

carregado. Neste caso, ele pode fechar a guia do navegador sem perceber que é a

mesma onde estava carregada a avaliação. Outra possibilidade disponível, seria

usar o botão de voltar do navegador, mas ele pode não saber que é possível fazer

isso.

Page 68: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

59

NP3. Campos nos formulários que não são claros quanto ao que deve ser

informado e sobre sua finalidade

Heurísticas Violadas: Relacionamento entre a interface do sistema e o mundo real;

Ajuda e documentação.

Importância: se o professor não reconhecer a finalidade do campo, não saberá se

precisa informá-lo, e isto tanto pode fazer com que ele não o preencha ou que fique

inseguro sobre o resultado de fazê-lo ou não. Além disso, em alguns casos,

dependendo de como o campo for preenchido, pode gerar um resultado contrário ao

que é desejado.

NP4. Existência de recursos e configurações importantes ocultados por botões

e ícones

Heurística Violadas: Prevenção de erros.

Importância: se o professor não perceber que um recurso importante ou necessário

está oculto por um botão ou ícone, deixará de usá-lo, podendo não configurar

alguma característica, editar ou visualizar informações.

NP5. Falta de orientação sobre os instrumentos avaliativos e de visualização

pelo professor do formato que os alunos verão

Heurísticas Violadas: Relacionamento entre a interface do sistema e o mundo real;

Consistência e padrões; Reconhecimento ao invés de lembrança; Estética e design

minimalista; Ajuda e documentação.

Importância: se o professor não consegue informação sobre como os recursos

funcionam, ele pode optar por não utilizá-lo ou caso resolva adotá-lo, irá tentar fazer

experimentos para entendê-lo, o que o faz gastar mais tempo do que seria

necessário. Além disso, ele também não consegue saber como o aluno verá o

conteúdo.

NP6. Falta de padronização na identificação de comandos e informações

Heurística Violada: Consistência e padrões.

Importância: o professor pode ficar em dúvida se os elementos realizam as mesmas

ações ou não perceber que eles representam uma funcionalidade desejada,

podendo não utilizá-los ou fazê-lo errado.

Page 69: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

60

NP7. Navegação sem padrão e confusa (ausência de saída em algumas telas,

conteúdos que são carregados hora em janelas separadas, hora na janela principal,

acesso a recursos importantes em locais pouco prováveis, longos caminhos de

navegação e links e botões que não funcionam).

Heurísticas Violadas: Visibilidade de status do sistema; Estética e design

minimalista; Ajudar os usuários a reconhecer, diagnosticar e sanar erros.

Importância: o usuário se sente inseguro e pode escolher um caminho que gere

alguma perda, muitas vezes pode ficar sem saber o que fazer ou sem o que precisa,

principalmente quem não tem prática com este tipo de ferramenta.

NP8. Recursos incompatíveis com os conhecimentos dos usuários

Heurística Violada: Relacionamento entre a interface do sistema e o mundo real.

Importância: a solicitação de recursos externos desconhecidos (plugings) ao usuário

ou com muitos detalhes para utilização dificultam o uso do sistema, podendo

produzir uma escolha equivocada, gerando resultado indesejado e interferindo na

avaliação. Também é possível que o usuário desista de utilizar.

NP9. Termos desconhecidos pelos usuários

Heurística Violada: Relacionamento entre a interface do sistema e o mundo real.

Importância: o uso de termos incomuns ao usuário dificultam o uso do sistema,

podendo ser feita uma escolha errada, gerando um resultado indesejado que pode

interferir na avaliação.

NP10. Configuração de recursos em mais de um lugar e conflitantes

Heurística Violada: Flexibilidade e eficiências de uso.

Importância: a possibilidade de configurar os recursos em lugares e níveis

diferentes, em algumas situações pode ser confuso e prejudicar o entendimento e

liberdade de configuração do professor.

NP11. Recursos deficientes

Heurística Violada: Flexibilidade e eficiências de uso.

Importância: se o recurso não funciona corretamente e o professor não perceber,

poderá haver comprometimento da criação ou do resultado da avaliação.

Page 70: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

61

NP12. Ausência de local determinado para o professor informar os critérios e

objetivos da avaliação

Heurística Violada: Relacionamento entre a interface do sistema e o mundo real.

Importância: na área de definição da prova não é indicado explicitamente nenhum

local para serem inseridas as informações sobre o que (objetivo) e como (critério) o

professor irá avaliar.

A heurística "Relacionamento entre a interface do sistema e o mundo real" foi

a mais violada, conforme pode ser visto no gráfico da Figura 26.

FIGURA 26: Gráfico de frequência de violação das heurísticas de Nielsen (1995) pelas características

e recursos negativos do AVAs.

4.1.1.4 Características e recursos negativos na interface do aluno

As características e recursos negativos da interface do aluno nos AVAs são

apresentadas abaixo:

NA1. Baixa comunicabilidade do sistema com o aluno na realização da

avaliação

Heurística Violada: Visibilidade de status do sistema.

Importância: Não saber o que está acontecendo no sistema em situações nas quais

deveria haver retorno, gera insegurança no aluno.

0 2 4 6

Visibilidade de status do sistema

Relacionamento entre a interface do sistema e o …

Liberdade e controle do usuário

Consistência e padrões

Prevenção de erros

Reconhecimento ao invés de lembrança

Flexibilidade e eficiência de uso

Estética e design minimalista

Ajudar os usuários a reconhecer, diagnosticar e …

Ajuda e documentação

Page 71: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

62

NA2. Baixa visibilidade dos dados de identificação do aluno e localização no

sistema

Heurística Violada: Visibilidade de status do sistema.

Importância: muitas vezes durante a realização de uma avaliação os usuários estão

com pressa ou nervosos e podem se confundir no acesso aos conteúdos, além disso

muitos costumam não desconectar seu login, nestes casos os usuários irão perceber

facilmente estas situações se os dados estiverem bem evidentes.

NA3. Ausência do critério, objetivo e pontuações da avaliação

Heurística Violada: Relacionamento entre a interface do sistema e o mundo real.

Importância: durante a realização da avaliação não estão disponíveis para o aluno

as informações sobre o que (objetivo) e como (critério) o professor irá avaliar, e nem

o valor máximo (pontuação) de cada atividade/questão.

NA4. Recursos deficientes

Heurística Violada: Flexibilidade e eficiências de uso.

Importância: se o recurso não funciona corretamente e o usuário não perceber,

poderá haver comprometimento da criação ou do resultado da avaliação.

NA5. Navegação sem padrão e confusa (elementos de navegação ocultos,

conteúdos que são carregados hora em janelas separadas, hora na janela principal).

Heurísticas Violadas: Estética e design minimalista; Ajudar os usuários a

reconhecer, diagnosticar e sanar erros.

Importância: o usuário se sente inseguro e pode escolher um caminho que gere

alguma perda, muitas vezes pode ficar sem saber o que fazer ou sem o que precisa,

principalmente quem não tem prática com este tipo de ferramenta.

Na interface do aluno, as características e recursos negativos violaram cinco

heurísticas distintas de Nielsen (1995), conforme apresentado acima. Se forem

consideradas junto com as indicações da interface do professor, a prevalência de

"Relacionamento entre a interface do sistema e o mundo real" se mantém.

Page 72: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

63

4.1.2 Definição das heurísticas especializadas

As heurísticas especializadas são apresentadas a seguir e nos casos de

especialização de heurística de Nielsen (1995) há a indicação da correspondente (as

definições do autor citado estão disponíveis no item 1.1.3.2 deste estudo).

O diagrama da Figura 27 apresenta de forma global as heurísticas

especializadas para ambas as interfaces, aluno e professor, juntamente com as

propostas por Nielsen (1995), demonstrando suas relações, com exceção de "Ajudar

os usuários a reconhecer, diagnosticar e se recuperar de erros" pois não foi

especializada.

Page 73: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

64

FIGURA 27: Heurísticas especializadas apresentadas junto com as de Nielsen (1995)

H2. Visualização das ações automáticas do sistema

2.Relacionamento entre a interface do

sistema e o mundo real

3 H3. Organização dos elementos da avaliação

3.Liberdade e controle do usuário

4.Consistência e padrões H6. Padronização visual e organizacional

5.Prevenção de erros H7. Minimização e prevenção de alterações

acidentais

6.Reconhecimento ao invés de

lembrança H9. Interface intuitiva

7. Flexibilidade e eficiência de uso

8.Estética e design minimalista H11. Navegação simplificada

10.Ajuda e documentação

H13. Entendimento dos elementos de formulário

H14. Identificação e orientação visíveis

H15. Localização no contexto da avaliação

H16. Liberdade de consulta

H17. Reconhecimento da finalização da avaliação

1.Visibilidade de Status do Sistema

H1. Percepção clara de mudanças na interface e

direcionamento

H4. Proximidade com o mundo real

H5. Correção e orientação de erros

H8. Condução e direcionamento

H10. Flexibilidade e controle do professor

H12. Clareza e orientação sobre os recursos de

avaliação disponíveis

H18. Facilidade na inclusão de recursos

H19. Visualização da avaliação

H20. Facilidade na atribuição da pontuação e nota

H21. Visualização de resultados

H22. Ajudar a fornecer feedback ao aluno

Legenda:

Heurísticas

Nielsen

Especializadas aplicáveis às duas

interfaces

Especializadas aplicáveis à interface

do aluno

Especializadas aplicáveis à interface

do professor

Page 74: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

65

H1. Percepção clara de mudanças na interface e direcionamento:

Especialização da Heurística: Visibilidade de Status do Sistema

Interface de aplicação: aluno e professor

Descrição: as mudanças na interface devem ser claras para que sejam reconhecidas

e compreendidas pelos usuários, eles precisam entender por que ela aconteceu, e

caso esta mudança requeira alguma ação, é necessário que os mesmos sejam

informados e que haja uma orientação sobre o que precisam fazer.

Exemplos:

Durante a realização de uma avaliação, ao responder um questionamento e

enviá-lo, o aluno deve ser informado de que a resposta foi salva com sucesso,

está providência proporcionará segurança para que ele continue a resolver os

próximos itens.

O carregamento de conteúdo em novas janelas (popup) ou abas (guias) é uma

prática comum nos sistemas web, sendo necessário que o usuário perceba

claramente que este evento aconteceu, neste caso uma forma de colaborar para

está percepção seria alterando o tamanho da nova janela, ou no caso da

abertura em uma aba, colocando um link para retornar à tela anterior, desta

maneira o usuário tem ciência de ter saído da tela inicial e sabe como retornar à

ela.

Nos sistemas web atuais, têm sido utilizadas mudanças na aparência (cor,

intensidade, fundo, etc.) dos elementos que compõem a interface para indicar

que ocorreu uma ação do sistema, quando isto acontece o usuário deve

compreender o que representa aquela mudança, caso contrário, ela poderá não

ser percebida.

Origem: dos AVAs analisados, foram considerados os itens positivos: "PA2.

Apresentação de área de navegação entre as questões durante a avaliação" e "PA3.

Confirmação de salvamento de respostas e salvamento automático periódico

durante a realização da prova" e o negativo, "NP2. Visualização da ajuda do sistema

na mesma janela de criação da avaliação".

H2. Visualização das ações automáticas do sistema:

Especialização da Heurística: Visibilidade de Status do Sistema

Interface de aplicação: aluno

Page 75: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

66

Descrição: as ações do sistema que ocorrem independente da interação do aluno,

sempre devem ser informadas, para que o mesmo tenha conhecimento de sua

execução e significado.

Exemplos:

Em algumas ferramentas, durante a realização de avaliações, enquanto o aluno

está respondendo às questões, o sistema salva periodicamente, independente de

ação do mesmo. Este salvamento deve ser comunicado de alguma forma, pois

caso haja algum problema e a avaliação seja encerrada inesperadamente, o

aluno saberá que parte do que ele fez foi preservado.

Nos sistemas tem sido utilizado, em algumas situações, a atualização de

conteúdo em partes da tela, ao acontecer este evento, o aluno deve reconhecê-

lo, pois assim saberá que houve mudança no conteúdo.

Origem: dos AVAs analisados, foram considerados o item positivo, "PA3.

Confirmação de salvamento de respostas e salvamento automático periódico

durante a realização da prova" e os negativos: "NP1. Falta de clareza no

comportamento da avaliação de acordo com a definição de sua disponibilidade" e

"NA1. Baixa comunicabilidade do sistema com o aluno na realização da avaliação".

H3. Organização dos elementos da avaliação:

Especialização da Heurística: Relacionamento entre a interface do sistema e o

mundo real.

Interface de aplicação: aluno

Descrição: na criação de uma interface para um sistema de avaliação baseada em

caso clínicos é fundamental considerar que os elementos que a compõem precisam

proporcionar legibilidade e permitir traçar uma seqüência lógica para a realização da

mesma, independente de qual método é adotado (diagnóstico, formativo ou

somativo).

Exemplos:

Na avaliação, caso sejam oferecidas imagens para consulta, a exibição em um

popup ou região da tela próxima ao ponto onde está o questionamento

relacionado à imagem, ajudaria o aluno a analisar a imagem e a pergunta

simultaneamente.

O sistema pode oferecer a possibilidade de intercalar atividades avaliativas com

textos, informações adicionais, imagens, etc., permitindo ao professor fornecer

Page 76: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

67

recursos para que os alunos analisem e elaborem melhor suas soluções,

contribuindo também para o desenvolvimento do raciocínio.

O feedback é considerado importante no processo de avaliação da

aprendizagem (Garcia, 2009), por isso é interessante que seja estrategicamente

posicionado, de forma que contribua para o entendimento do aluno acerca do

assunto abordado na avaliação e o ajude a detectar suas dificuldades.

Origem: dos AVAs analisados, foram considerados o item positivo, "PA2.

Apresentação de área de navegação entre as questões durante a avaliação" e o

negativo, "NA5. Navegação sem padrão e confusa". Em relação a avaliação da

aprendizagem, considerou-se os elementos necessários para realizá-la baseada em

casos clínicos (Hooper et al, 1998; Schuwirth, 2005; Langendyk, 2006; Segers et al,

2008; Struyven et al, 2008; Megale et al, 2009; Sebastiani et al, 2012; Baeten et al,

2013; Porto e Porto, 2013) e a recomendação de oferecer feedback ao aluno

(Zeferino e Passeri, 2007; Garcia, 2009).

H4. Proximidade com o mundo real:

Especialização da Heurística: Relacionamento entre a interface do sistema e o

mundo real

Interface de aplicação: professor

Descrição: o sistema deve oferecer ao professor a possibilidade de elaborar a

avaliação na ordem em que está habituado a fazer sem utilizá-lo, ou seja, ele deve

ter a opção de escolher por onde iniciar e terminar a criação. Além disso, deve ser

permitido que ele decida como combinar os instrumentos avaliativos.

Exemplo:

Alguns professores podem estar acostumados a iniciar a definição da avaliação

pelas informações gerais, como: nome da disciplina, curso, data e orientações

gerais, e só depois começar a criar as atividades avaliativas. Mas podem haver

professores que prefiram definir primeiro as atividades para depois complementar

com as outras informações. O sistema precisa permitir esta liberdade, não

exigindo que o professor mude sua forma de trabalhar para atendê-lo.

Origem: dos AVAs analisados, foram considerados os itens positivos: "PP2.

Facilidade em localizar o instrumento avaliativo desejado", "PP5. Possibilidade de

avaliar também as postagens e anexos no fórum", "PP6. Flexibilidade na

configuração da atribuição de pontuação às atividades", "PP7. Diversidade de

Page 77: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

68

instrumentos para avaliação", "PP10. Possibilidade de visualizar questões e

avaliações no formato em que o aluno às verá", "PP11. Possibilidade de

gerenciamento das avaliações", "PP12. Possibilidade de configurar múltiplas

tentativas de envio da avaliação", "PP13. Configuração da disponibilidade e tempo

de avaliação", "PP14. Possibilidade de exportar notas e respostas de atividades

avaliativas" e "PP15. Possibilidade de exportação das questões criadas no sistema",

e os negativos: "NP1. Falta de clareza no comportamento da avaliação de acordo

com a definição de sua disponibilidade", "NP3. Campos nos formulários que não são

claros quanto ao que deve ser informado e sobre sua finalidade", "NP5. Falta de

orientação sobre os instrumentos avaliativos e de visualização pelo professor do

formato que os alunos verão", "NP8. Recursos incompatíveis com os conhecimentos

dos usuários", "NP9. Termos desconhecidos pelos usuários" e "NP10. Configuração

de recursos em mais de um lugar e conflitantes". Em relação à avaliação da

aprendizagem foi considerada a possibilidade de ser adotado qualquer um dos

métodos de avaliação (diagnóstico, formativo e somativo) (Depresbiteris, 1998).

H5. Correção e orientação de erros:

Especialização da Heurística: Liberdade e controle do usuário

Interface de aplicação: professor

Descrição: ao utilizar o sistema, o professor pode acidentalmente realizar ações que

provocam resultados indesejados, se isto acontece, é interessante que ele receba

um alerta sobre o que está prestes à fazer e qual a conseqüência da ação, caso já

tenha sido executada é importante que haja uma forma de desfazê-la, voltando o

sistema ao estado anterior.

Exemplos:

Na montagem de uma prova do tipo teste o professor pode desejar excluir uma

questão, das que já havia criado, e acidentalmente exclui outra próxima, é

importante que o sistema peça confirmação da ação, mas se mesmo assim ela

acontecer, que seja possível recuperar a questão sem ter que criar novamente.

Em alguma circunstância, o professor pode desejar alterar o conteúdo de uma

avaliação que já foi respondida pelos alunos, o sistema não deve permitir, e deve

avisá-lo do porquê. As atividades já utilizadas não podem ser editadas, pois

desta forma comprometeriam os resultados dos alunos.

Ao realizar uma avaliação o aluno pode esquecer de resolver algum item e tentar

Page 78: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

69

enviá-la, se isto ocorrer o sistema deve avisá-lo e pedir que ele confirme se

deseja mesmo enviar. Esta providência evita que o aluno, acidentalmente, deixe

de responder algo.

Origem: dos AVAs analisados, foram considerados o item positivo, "PP3. Acesso

rápido e fácil à ajuda" e os negativos: "NP8. Recursos incompatíveis com os

conhecimentos dos usuários" e "NP9. Termos desconhecidos pelos usuários".

H6. Padronização visual e organizacional:

Especialização da Heurística: Consistência e padrões

Interface de aplicação: aluno e professor

Descrição: os elementos que compõem a interface do sistema devem seguir uma

padronização, principalmente na representação de ações e comandos.

Exemplos:

Formulários de inserção e edição de dados contêm comandos para gravação,

identificá-los sempre da mesma forma, ajuda no reconhecimento dos mesmos

sempre que forem oferecidos.

Na criação da interface é importante definir cores, posições, tamanhos e outras

características padronizadas para todo o sistema, pois isto ajuda o usuário a

lembrar a localização das funções oferecidas e conseqüentemente diminuí o

tempo necessário para realizar uma tarefa.

Origem: dos AVAs analisados, foram considerados o item positivo, "PP2. Boa

organização dos elementos de formulário" e os negativos: "NP6. Falta de

padronização na identificação de comandos e funções", "NP7. Navegação sem

padrão e confusa" e "NA5. Navegação sem padrão e confusa". Em relação a

avaliação da aprendizagem, considerou-se os elementos necessários para realizá-la

baseada em casos clínicos (Hooper et al, 1998; Schuwirth, 2005; Langendyk, 2006;

Segers et al, 2008; Struyven et al, 2008; Baeten et al, 2013; Porto e Porto, 2013).

H7. Minimização e prevenção de alterações acidentais:

Especialização da Heurística: Prevenção de erros

Interface de aplicação: aluno

Descrição: ao utilizar o sistema, os alunos podem fazer alterações nos dados, e

existem situações em que esta ação pode ser crítica, por isso sempre que for

executada, o sistema deve oferecer um aviso e pedir confirmação da mesma.

Page 79: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

70

Exemplos:

Em uma avaliação configurada para permitir que o aluno modifique uma resposta

dada, o sistema deve solicitar a confirmação do mesmo para concluir a ação,

este mecanismo vai fazer com que o aluno tenha sua atenção voltada para

modificação diminuindo as chances de alteração acidental.

Há avaliação que pode ser configurada para não permitir que o aluno refaça

etapas, ou seja, após resolver uma questão e avançar ele não pode voltar, neste

caso ele precisa ser informado antes da ação ser realizada. As regras da

avaliação precisam estar claras, evitando que o aluno, por falta de entendimento,

realize uma ação que pode interferir no seu desempenho.

Origem: dos AVAs analisados, foram considerados o item positivo, "PA3.

Confirmação de salvamento de respostas e salvamento automático periódico

durante a realização da prova" e o negativo, "NA1. Baixa comunicabilidade do

sistema com o aluno na realização da avaliação".

H8. Condução e direcionamento:

Especialização da Heurística: Reconhecimento ao invés de lembrança

Interface de aplicação: professor

Descrição: o sistema deve conter elementos que auxiliem o professor na criação e

edição da avaliação. A interface deve direcioná-lo, ajudando-o a reconhecer o que

precisa ser informado e em qual sequência.

Exemplos:

Na criação de uma atividade os dados necessários podem ser agrupados por tipo

de informação e separados em mais de uma página, dispondo de botões para ir

e voltar entre as telas. Está estrutura cria uma seqüência e conduz o professor

no processo.

Um outro caso seria o uso de um mapa linear (similar a uma linha do tempo), ou

seja, em alguma parte da tela de criação da avaliação, podem ser colocados, na

seqüência em que são realizadas, as etapas de preenchimento e configuração

da avaliação.

Origem: dos AVAs analisados, foram considerados o item positivo, "PP2. Boa

organização dos elementos de formulário" e os negativos: "NP1. Falta de clareza no

comportamento da avaliação de acordo com a definição de sua disponibilidade",

"NP2. Visualização da ajuda do sistema na mesma janela de criação da avaliação",

Page 80: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

71

"NP3. Campos nos formulários que não são claros quanto ao que deve ser

informado e sobre sua finalidade", "NP4. Existência de recursos e configurações

importantes ocultados por botões e ícones", "NP7. Navegação sem padrão e

confusa", "NP8. Recursos incompatíveis com os conhecimentos dos usuários",

"NP9. Termos desconhecidos pelos usuários", "NP10. Configuração de recursos em

mais de um lugar e conflitantes", "NP11. Recursos deficientes" e "NA5. Navegação

sem padrão e confusa".

H9. Interface intuitiva:

Especialização da Heurística: Estética e design minimalista

Interface de aplicação: aluno e professor

Descrição: a interface deve ser fácil de aprender para que alunos e professores não

precisem se preocupar com ela, mas sim com a avaliação, deve ser um elemento

neutro no que diz respeito a complexidade.

Exemplos:

As telas devem reunir somente o que é necessário para a realização da tarefa

proposta nela, não sobrecarregando os usuários com excesso de informação.

A utilização de elementos que alunos e professores conhecem ajudam no

reconhecimento e eles terão mais facilidade em entender o que é para ser feito,

tornando a criação e interação com o sistema mais rápida e fácil.

Origem: dos AVAs analisados, foram considerados os itens positivos: "PP1.

Facilidade em localizar o instrumento avaliativo desejado" e "PA2. Apresentação de

área de navegação entre as questões durante a avaliação", e os negativos: "NP1.

Falta de clareza no comportamento da avaliação de acordo com a definição de sua

disponibilidade", "NP2. Visualização da ajuda do sistema na mesma janela de

criação da avaliação", "NP4. Existência de recursos e configurações importantes

ocultados por botões e ícones", "NP6. Falta de padronização na identificação de

comandos e informações", "NP7. Navegação sem padrão e confusa", "NP8.

Recursos incompatíveis com os conhecimentos dos usuários", "NP9. Termos

desconhecidos pelos usuários", "NA1. Baixa comunicabilidade do sistema com o

aluno na realização da avaliação".

H10. Flexibilidade e controle do professor:

Especialização da Heurística: Flexibilidade e eficiência de uso

Page 81: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

72

Interface de aplicação: professor

Descrição: o sistema deve oferecer autonomia ao professor permitindo que ele

decida o que e como utilizar de recursos e conteúdos, quando ficará disponível e

para quem serão exibidos, ou seja, permitir que ele realize a avaliação da forma que

considerar melhor, não sendo limitado por convenções do sistema.

Exemplos:

As avaliações reúnem um conjunto de informações que o professor pode desejar

que os alunos vejam ou não, neste caso o sistema deve permitir que ele escolha

o melhor momento para exibi-las, por exemplo: a nota da avaliação, as respostas

corretas, o feedback, etc.

O professor precisa ter controle sobre o momento em que a avaliação estará

disponível aos alunos, podendo configurar também o término da disponibilidade,

o prazo de entrega e o tempo de duração.

Outra situação que pode acontecer é o professor desejar que as perguntas de

um questionário apareçam misturadas, o sistema deve permitir que ele faça esta

configuração.

Origem: dos AVAs analisados, foram considerados os itens positivos: "PP4.

Possibilidade de definição e configuração de visualização do feedback", "PP5.

Possibilidade de avaliar também as postagens e anexos no fórum", "PP6.

Flexibilidade na configuração da atribuição de pontuação às atividades", "PP7.

Diversidade de instrumentos para avaliação", "PP8. Possibilidade de uso de

recursos de áudio e vídeo nas atividades", "PP9. Possibilidade de sorteio e

embaralhamento de questões e alternativas", "PP11. Possibilidade de

gerenciamento das avaliações", "PP12. Possibilidade de configurar múltiplas

tentativas de envio da avaliação", "PP13. Configuração da disponibilidade e tempo

de avaliação", "PP14. Possibilidade de exportar notas e respostas de atividades

avaliativas" e "PP15. Possibilidade de exportação das questões criadas no sistema",

e os negativos: "NP1. Falta de clareza no comportamento da avaliação de acordo

com a definição de sua disponibilidade", "NP3. Campos nos formulários que não são

claros quanto ao que deve ser informado e sobre sua finalidade", "NP4. Existência

de recursos e configurações importantes ocultados por botões e ícones", "NP8.

Recursos incompatíveis com os conhecimentos dos usuários", "NP9. Termos

desconhecidos pelos usuários", "NP10. Configuração de recursos em mais de um

lugar e conflitantes", "NP11. Recursos deficientes". Em relação a avaliação da

Page 82: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

73

aprendizagem foi considerada a necessidade de adaptação do sistema para o que o

professor precisa para avaliar.

H11. Navegação simplificada:

Especialização da Heurística: Flexibilidade e eficiência de uso

Interface de aplicação: aluno e professor

Descrição: a interface deve ser desenvolvida de forma que sejam mínimas as

mudanças de tela e os cliques durante a interação do usuário, sendo interessante

haver elementos que facilitem a navegação e localização. Estes cuidados

contribuem para a realização das atividades com mais facilidade e em menor tempo.

Exemplo:

No relatório de notas dos alunos, onde ficam disponíveis todas as avaliações que

eles já fizeram, se o professor quiser visualizar a atividade de um aluno

específico, o sistema pode oferecer um menu popup que permita a ele escolher

diretamente a opção desejada, sendo levado à tela correta sem precisar

percorrer outras intermediárias.

Origem: dos AVAs analisados, foram considerados os itens positivos: "PP1.

Facilidade em localizar o instrumento avaliativo desejado" e "PA2. Apresentação de

área de navegação entre as questões durante a avaliação", e os negativos: "NP2.

Visualização da ajuda do sistema na mesma janela de criação da avaliação" e "NP7.

Navegação sem padrão e confusa".

H12. Clareza e orientação sobre os recursos de avaliação disponíveis:

Especialização da Heurística: Ajuda e documentação

Interface de aplicação: professor

Descrição: o sistema deve oferecer orientação sobre o funcionamento dos recursos

avaliativos, fornecendo ao professor informação para que ele compreenda como o

aluno os verá e utilizará. Além disso, ele precisa entender as partes que compõem

os recursos para saber como prepará-los. As orientações devem ser simples e

diretas, voltadas para a busca do usuário.

Exemplo:

Os sistemas de criação de avaliações contêm mais de um modelo de questão,

sendo necessário mostrar ao professor exemplos de como elas serão vistas pelo

aluno, para que ele decida sobre a adequação das mesmas ao seu objetivo. Se

Page 83: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

74

necessário, estes exemplos podem ser acompanhados de breve explicação

sobre o funcionamento e interação com o aluno.

Alguns sistemas oferecem recursos de avaliação diferentes, como por exemplo

"avaliação por pares". Quando isto ocorre deve ser apresentado ao professor,

exemplos de como interagir e explicações de como compô-lo, pois a ausência de

entendimento de sua utilização e constituição conduz a não utilização do recurso.

Origem: dos AVAs analisados, foram considerados os itens positivos: "PP3. Acesso

rápido e fácil à ajuda" e "PP10. Possibilidade de visualizar questões e avaliações no

formato em que o aluno às verá", e os negativos: "NP1. Falta de clareza no

comportamento da avaliação de acordo com a definição de sua disponibilidade",

"NP3. Campos nos formulários que não são claros quanto ao que deve ser

informado e sobre sua finalidade", "NP5. Falta de orientação sobre os instrumentos

avaliativos e de visualização pelo professor do formato que os alunos verão", "NP8.

Recursos incompatíveis com os conhecimentos dos usuários", "NP9. Termos

desconhecidos pelos usuários" e "NP10. Configuração de recursos em mais de um

lugar e conflitantes". Em relação a avaliação da aprendizagem foram consideradas

as diversas características dos instrumentos avaliativos e a necessidade de que o

sistema ofereça orientação sobre como utilizá-los.

H13. Entendimento dos elementos de formulário:

Especialização da Heurística: Ajuda e documentação

Interface de aplicação: aluno

Descrição: nestes sistemas os elementos de formulário podem ter características

diferentes do que os usuários estão acostumados a encontrar nas interfaces mais

comuns, por isso podem haver dúvidas de como funcionam, sendo necessário que o

sistema ofereça orientações sobre eles.

Exemplos:

Existem atividades nas quais é preciso enviar arquivos, mas podem haver alunos

que não estejam familiarizados com os elementos que permitem inclusão dos

mesmos, por isso a interface deve ser simples e direta, e se possível, deve

oferecer dicas para guiar a escolha do arquivo.

Outro caso é o uso de barra de ferramentas em campos de texto, os ícones

precisam ser reconhecidos pelos usuários, caso contrário, o usuário tenderá a

não utilizá-lo. A utilização de tags (acionadas quando o mouse é colocado sobre

Page 84: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

75

o ícone) com a descrição ou nome da ação que eles realizam é uma forma de

ajudar na identificação dos comandos.

Origem: dos AVAs analisados, foram considerados os itens negativos: "NP6. Falta

de padronização na identificação de comandos e informações" e "NP8. Recursos

incompatíveis com os conhecimentos dos usuários". Relacionado a avaliação da

aprendizagem foi considerado o estado emocional do aluno no momento em que

está sendo avaliado, não sendo recomendado que o sistema acrescente mais

ansiedade e nervosismo.

H14. Identificação e orientação visíveis:

Especialização da Heurística: nenhuma

Interface de aplicação: aluno

Descrição: as informações sobre avaliação e a identificação dos usuários devem

sempre estar disponíveis e em evidência.

Exemplo:

Durante a realização de uma atividade avaliativa a identificação do aluno, curso e

disciplina devem estar sempre visíveis, bem como o tempo máximo de realização

(caso haja) e orientações sobre a mesma. Desta forma o aluno terá acesso a

estas informações sempre que desejar.

Origem: dos AVAs analisados, foram considerados os itens negativos: "NA2. Baixa

visibilidade dos dados de identificação do usuário e localização no sistema" e "NA3.

Ausência de critério, objetivo e pontuações da avaliação". Em relação à avaliação da

aprendizagem, considerou-se que conforme o métodos e objetivo da mesma, as

informações de identificação do aluno e orientações sobre a avaliação são

importantes (Punhagui e Souza, 2011).

H15. Localização no contexto da avaliação:

Especialização da Heurística: nenhuma

Interface de aplicação: aluno

Descrição: o sistema deve oferecer ao aluno um meio de visualizar as fases que

compõem a avaliação, mostrando a ele em qual delas ele está, desta maneira ele

pode gerenciar o tempo disponível para realização da atividade.

Exemplo:

O sistema pode oferecer um mapa linear (similar a uma linha do tempo) com a

Page 85: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

76

identificação de cada etapa e destacar o ponto no qual o aluno está na avaliação,

dependendo de como ela foi configurada, pode permitir que ele navegue por este

mapa, avançando ou retrocedendo nas atividades.

Origem: dos AVAs analisados, foi considerado o item positivo, "PA2. Apresentação

de área de navegação entre as questões durante a avaliação". Relacionado a

avaliação da aprendizagem foi considerado o estado emocional do aluno no

momento em que está sendo avaliado, e sua necessidade de administrar o tempo

disponível e as tarefas a serem realizadas.

H16. Liberdade de consulta:

Especialização da Heurística: nenhuma

Interface de aplicação: aluno

Descrição: o aluno deve ter acesso aos próprios dados e resultados, respeitando as

restrições que por ventura o professor tenha definido para a avaliação.

Exemplos:

Na realização da avaliação, deve ser possível que o aluno visualize suas

respostas e as informações que façam parte da atividade, pelo menos até a fase

na qual ele se encontra.

É interessante que seja oferecida ao aluno uma área na qual ele tenha acesso às

avaliações que já tenha realizado, bem como aos seus resultados (notas).

Origem: dos AVAs analisados, foi considerado o item positivo, "PA2. Apresentação

de área de navegação entre as questões durante a avaliação". Em relação a

avaliação da aprendizagem, foi considerado o atendimento ao direito do aluno de ter

acesso à sua avaliação, mesmo depois de concluí-la, o que caracteriza também uma

forma de feedback (Zeferino e Passeri, 2007; Garcia, 2009).

H17. Reconhecimento da finalização da avaliação:

Especialização da Heurística: nenhuma

Interface de aplicação: aluno

Descrição: o sistema deve informar ao aluno quando ele chegar ao final da

avaliação, e caso esteja disponível, mostrar a pontuação obtida. Além disso, deve

orientá-lo sobre o que e como fazer a seguir.

Exemplos:

Ao final da avaliação o sistema pode apresentar uma mensagem de que a

Page 86: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

77

mesma acabou ou pode ser implementada a alteração da aparência da região na

tela que contenha a comunicação de finalização da atividade, chamando a

atenção do aluno.

Outro recurso seria avisar sobre o término da avaliação no momento que o aluno

vai acessar a última pergunta.

Pode ser oferecida uma área para navegação entre as questões, que destaque

as que ainda não foram respondidas.

Origem: dos AVAs analisados, foi considerado o item positivo, "PA2. Apresentação

de área de navegação entre as questões durante a avaliação". Relacionado a

avaliação da aprendizagem, foi considerado que deve estar claro para o aluno o

momento que a avaliação chegou ao final.

H18. Facilidade na inclusão de recursos:

Especialização da Heurística: nenhuma

Interface de aplicação: professor

Descrição: os sistemas para avaliação podem oferecer o uso de recursos multimídia

(imagem, som, vídeo, etc), quando isto ocorrer deve ser apresentada aos usuários,

uma interface simples e prática para inclusão e configuração dos mesmos, de forma

que seja de fácil entendimento para o ele.

Exemplos:

Na inclusão de uma imagem em uma tarefa, o sistema pode oferecer a opção de

configurá-la para ficar todo o tempo visível ou não.

As imagens e vídeos incluídos podem ser configurados para serem exibidos em

uma janela a parte, ao invés de ser mostrada sobre o conteúdo da pergunta.

Na inclusão de imagem seria interessante que fossem mostrados os arquivos já

selecionados e que não ocorressem muitas aberturas e mudanças de janelas.

Origem: dos AVAs analisados, foram considerados os itens positivos: "PP1.

Facilidade em localizar o instrumento avaliativo desejado" e "PP8. Possibilidade de

uso de recursos de áudio e vídeo nas atividades"; e os negativos: "NP10.

Configuração de recursos em mais de um lugar e conflitantes" e "NP11. Recursos

deficientes". Relacionado a avaliação da aprendizagem foi considerada a variedade

de instrumentos avaliativos que podem ser utilizados pelo professor (Depresbiteris,

1998; Perrenoud, 1999; Sordi, 2000; Fenili, 2002; Zeferino e Passeri, 2007; Garcia,

Page 87: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

78

2009; Domingues et al, 2010; Punhagui e Souza, 2011).

H19. Visualização da avaliação:

Especialização da Heurística: nenhuma

Interface de aplicação: professor

Descrição: o sistema deve oferecer ao professor a possibilidade de visualizar os

recursos da forma como os alunos verão, isto ajuda o mesmo a saber se a avaliação

está mostrando as informações da maneira que ele idealizou.

Exemplos:

Durante a criação da avaliação deve ser oferecida ao professor a possibilidade

de visualizar o conteúdo da avaliação já definido até aquele momento.

Na definição de questões ou atividades, pode ser apresentada, em uma área

lateral da tela, a visualização do que está sendo criado, como por exemplo uma

pergunta.

Origem: dos AVAs analisados, foi considerado o item positivo: "PP10. Possibilidade

de visualizar questões e avaliações no formato em que o aluno às verá". Em relação

a avaliação da aprendizagem foi considerado que os instrumentos avaliativos tem

formatos diferentes uns dos outros e o professor precisa ver como ele será

apresento ao aluno.

H20. Facilidade na atribuição da pontuação e nota:

Especialização da Heurística: nenhuma

Interface de aplicação: professor

Descrição: todo sistema de avaliação precisa oferecer um meio do professor definir

as pontuações das avaliações e atribuir notas às atividades dos alunos, sendo

recomendado que a interface seja simples e objetiva.

Exemplos:

Suponha que o professor precise anular uma questão e queira que a nota total

da avaliação seja redistribuída para as outras questões, o sistema deve conter

um mecanismo que facilite este processo, se possível que seja automático.

Na criação da avaliação o professor define a pontuação das perguntas, se a

interface apresentar a totalização dos pontos enquanto eles estão sendo

definidos, ajudará o usuário na conferência do total definido para aquela

avaliação.

Page 88: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

79

Origem: dos AVAs analisados, foram considerados os itens positivos: "PP5.

Possibilidade de avaliar também as postagens e anexos no fórum", "PP6.

Flexibilidade na configuração da atribuição de pontuação às atividades" e "PP11.

Possibilidade de gerenciamento das avaliações". Em relação ao processo de

avaliação da aprendizagem considerou-se o volume de trabalho que o professor tem

nesta tarefa, pensando em uma maneira de otimizá-la.

H21. Visualização de resultados:

Especialização da Heurística: nenhuma

Interface de aplicação: professor

Descrição: os sistemas de avaliação devem possibilitar ao professor visualizar os

resultados individuais e gerais dos alunos, ou seja, dispor de relatórios que permitam

a ele conferir o desempenho individual ou do grupo de alunos.

Exemplos:

Pode ser oferecido um relatório que mostre as notas dos alunos em uma

avaliação específica.

Um outro relatório poderia ser oferecido para mostrar o desempenho geral dos

alunos em várias avaliações.

Pode ser apresentado um relatório em forma de gráfico que compare o

desempenho entre os alunos.

O sistema pode mostrar, para uma avaliação, quais foram as respostas dadas e

entre elas as corretas, apresentando para cada uma a porcentagem de alunos

que a respondeu.

Origem: dos AVAs analisados, foram considerados os itens positivos: "PP11.

Possibilidade de gerenciamento das avaliações" e "PP14. Possibilidade de exportar

notas e respostas de atividades avaliativas". Em relação ao processo de avaliação

da aprendizagem, foi considerada a necessidade do professor ter acesso ao

desempenho dos alunos, individual ou coletivamente (Perrenoud, 1999; Zeferino e

Passeri, 2007; Garcia, 2009).

H22. Ajudar a fornecer feedback ao aluno:

Especialização da Heurística: nenhuma

Interface de aplicação: professor

Descrição: o sistema deve possibilitar ao professor fornecer retorno (feedback) aos

Page 89: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

80

alunos sobre os resultados nas avaliações,não só a nota, mas também comentários,

respostas corretas, orientações para estudo, etc.

Exemplos:

Durante a criação da avaliação o sistema pode oferecer campos em posições

estratégicas que permitam ao professor escrever comentários sobre as respostas

fornecidas pelos alunos.

O sistema pode oferecer uma ferramenta para criação de fórum de discussão,

podendo ser utilizada para debate sobre os resultados de uma avaliação.

Origem: dos AVAs analisados, foram considerados os itens positivos: "PP4.

Possibilidade de definição e configuração da visualização do feedback" e "PP11.

Possibilidade de gerenciamento das avaliações". Em relação à avaliação da

aprendizagem, foi considerada a necessidade do professor oferecer, aos alunos,

retorno sobre seus desempenhos, individual ou em grupo (Perrenoud, 1999;

Zeferino e Passeri, 2007; Garcia, 2009; Megale et al, 2009; Punhagui e Souza,

2011).

As heurísticas propostas tem como objetivo indicar aspectos dos sistemas

eletrônicos para avaliação da aprendizagem baseada em casos clínicos que

precisam de atenção, pois podem interferir tanto na atividade do professor no

momento de criá-la, como quando os alunos a estão realizando, podendo

comprometer os resultados.

4.2 Validação das heurísticas

A avaliação heurística foi realizada por sete especialistas e estes encontraram

194 problemas de usabilidade, sendo 64 na interface dos alunos e 135 na dos

professores. Em alguns casos os problemas são relatados por mais de um avaliador

e podem estar relacionados à violação de mais de uma heurística. Os graus de

severidade são considerados de 1 a 5, sendo 1 o menor impacto e 5 o maior, esta

escala segue a definição de Nielsen (1995) apresentada no item 1.1.3.2 deste

estudo. Os problemas apontados na avaliação são apresentados integralmente no

Anexo 5.

Nos resultados as atribuições de grau de severidade às violações indicadas

Page 90: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

81

para a interface do professor, mostraram que as heurísticas especializadas

aparecem mais vezes associadas aos níveis mais graves de severidade do que as

de Nielsen (1995), como pode ser observado no gráfico da Figura 28.

FIGURA 28: Gráfico dos graus de severidade associados às heurística de Nielsen (1995) e às

especializadas na interface do professor

Na interface do aluno, os resultados mostraram que as atribuições de grau de

severidade às violações indicadas, apresentam as heurísticas de Nielsen (1995)

associadas com mais frequência aos níveis mais graves de severidade do que as

especializadas, como pode ser observado no gráfico da Figura 29. Contudo, pode

ser constatado que o maior número de indicações das heurísticas especializadas

está relacionado ao grau 4.

FIGURA 29: Gráfico dos graus de severidade associados às heurística de Nielsen (1995) e às

especializadas na interface do aluno

0

5

10

15

20

25

30

35

1 2 3 4 5

me

ro d

e in

dic

açõ

es

Grau de severidade

Nielsen (1995)

Especializadas

0

2

4

6

8

10

12

14

16

1 2 3 4 5

me

ro d

e in

dic

açõ

es

Grau de severidade

Nielsen (1995)

Especializadas

Page 91: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

82

Os avaliadores indicaram 135 violações para a interface do professor, das

heurísticas de Nielsen (1995) foram 56 no total, sendo "Consistência e padrões" a

mais violada, conforme mostra o gráfico da Figura 30.

FIGURA 30: Gráfico da frequência de violação, na interface do professor, das heurísticas

de Nielsen (1995)

O gráfico da Figura 31, mostra que a heurística "Consistência e padrões", foi

associada mais vezes que as outras ao grau 3, acompanhada de "Liberdade e

controle do usuário", que foi mais indicada no 4.

FIGURA 31: Gráfico da frequência de violação, na interface do professor, das heurísticas

de Nielsen (1995) em cada grau de severidade

0 2 4 6 8 10 12 14 16 18 20

1. Visibilidade de Status do Sistema

2. Relacionamento entre a interface do sistema …

3. Liberdade e controle do usuário

4. Consistência e padrões

5. Prevenção de Erros

6. Reconhecimento ao invés de lembrança

7. Flexibilidade e eficiência de uso

8. Estética e design minimalista

9. Ajudar os usuários a reconhecer, diagnosticar …

10. Ajuda e documentação

0

2

4

6

8

10

12

14

1 2 3 4 5

1. Visibilidade de Status do Sistema

2. Relacionamento entre a interface do sistema e o mundo real 3. Liberdade e controle do usuário

4. Consistência e padrões

5. Prevenção de Erros

6. Reconhecimento ao invés de lembrança 7. Flexibilidade e eficiência de uso

8. Estética e design minimalista

9. Ajudar os usuários a reconhecer, diagnosticar e sanar erros 10. Ajuda e documentação

Page 92: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

83

Das heurísticas especializadas foram feitas 74 indicações, sendo a mais

violada a "Interface Intuitiva", conforme é apresentado no gráfico da Figura 32.

FIGURA 32: Gráfico da frequência de violação, na interface do professor, das heurísticas

especializadas

O gráfico da Figura 33, mostra que a heurística "Interface Intuitiva", foi

associada mais vezes que as outras aos graus 2, 3 e 4, acompanhada de

"Condução e direcionamento", que também foi indicada no grau 3.

0 5 10 15 20 25

H1. Percepção clara de mudanças na interface e …

H4. Proximidade com o mundo real

H5 Correção e orientação de erros

H6. Padronização visual e organizacional

H8. Condução e direcionamento

H9. Interface intuitiva

H10. Flexibilidade e controle pelo professor

H11. Navegação simplificada

H12. Clareza e orientação sobre os recursos de …

H15. Localização no contexto da avaliação

H18. Facilidade na inclusão de recursos

H19. Visualização da avaliação

H20. Facilidade na atribuição da pontuação/nota

H21. Visualização de resultados

H22. Ajudar a fornecer feedback ao aluno

Page 93: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

84

FIGURA 33: Gráfico da frequência de violação, na interface do professor, das heurísticas

especializadas em cada grau de severidade

Na interface do aluno os avaliadores indicaram 64 violações, das heurísticas

de Nielsen (1995) foram 37 no total, sendo "Prevenção de erros" e "Flexibilidade e

eficiência de uso" as mais violadas, conforme mostra o gráfico da Figura 34.

FIGURA 34: Gráfico da frequência de violação, na interface do aluno, das heurísticas

de Nielsen (1995)

0

2

4

6

8

10

1 2 3 4 5

Grau de severidade

H1. Percepção clara de mudanças na interface e direcionamento H4. Proximidade com o mundo real H5 Correção e orientação de erros H6. Padronização visual e organizacional H8. Condução e direcionamento H9. Interface intuitiva H10. Flexibilidade e controle pelo professor H11. Navegação simplificada H12. Clareza e orientação sobre os recursos de avaliação disponíveis H15. Localização no contexto da avaliação H18. Facilidade na inclusão de recursos H19. Visualização da avaliação H20. Facilidade na atribuição da pontuação/nota H21. Visualização de resultados H22. Ajudar a fornecer feedback ao aluno

0 2 4 6 8 10 12

1. Visibilidade de Status do Sistema

2. Relacionamento entre a interface do sistema …

3. Liberdade e controle do usuário

4. Consistência e padrões

5. Prevenção de erros

6. Reconhecimento ao invés de lembrança

7. Flexibilidade e eficiência de uso

8. Estática e design minimalista

9. Ajude os usuários a reconhecer, diagnosticar e …

10. Ajuda e documentação

Page 94: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

85

A heurística "Prevenção de erros" tem mais indicações no grau 5 de

severidade, sendo indicada também no 3 e 4. A "Flexibilidade e eficiência de uso" é

a mais associada ao grau 3, conforme mostra o gráfico da Figura 35.

FIGURA 35: Gráfico da frequência de violação, na interface do aluno, das heurísticas de Nielsen

(1995) em cada grau de severidade

Das heurísticas especializadas foram 27 indicações, sendo a mais violada a

"Minimização e prevenção de alterações acidentais", conforme é apresentado no

gráfico da Figura 36.

FIGURA 36: Gráfico da frequência de violação, na interface do aluno,

das heurísticas especializadas

0

1

2

3

4

5

6

7

1 2 3 4 5

1. Visibilidade de Status do Sistema

2. Relacionamento entre a interface do sistema e o mundo real 3. Liberdade e controle do usuário

4. Consistência e padrões

5. Prevenção de Erros

6. Reconhecimento ao invés de lembrança

7. Flexibilidade e eficiência de uso

8. Estética e design minimalista

9. Ajudar os usuários a reconhecer, diagnosticar e sanar erros 10. Ajuda e documentação

0 1 2 3 4 5 6 7 8

H1. Percepção clara de mudanças na interface e …

H2. Visualização das ações automáticas do sistema

H3. Organização dos elementos da avaliação

H6. Padronização visual e organizacional

H7. Minimização e prevenção de alterações …

H9. Interface intuitiva

H11. Navegação simplificada

H13. Entendimento dos elementos de formulário

H14. Identificação e orientação visíveis

H15. Localização no contexto da avaliação

H16. Liberdade de consulta

H17. Reconhecimento da finalização da avaliação

Page 95: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

86

O gráfico da Figura 37, mostra que a heurística "Minimização e prevenção de

alterações acidentais" foi a mais associada ao grau 5, sendo acompanhada por

"Padronização visual e organizacional", que foi a mais indicada no grau 3 de

severidade.

FIGURA 37: Gráfico da frequência de violação, na interface do aluno, das heurísticas especializadas

em cada grau de severidade

0

2

4

6

1 2 3 4 5

Grau de severidade

H1. Percepção clara de mudanças na interface e direcionamento

H2. Visualização das ações automáticas do sistema

H3. Organização dos elementos da avaliação

H6. Padronização visual e organizacional

H7. Minimização e prevenção de alterações acidentais

H9. Interface intuitiva

H11. Navegação simplificada

H13. Entendimento dos elementos de formulário

H14. Identificação e orientação visíveis

H15. Localização no contexto da avaliação

H16. Liberdade de consulta

H17. Reconhecimento da finalização da avaliação

Page 96: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

5. Discussão

O processo de avaliação deve ser continuo para ser eficiente e cumprir seu

papel, e é necessário que haja meios de auxiliar tanto o aluno como o professor,

com recursos de avaliação mais dinâmicos e de fácil utilização. Neste sentido, os

sistemas eletrônicos de avaliação apresentam funcionalidades que podem colaborar,

mas é necessário que os usuários consigam utilizá-los satisfatoriamente, e neste

caso, um aspecto que tem grande importância é a usabilidade. Por isso, é proposto

neste estudo, um conjunto de heurísticas especializadas para interfaces de sistemas

eletrônicos de avaliação da aprendizagem baseada em casos clínicos, podendo ser

utilizadas para orientar o desenvolvimento dos mesmos ou como base à avaliação

heurística de usabilidade, na literatura foi encontrado um estudo de Sim et al (2008)

que propôs heurísticas para Avaliação Assistida por Computador (CAA).

O presente estudo considera a interação do sistema com o aluno e com o

professor, pois ambos tem um papel importante no processo (Punhagui e Souza,

2011) e precisam de boas ferramentas, diferente do que é encontrado em outros

estudos (Sim et al, 2008; Kemp et al, 2008, Liu et al, 2011; Hoyle et al, 2012) que

propuseram heurísticas de usabilidade somente para as interações do aluno. Uma

exceção é encontrada em Minocha e Hardy (2011) que consideraram também os

papéis do professor e o do designer, sendo este último porque a proposta foi para a

criação de ilhas em mundos virtuais voltadas para o ensino e aprendizagem.

QUADRO 11: Comparação entre as abordagem dos estudos

Estudo Especialização Tecnologia Interações Área de aplicação

Presente estudo

SE para Avaliação da Aprendizagem

Sistema Web Aluno e professor

Ensino e aprendizagem em saúde

Sim et al (2008)

SE para Avaliação da Aprendizagem

Sistema Web (AVAs)

Aluno Ensino e aprendizagem geral

Kemp et al (2008)

SE para Ensino e Aprendizagem

Computação ubíqua

Aluno Ensino e aprendizagem de idiomas

Minocha e Hardy (2011)

SE para Ensino e Aprendizagem

Mundo virtual Aluno, professor e designer

Ensino e aprendizagem geral

Liu et al (2011)

SE para Ensino e Aprendizagem

Website Aluno Ensino e aprendizagem de idiomas

Hoyle et al (2012)

SE para Ensino e Aprendizagem

Website Aluno Ensino e aprendizagem geral

Legenda: SE = Sistema Eletrônico

Page 97: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

88

Nas publicações encontradas observou-se que, com exceção de Sim et al

(2008), os demais pesquisadores trataram de sistemas eletrônicos para ensino e

aprendizagem no todo (Quadro 11) e não especificamente da parte de avaliação da

aprendizagem como é o caso deste estudo.

No Quadro 11 são apresentadas as abordagens dos estudos em relação à

para qual tipo de sistema foi feita a especialização das heurística, a tecnologia, as

interações consideradas e para qual área de aplicação foram desenvolvidas.

5.1 Heurísticas especializadas para sistemas eletrônicos de

avaliação da aprendizagem baseada em casos clínicos

Por meio de revisão da literatura foram identificados os elementos que

compõem a avaliação da aprendizagem, seus métodos, objetivos e principais

instrumentos, conforme apresentado no item 1.1.1. Considerou-se importante

conhecer a forma como o processo acontece e seus objetivos. O estudo de Sim et al

(2008) relata que realizou revisão sobre avaliação da aprendizagem e a utilizou para

a proposição das heurísticas, assim como Liu et al (2011) o fez sobre aprendizagem

de idiomas através de ferramentas web.

A aquisição deste conhecimento deu suporte à análise dos AVAs,

apresentada no item 4.1.1, a partir da qual foi possível obter, a respeito dos

mesmos, uma relação de características e recursos, tanto positivos como negativos,

para identificar o que deve ser adotado ou evitado na interface de sistemas

eletrônicos para avaliação da aprendizagem baseada em casos. Após esta etapa, a

cada item da relação buscou-se associar pelo menos uma heurística de Nielsen

(1995), para verificar a objetividade de representação que ela tinha para ele, ou seja,

se ao considerá-lo era fácil apontar qual havia sido atendida ou violada. No Quadro

12 elas são apresentadas, para cada item positivo, associadas a objetividade de

representação.

Page 98: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

89

QUADRO 12: Objetividade das Heurísticas de Nielsen (1995) para os recursos e características

positivas identificadas na análise dos AVAs.

Indicação Heurística de Nielsen (1995) Objetividade da

heurística

PP1 Estética e design minimalista DI

PP2

Relacionamento entre a interface do sistema e o mundo real DI

Consistência e padrões OB

Estética e design minimalista DI

PP3 Ajuda e documentação OB

PP4 Liberdade e controle do usuário OB1

Flexibilidade e eficiência de uso OB

PP5

Relacionamento entre a interface do sistema e o mundo real DI

Liberdade e controle do usuário OB1

Flexibilidade e eficiência de uso OB1

PP6 Flexibilidade e eficiência de uso OB1

PP7 Relacionamento entre a interface do sistema e o mundo real DI

Flexibilidade e eficiência de uso DI

PP8 Flexibilidade e eficiência de uso OB1

PP9 Relacionamento entre a interface do sistema e o mundo real DI

Flexibilidade e eficiência de uso OB1

PP10 Relacionamento entre a interface do sistema e o mundo real OB

PP11 Relacionamento entre a interface do sistema e o mundo real DI

Flexibilidade e eficiência de uso OB1

PP12 Flexibilidade e eficiência de uso OB1

PP13 Flexibilidade e eficiência de uso OB1

PP14 Relacionamento entre a interface do sistema e o mundo real DI

Flexibilidade e eficiência de uso OB1

PP15 Flexibilidade e eficiência de uso DI

PA1 Flexibilidade e eficiência de uso OB1

PA2

Relacionamento entre a interface do sistema e o mundo real DI

Reconhecimento ao invés de lembrança DI

Estética e design minimalista OB

PA3 Visibilidade de status do sistema OB

Legenda: OB = Aplicação clara e objetiva; DI = Aplicação muito dependente de interpretação do

avaliador da interface.

Nota: (1) Foi marcada como objetiva por causa do texto do nome, mas se for considerado o texto de

sua definição, ela não é apropriada.

Page 99: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

90

As heurísticas de Nielsen (1995) são apresentadas no Quadro 13, para cada

item negativo, associadas a objetividade de representação.

QUADRO 13: Objetividade das Heurísticas de Nielsen (1995) para as característica e recursos

negativos identificados na análise dos AVAs.

Indicação Heurística de Nielsen (1995) Objetividade

da heurística

NP1 Prevenção de erros DI

NP2 Liberdade e controle do usuário OB

NP3 Relacionamento entre a interface do sistema e o mundo real OB

Ajuda e documentação OB

NP4 Prevenção de erros DI

NP5

Relacionamento entre a interface do sistema e o mundo real OB

Consistência e padrões DI

Reconhecimento ao invés de lembrança DI

Estética e design minimalista DI

Ajuda e documentação OB

NP6 Consistência e padrões OB

NP7

Visibilidade de status do sistema DI

Estética e design minimalista OB

Ajudar os usuários a reconhecer, diagnosticar e sanar erros DI

NP8 Relacionamento entre a interface do sistema e o mundo real OB

NP9 Relacionamento entre a interface do sistema e o mundo real OB

NP10 Flexibilidade e eficiência de uso OB

NP11 Flexibilidade e eficiência de uso OB

NP12 Relacionamento entre a interface do sistema e o mundo real DI

NA1 Visibilidade de status do sistema OB

NA2 Visibilidade de status do sistema DI

NA3 Relacionamento entre a interface do sistema e o mundo real DI

NA4 Flexibilidade e eficiência de uso DI

NA5 Visibilidade de status do sistema DI

Estética e design minimalista OB

Ajudar os usuários a reconhecer, diagnosticar e sanar erros DI

Legenda: OB = Aplicação clara e objetiva; DI = Aplicação muito dependente de interpretação do

avaliador da interface.

Page 100: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

91

Os Quadros 12 e 13, mostram a associação de uma ou mais heurísticas para

cada indicação positiva ou negativa, em alguns casos esta relação é subjetiva, ou

seja, baseada na interpretação do avaliador, possivelmente se fosse outro individuo

avaliando, a heurística poderia não ser indicada. Nestes casos, na coluna referente

a objetividade contém a sigla "DI", descrita na legenda do quadro.

Alguns casos foram indicados pelo nome da heurística, que sugeria uma

determinada interpretação, mas considerando sua descrição completa (Nielsen,

1995), ela não seria representativa. Houveram situações nas quais as indicações

das heurísticas foram bastante objetivas e pertinentes, sendo possível identificar

rapidamente a associação, nestes casos elas foram indicadas com a sigla "OB".

As heurísticas de Nielsen (1995) mais atendidas foram "Flexibilidade e

eficiência de uso" e "Relacionamento entre a interface do sistema e o mundo real",

levando a considerar que os sistemas tenham bem desenvolvidas as formas de

representação dos dados e ações, oferecendo ao usuário elementos que estão

próximos do que ele costuma utilizar. Além disso, que há o oferecimento de recursos

e configurações variadas que permitem a liberdade de escolher como e quando

fazer. A heurística "Ajudar os usuários a reconhecer, diagnosticar e sanar erros" foi

a mais violada, sugerindo que faltam nos sistemas meios de orientar eficientemente

o usuário.

Para completar o processo foram analisadas as heurísticas de Nielsen (1995)

em relação ao que havia sido obtido nas fases anteriores para identificar quais

precisavam de especialização para terem sua aplicação mais objetiva em relação a

sistemas eletrônicos para avaliação da aprendizagem baseada em casos. As que

eram objetivas foram consideradas na forma proposta pelo autor. Dois dos estudos

encontrados adotaram heurísticas do Nielsen (1995) como base para suas

propostas. No trabalho de Kemp et al (2008) também foi considerado um framework

para computação ubíqua (Quadro 14), já no de Minocha e Hardy (2011) foram

considerados mais dois estudos voltados para mundos virtuais (Quadro 14).

A partir das informações geradas nestes processos, 22 novas heurísticas

especializadas foram propostas, entre elas, 13 definidas a partir das propostas por

Nielsen (1995) e 9 de forma independente. Os estudos encontrados que utilizaram

heurísticas de Nielsen (1995) fizeram uma combinação de algumas delas com

outras propostas por outros autores (Kemp et al, 2008; Minocha e Hardy, 2011) ou

criadas a partir do estudo que estão apresentando (Sim et al, 2008).

Page 101: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

92

QUADRO 14: Comparação entre as metodologias utilizadas pelos estudos para obtenção de heurísticas e guidelines

Estudo

Metodologia para obtenção de heurísticas e guidelines

Revisão de literatura sobre Considerou

Propostas existentes

Avaliação de

usabilidade

Discussão Outros

Presente

estudo

Avaliação da Aprendizagem geral e

baseada em casos clínicos,

Composição de Caso Clínico e

Ferramentas eletrônicas para avaliação

da Aprendizagem

Nielsen (1995) Não Não Análise da interface de

dois AVAs

Sim et al

(2008)

Normas ISO e Avaliação da

Aprendizagem

Não Avaliação heurística

e Teste de usuário

Não Não

Kemp et al

(2008)

Não Nielsen (1995) e

Scholz e Consolvo12

Não Não Não

Minocha e

Hardy (2011)

Não Nielsen (1995),

Sutcliffe e Gault13 e

Muller et al14

Avaliação heurística

e Teste de usuário

Pós-observação

com usuários

Entrevista estruturada e

semi-estruturada com

especialistas

Liu et al (2011) Aprendizagem de idiomas através de

ferramentas web

Não Não Com especialistas Aplicação de questionário

em alunos e opinião de

especialistas

Hoyle et al

(2012)

Não Não Teste de usuário Não Não

12 Scholtz J, Consolvo S. Toward a Framework for Evaluating Ubiquitous Computing Applications. IEEE Pervasive Computing Magazine. Abr-Jun 2004; 3(2):82-8. 13 Sutcliffe A, Gault B. Heuristic Evaluation of Virtual Reality Applications'. Interacting with Computers. 2004; 16(4):831-849. 14 Muller M, Matheson L, Page C, Gallup R. Methods & Tools: Participatory Heuristic Evaluation. ACM Interactions. 1998; 5(5):13-8.

Page 102: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

93

93

As heurísticas de usabilidade de um modo geral são propostas visando

colaborar para a diminuição do impacto negativo que os sistemas podem gerar

durante sua utilização, tanto em relação a satisfação do usuário como em relação a

realização de uma tarefa, considerando que conforme a área de aplicação este

impacto pode ser mais ou menos grave. Por isso cada heurística tem um importância

associada, ou seja, uma justificativa para defini-la. Desta forma, são discutidas a

seguir sua importância no uso do sistema e principalmente na realização da tarefa a

qual ele se propõe.

Na definição da heurística "H1. Percepção clara de mudanças na interface

e direcionamento", os elementos que deram origem a ela, implicam no que o

usuário consegue perceber das ações do sistema e no que ele acredita que deva ser

feito a partir dali. Durante uma avaliação, se está heurística é atendida pelo sistema,

pode contribuir oferecendo maior tranquilidade ao usuário (o aluno por exemplo),

pois ele sabe o que o sistema está fazendo e tem uma preocupação a menos,

principalmente se for a primeira vez que ele o utiliza. Por outro lado, se ela não for

atendida, poderá ocorrer o inverso ou o usuário pode não perceber que houve uma

mudança e escolher uma ação que o leve ao erro ou gere um problema. Estas

situações geram insatisfação e nervosismo.

No caso da heurística "H2. Visualização das ações automáticas do

sistema", os elementos que deram origem a ela, implicam na forma como o sistema

mostra ao usuário que foi realizada uma ação automática. A conformidade com esta

heurística é importante para que o usuário possa reconhecer o estado dos dados no

sistema. A não percepção das ações automáticas, deixa o aluno desinformado, se

isto for na realização de uma avaliação, ele poderá não notar que sua resposta foi

salva e ficar inseguro, principalmente se não houver outra forma de acionar a

gravação da informação. Estas situações geram insegurança e nervosismo.

Na definição da heurística "H3. Organização dos elementos da avaliação",

os elementos que deram origem a ela, mostram situações que envolvem a forma

como os componentes da avaliação são organizados e acessados. No caso das

funcionalidades positivas, identifica-se o atendimento de premissas da avaliação da

aprendizagem, como a oferta de feedback em momentos apropriados (Zeferino e

Passeri, 2007; Garcia, 2009), ou a disposição e acesso à questões. O atendimento

desta heurística colabora para que o usuário trace um caminho lógico e racional na

Page 103: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

94

resolução de uma avaliação, isto permite a análise de informações na sequência

adequada à solução. Quando de trata de avaliação baseada em casos clínicos, a

forma como os componentes dela são organizados interfere nas decisões do aluno,

podendo colaborar ou prejudicar seu desempenho (Hooper et al, 1998; Schuwirth,

2005; Langendyk, 2006; Segers et al, 2008; Struyven et al, 2008; Baeten et al,

2013).

Em relação a definição da heurística "H4. Proximidade com o mundo real",

os elementos que deram origem a ela, mostram situações relacionadas a

possibilidade do usuário realizar suas tarefas de maneira próxima ou igual ao que

costuma fazer sem o uso do sistema. O atendimento desta heurística gera conforto e

aceitação por parte do usuário, além de ajudar a diminuir erros, pois cria uma

ambientação familiar. Por outro lado, se ela for violada, pode desestimular o usuário

na utilização, porque ele poderá ter mais dificuldades ou não ter a funcionalidade da

forma que necessita. Ela colabora para que o professor relacione práticas e métodos

do mundo real com os do sistema, facilitando e flexibilizando tanto a criação como a

realização da avaliação (diagnóstica, formativa e somativa) (Depresbiteris, 1998),

proporcionando sentimento de segurança e satisfação no usuário.

Na definição da heurística "H5. Correção e orientação de erros", os

elementos que deram origem a ela, mostram situações relacionadas a preservação

dos dados que o usuário está inserindo ou manipulando, durante a realização de

suas tarefas, contra desligamentos inesperados do sistema ou ações equivocadas

por parte do usuário. O atendimento desta heurística gera satisfação e ajuda o

usuário a desfazer ou prevenir eventuais alterações de informações acidentalmente,

proporcionando a ele maior confiabilidade e otimizando seu tempo na realização da

tarefa. Por outro lado, se ela for violada, podem ocorrer danos e perdas de dados

armazenados ou atraso na realização da tarefa.

No caso da definição da heurística "H6. Padronização organizacional e

visual", os elementos que deram origem a ela, mostram situações relacionadas com

a organização visual dos elementos do layout. Se for atendida colabora para que o

usuário aprenda a utilizar o sistema e não se esqueça de suas funcionalidades

diminuindo gradativamente o tempo necessário para realizar a tarefa. Em

contrapartida, se for violada, dificultará a utilização do sistema e pode levar o usuário

para telas diferentes do que ele deseja, desestimulando o uso. Considerando a

avaliação baseada em casos clínicos ela tem um papel importante, pois tem impacto

Page 104: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

95

na forma como as informações serão mostradas aos alunos (Hooper et al, 1998;

Schuwirth, 2005; Langendyk, 2006; Segers et al, 2008; Struyven et al, 2008; Baeten

et al, 2013).

Na definição da heurística "H7. Minimização e prevenção de alterações

acidentais", os elementos que deram origem a ela, mostram situações relacionadas

ao uso de recursos no sistema que minimizam e previnem alterações acidentais dos

dados que estão sendo inseridos ou já estão armazenados. O atendimento desta

heurística ajuda a diminuir a realização de ações indesejadas e seus efeitos e está

providência gera satisfação e pode preservar a integridade do resultado da

avaliação. Por outro lado, se for violada, podem ocorrer danos e perdas de dados

armazenados ou atraso na realização da tarefa.

Na definição da heurística "H8. Condução e Direcionamento", os elementos

que deram origem a ela mostram situações relacionadas a orientação do usuário a

partir da oferta de elementos que o ajudam a identificar o caminho correto para

realizar a tarefa. O atendimento desta heurística colabora para oferecer ao professor

uma interface que o auxilie e oriente na realização da tarefa, proporcionando

satisfação e economia de tempo. Por outro lado, se for violada, o usuário pode se

perder na tarefa e desistir do uso ou escolher a forma errada.

Na definição da heurística "H9. Interface intuitiva", os elementos que deram

origem a ela estão relacionados a quão fácil a interface é de aprender, ou seja, para

utilizá-la não deve ser necessário o uso de manual, e caso precise, que seja para

situações extremas. O atendimento desta heurística ajuda o usuário a aprender

rapidamente o sistema e caso fique algum tempo sem utilizá-lo, não terá dificuldades

ao fazê-lo. Considerando uma avaliação, pode contribuir para o professor prepará-la

mais rapidamente e no caso do aluno, para que ele forneça suas respostas sem

precisar se preocupar com o sistema. O não atendimento, compromete o uso

podendo levar os usuários a não utilização. Em uma avaliação gera ansiedade e

insegurança no aluno e dificulta o trabalho do professor.

No caso da definição da heurística "H10. Flexibilidade e controle do

professor", os elementos que deram origem a ela estão relacionados ao que o

sistema oferece de recurso ao professor para a realização de suas tarefas e como

eles funcionam e são apresentados. O atendimento desta heurística colabora com o

aproveitamento que o professor terá do sistema, pois a capacidade de

gerenciamento que é oferecida a ele determina o nível de controle sobre as

Page 105: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

96

avaliações e a variedade de formas que elas podem assumir, tanto em relação as

metodologias adotadas como aos instrumentos (Depresbiteris, 1998; Hooper et al,

1998; Schuwirth, 2005; Langendyk, 2006; Segers et al, 2008; Struyven et al, 2008;

Baeten et al, 2013). Assim, se ela for violada, as possibilidades oferecidas ao

professor ficam mais limitadas, podendo interferir em como o professor irá avaliar.

Em relação a definição da heurística "H11. Navegação simplificada", os

elementos que deram origem a ela estão relacionados ao quão fácil é acessar as

partes do sistema e ir de uma à outra. O atendimento desta heurística facilita o

acesso aos recursos do sistema, estimulando seu uso e contribuindo para que

menos tempo seja necessário para realizar uma atividade. Por outro lado, se ela for

violada, os problemas são bem variados, podendo não ser possível acessar alguma

área de interesse ou perder alguma informação por ter escolhido uma forma de

saída errada e assim por diante.

Na definição da heurística "H12. Clareza e orientação sobre os recursos de

avaliação disponíveis", os elementos que deram origem a ela estão associados à

situações em que é necessário orientar o professor de como ele deve interagir com

os recursos disponíveis. O atendimento desta heurística colabora para o

entendimento dos instrumentos avaliativos que o sistema oferece. Por outro lado, se

for violada, o professor não terá orientação sobre o recurso que deseja usar e terá

que fazer uma adaptação para outro sobre o qual tem conhecimento ou pode desistir

de usar o sistema se o problema se apresentar com frequência. Considerando a

diversidade de instrumentos avaliativos que podem ser oferecidos pelos sistemas, e

as particularidades de um método e outro é importante que haja o atendimento desta

heurística.

Na definição da heurística "H13. Entendimento dos elementos de

formulário", os elementos que deram origem a ela, estão associados a clareza de

como devem ser utilizados os elementos dos formulário, ou seja, o que deve e de

que forma deve ser preenchido. O atendimento desta heurística é importante para o

bom funcionamento da avaliação, pois são através dos elementos de formulário que

elas são realizadas. Se ela for violada, dependendo da situação, pode comprometer

os resultados. Durante a avaliação o aluno já sofre alteração emocional natural para

a situação, se ele não souber como utilizar o sistema para registrar suas respostas,

haverá um acréscimo de ansiedade e nervosismo.

No caso da definição da heurística "H14. Identificação e orientação

Page 106: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

97

visíveis", os elementos que deram origem a ela dizem respeito às informações

referentes ao próprio usuário e a outras relacionadas à avaliação, como por exemplo

os critérios e objetivos. O atendimento desta heurística é importante para que seja

garantido que as informações do usuário e da avaliação estejam disponíveis e

visíveis, atendendo a composição da avaliação da aprendizagem (Punhagui e

Souza, 2011). Portanto, se a heurística é violada, estas informações não serão

apresentadas ou serão com restrições.

Em relação a definição da heurística "H15. Localização no contexto da

avaliação", os elementos que deram origem a ela dizem respeito a situações em

que o usuário consegue saber facilmente em que ponto da avaliação ele está, sendo

informado sobre o que já fez e o que ainda não. O atendimento desta heurística é

importante para a administração do tempo disponível na realização da avaliação.

Portanto, se a heurística é violada, esta administração de tempo não acontece e

gera nervosismo no aluno.

Na definição da heurística "H16. Liberdade de consulta", os elementos que

deram origem a ela estão relacionados a situações nas quais o usuário tem

liberdade para consultar partes ou o todo da avaliação. O atendimento desta

heurística possibilita acesso aos conteúdos das avaliações pelos alunos que tem

autorização para isto. Se for violada, dependendo da proposta da avaliação, é ferido

o direito do aluno de ter acesso à sua avaliação. Além disso, está é uma forma de

feedback (Zeferino e Passeri, 2007; Garcia, 2009) que estará sendo subtraída do

aluno.

Na definição da heurística "H17. Reconhecimento da finalização da

avaliação", os elementos que deram origem a ela estão relacionados a percepção

por parte do aluno do término da avaliação. O atendimento desta heurística traz ao

aluno mais tranquilidade para finalizar a avaliação, pois reconhecerá claramente que

ela chegou ao fim. Se for violada, pode gerar ansiedade e nervosismo,

principalmente se o encerramento for abrupto.

No caso da definição da heurística "H18. Facilidade na inclusão de

recursos", os elementos que deram origem a ela se referem a quão fácil é inserir

um recurso no sistema e configurá-lo, sendo também consideradas as inclusões de

instrumentos avaliativos (Depresbiteris, 1998; Perrenoud, 1999; Sordi, 2000; Fenili,

2002; Zeferino e Passeri, 2007; Garcia, 2009; Domingues et al, 2010; Punhagui e

Souza, 2011). O atendimento desta heurística tem muita importância para situações

Page 107: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

98

em que são necessários recursos diferenciados no momento da avaliação, pois

oferecerão flexibilidade de escolha. Por outro lado, se ela for violada, irá dificultar o

uso dos recursos, levando o professor a ignorá-los e usar de artifícios para substituí-

los, o que, além aumentar o trabalho, pode não produzir o resultado desejado.

Na definição da heurística "H19. Visualização da avaliação", os elementos

que deram origem a ela estão relacionados à possibilidade do professor conseguir

visualizar a avaliação no mesmo formato que o aluno a verá quando for resolvê-la. O

atendimento desta heurística permite que o professor confira o que colocou na

avaliação para verificar se está como idealizou. Quando ela é violada, ele não terá

está visão, dificultando seu trabalho, pois terá que supor que está como queria. No

caso do uso de recursos avaliativos desconhecidos a ele, a tendência é que não

utilize, pois o mesmo não sabe como será visto pelo aluno. Esta violação dificulta a

diversificação no uso de instrumentos avaliativos.

Na definição da heurística "H20. Facilidade na atribuição de pontuação e

nota", os elementos que deram origem a ela estão relacionados à possibilidade do

professor configurar pontuações e notas com pesos diferentes, podendo trabalhar

com porcentagens. O atendimento desta heurística permite o gerenciamento das

pontuações nas avaliações da forma que for mais adequada para o método que o

professor está utilizando. Quando ela é violada, ele perde esta flexibilidade, ficando

restrito ao que o sistema oferecer ou tendo que fazer o gerenciamento

manualmente, aumentando sua carga de trabalho, portanto atendê-la otimiza este

processo.

Na caso da definição da heurística "H21. Visualização de resultados", os

elementos que deram origem a ela estão relacionados aos recursos do sistema

disponíveis para que o professor veja os resultados dos alunos. O atendimento

desta heurística permite que o professor confira como está o desempenho deles

individualmente ou em grupo. Quando violada, ele tem esta visualização

comprometida, o que tem impacto em parte do processo de avaliação, pois é

importante que o professor consiga acompanhar o desempenho dos alunos,

individual ou coletivamente (Perrenoud, 1999; Zeferino e Passeri, 2007; Garcia,

2009).

Em relação à definição da heurística "H22. Ajudar a fornecer feedback ao

aluno", os elementos que deram origem a ela estão relacionados aos recursos do

sistema que possibilitam ao professor oferecer feedback das avaliações aos alunos.

Page 108: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

99

O atendimento desta heurística ajuda o professor a fornecer retorno sobre as

avaliações, podendo oferecer informações explicativas complementares. Quando ela

é violada, este tipo de retorno fica mais difícil e pode ter que ser oferecido fora do

sistema. Considerando que o feedback é parte fundamental do processo de

avaliação (Perrenoud, 1999; Zeferino e Passeri, 2007; Garcia, 2009; Megale et al,

2009; Punhagui e Souza, 2011) o atendimento desta heurística faz-se necessário.

5.2 Validação das heurísticas

Após a definição das heurísticas especializadas, foi realizada avaliação

heurística, como descrito no item 3.3, para verificar sua validade, ou seja, se elas

podem ser utilizadas para colaborar no desenvolvimento e avaliação de interfaces

de sistemas eletrônicos para avaliação da aprendizagem baseada em casos

clínicos. Entres os estudos encontrados, dois relatam a realização da validação,

ambos utilizam o mesmo método. Kemp et al (2008) conduziram avaliação heurística

no sistema IMMEDIATE (usado para o ensino de idiomas), mas somente um

especialista participou, no estudo de Liu et al (2011) a validação foi realizada por

meio de avaliação heurística do website da BBC English Learning, mas não é

informado pelos autores o número de especialistas que participaram.

No presente estudo os especialistas indicaram o total de 194 problemas de

usabilidade, havendo violação de todas as heurísticas do Nielsen (1995) e da

maioria das especializadas, não sendo indicadas para nenhum problema a "H3.

Organização dos elementos da avaliação" e a "H13. Entendimento dos

elementos do formulário".

O gráfico da Figura 38 mostra que a interface do professor teve mais

indicações de violações associadas às heurísticas especializadas, em contrapartida,

a do aluno foi mais violada em relação às de Nielsen (1995), acredita-se que isto

esteja relacionado ao tipo de interface, ou seja, a do aluno é mais comum e com

recursos mais simples, já a do professor possui maior complexidade pelo volume e

tipo de informações e configurações que precisam ser definidas para a avaliação da

aprendizagem.

Page 109: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

100

FIGURA 38: Gráfico de violações das heurísticas especializadas comparadas às de Nielsen (1995)

Foram analisadas as heurísticas indicadas durante a inspeção de usabilidade

e os problemas aos quais elas foram associadas, sendo verificado que muitos

violam heurísticas especializadas, não consideradas pelos avaliadores. A seguir

estas situações são apresentadas. As descrições dos problemas encontram-se no

Anexo 5.

Para a heurística "Visibilidade de status do sistema", na interface do aluno,

foram identificados os problemas "a" e "b" e estes também violam:

"Organização dos elementos da avaliação" para o "a", pois trata da falta de

clareza na sequência de avaliação;

"Localização no contexto da avaliação" para o "a", porque não facilita a

identificação do ponto atual em que se está na avaliação;

"Reconhecimento da finalização da avaliação" para o "b", porque não há

diferenciação na mensagem de encerramento da mesma em relação as

outras oferecidas pelo sistema.

Para a heurística "Relacionamento entre a interface do sistema e o

mundo real", na interface do professor, foram identificados problemas que também

violam:

"Condução e direcionamento" para o "a", "b" e "c", porque os campos não são

claros e dificultam a realização da tarefa pelo professor, podendo gerar

confusão e configurações indesejadas;

"Interface intuitiva" para o "a", "b" e "d", porque não é fácil de entender a

0

10

20

30

40

50

60

70

80

Aluno Professor

Nielsen

Especializadas

Page 110: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

101

finalidade dos elementos e qual será o resultado depois de pronto, que é uma

informação importante para o professor.

"Clareza e orientação sobre os recursos de avaliação disponíveis" para o "a"

e "d", porque não há ajuda para entender o objetivo do campo e no caso do

"d", não há explicação sobre a visualização final;

"Visualização da avaliação" para o "d", pois a visualização é insuficiente e

para o professor é fundamental saber como os alunos verão a prova.

Para a heurística "Liberdade e controle do usuário", na interface do

professor, foram identificados problemas que também violam:

"Proximidade com o mundo real" para o "a", "b", "c" e "d', pois não é

respeitada a forma como o professor trabalha e o que ele conhece;

"Condução e direcionamento" para o "a" e "d", porque a interface não

contribui para a realização da tarefa, pois confunde o professor;

"Interface intuitiva" para o "a" e "d", por não ser fácil de entender e de

perceber sua finalidade e como funciona;

"Flexibilidade e controle do professor" para o "b" e "c", porque compromete a

liberdade de escolha do professor e no segundo caso ele é impedido de

visualizar a avaliação;

"Clareza e orientação sobre os recursos de avaliação disponíveis" para o "a",

pois falta explicação sobre a questão;

"Navegação simplificada" para o "f", "g" e "h", porque dificulta a navegação

obrigando o professor a procurar meios alternativos de sair da página;

"Visualização da avaliação" para o "c", porque não permite que a avaliação

seja vista pelo professor durante sua elaboração;

Em relação a interface do aluno, os problemas, exceto o "a", violam:

"Organização dos elementos da avaliação" para o "d", porque a forma de

visualização dificulta a realização da avaliação, pois não é possível comparar

os conteúdos;

"Minimização e prevenção de alterações acidentais" para o "c" e "e", porque

pode ocorrer alteração de dados sem que o aluno perceba;

"Interface Intuitiva" para o "b", porque não é um recurso que um aluno com

pouca experiência saberá como finalizar;

"Navegação simplificada" para o "d" e "f", porque dificulta a navegação

Page 111: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

102

obrigando o aluno a procurar meios alternativos para voltar para a prova;

"Liberdade de consulta" para o "d", porque afeta liberdade de visualização

que o aluno tem da avaliação.

Para a heurística "Consistência e padrões", na interface do professor, foram

identificados os problemas "c" a "g", "i", "j", "m" a "p", "r" que também violam:

"Correção e orientação de erros" para o "e", porque os avisos de erro não

estão devidamente identificados, dificultando a percepção do professor;

"Minimização e prevenção de alterações acidentais" para o "g", porque o

problema pode provocar uma alteração de dados indesejada e o professor

não perceber, comprometendo a validade da questão na prova;

"Condução e direcionamento" para o "c", "m", "o", "p" e "r", porque a interface

dos formulários não guia o professor na montagem da avaliação e em alguns

casos até dificulta;

"Interface intuitiva" para o "c", "e", "i", "j", "m", "o", "p" e "r", porque os

problemas indicam dificuldade de compreender e identificar os elementos da

interface;

"Facilidade na inclusão de recursos" para o "o" e "r", porque os problemas

apresentados dificultam a inserção de imagens.

Em relação a interface do aluno, o problema descrito no item "a" viola

"Condução e direcionamento", porque pode atrapalhar a inclusão de respostas,

interferindo na realização da atividade do aluno.

Para a heurística "Prevenção de erros", na interface do professor, foram

identificados problemas que também violam:

"Proximidade com o mundo real" para o "b", porque não é permitido que o

professor veja a prova da forma que conseguiria em outro tipo de recurso,

como o papel por exemplo;

"Correção e orientação de erros" para o "h", porque não há nenhuma ajuda

para o professor resolver o problema;

"Condução e direcionamento" para o "a", "d", "e", "f" e "h", porque há

comprometimento do direcionamento do professor para realizar a tarefa de

maneira satisfatória e rápida;

"Interface intuitiva" para o "d", "f" e "h", no primeiro caso, porque devido a

forma como o comando é apresentado, ele não será percebido facilmente; no

Page 112: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

103

segundo, o elemento confunde; e no terceiro é difícil de compreender e pode

levar o professor a desistir da utilização;

"Clareza e orientação sobre os recursos de avaliação disponíveis" para o "c" e

"g", porque não é explicado como as questões funcionam e devem ser

criadas;

"Entendimento dos elementos do formulário" para o "h", porque os elementos

são confusos e difíceis para o professor utilizar;

"Facilidade na inclusão de recursos" para o "h", porque o recurso é muito

complexo e confuso para o tipo de usuário ao qual se destina;

"Visualização da avaliação" para o "b", porque o professor não consegue ver

como a avaliação está ficando sem inserir questões.

Em relação a interface do aluno, os problemas, com exceção do "g" e "i",

também violam:

"Percepção clara de mudanças na interface e direcionamento" para o "c",

porque ocorre o carregamento de outra janela e não há orientação de como o

aluno deve fazer para sair dela;

"Visualização das ações automáticas do sistema" para o "e", porque há

demora de resposta do sistema sem qualquer aviso e o aluno pode ficar

confuso achando que fez algo errado;

"Organização dos elementos da avaliação" para o "a" e "d", porque a forma

como os elementos estão dispostos e configurados compromete os

resultados da avaliação;

"Correção e orientação de erros" para o "a", "b" e "j", porque não há aviso

prevenindo a ocorrência do erro e quando há, não informa o aluno

adequadamente, e os erros podem comprometer a nota;

"Condução e direcionamento" para o "a", "b", "d" e "e", porque a interface não

ajuda o usuário a interagir de forma correta;

"Interface intuitiva" para o "f" e "h", porque, no primeiro caso o botão não é

percebido e entendido automaticamente pelo aluno e no segundo, o nome do

campo sugere preenchimento diferente do que é o correto, dificultando o uso;

"Navegação simplificada" para o "c" e "d", porque abre outra janela sem aviso

e não é oferecido nenhum elemento de navegação que permita o retorno a

tela anterior;

Page 113: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

104

"Entendimento dos elementos do formulário" para o "b" e "e", porque não está

claro como os elementos funcionam, deixando o aluno confuso e inseguro.

Para a heurística "Reconhecimento ao invés de lembrança", na interface

do professor, foram identificados problemas que também violam:

"Condução e direcionamento" para o "c", porque a imagem gera confusão

atrapalhando a realização da tarefa ao invés de ajudar;

"Interface intuitiva" para o "b" e "c", porque as metáforas estão confundindo o

usuário e gerando dificuldade.

"Clareza e orientação sobre os recursos de avaliação disponíveis" para o "a",

porque o exemplo é apresentado só no começo da criação da questão,

quando deveria ser possível consultá-lo sempre que desejado;

"Entendimento dos elementos do formulário" para o "d", porque os ícones da

barra de ferramentas são de difícil compreensão.

Em relação a interface do aluno, o problema também viola "Interface intuitiva"

e "Navegação simplificada", porque não é um percurso de fácil percepção e pede

mais cliques do que o necessário.

Para a heurística "Flexibilidade e eficiência de uso", o problema indicado

na interface do professor, já foi tratado na "Consistência e padrões".

Em relação a interface do aluno, os problemas identificados, com exceção do

"d", "e" e "j", também violam:

"Organização dos elementos da avaliação" para o "c" e "f", porque a

visibilidade das questões não está adequada, hora em posição ruim, hora

ocultas;

"Padronização visual e organizacional" para o "a", porque não é respeitado o

padrão de identificação de mensagens de erro, podendo levar o aluno a

entender que todas as caixas de diálogo sejam erros e fechar alguma que

seja importante para ele antes de ler;

"Minimização e prevenção de alterações acidentais" para o "f" e "g", porque

como as questões precisam ser percorridas novamente, o aluno pode

modificar a resposta, o que neste formato de prova não pode ser permitido;

"Condução e direcionamento" para o "c", porque se a questão ocupasse a

área mais visível da tela, contribuiria para facilitar a interação do aluno, pois

ele reconheceria rapidamente a questão que precisa responder;

Page 114: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

105

"Navegação simplificada" para o "b", "f", "h" e "i", porque a interface não está

oferecendo elementos que facilitem a navegação.

Para a heurística "Estética e design minimalista", na interface do professor,

foram identificados problemas que também violam:

"Padronização visual e organizacional" para os três, porque não são

atendidos padrões internos e externos;

"Condução e direcionamento" para o "a", porque ao invés de direcionar o

professor na tarefa, a interface atrapalha;

"Interface intuitiva" para os três, porque o desrespeito aos padrões dificulta o

entendimento dos componentes da interface;

"Facilidade na inclusão de recursos" para o "a", porque a minimização da

janela, pode dificultar a inserção de imagens, dependendo do nível de

conhecimento do professor.

Para a heurística "Ajudar os usuários a reconhecer, diagnosticar e sanar

erros", na interface do professor, foram identificados problemas que também violam:

"Correção e orientação de erros" para o "a", "b" e "c", porque os erros não são

informados adequadamente, ou seja, não apresentam explicações claras e

não dão orientações precisas;

"Condução e direcionamento" para o "a", "b" e "d", pois o professor não

consegue saber o que o sistema fez e não é direcionado para o próximo

passo;

"Clareza e orientação sobre os recursos de avaliação disponíveis" para o "c" e

"e", porque não há orientação de como as questões funcionam e de como

devem ser preenchidas.

Em relação a interface do aluno, o problema também viola "Correção e

orientação de erros", porque não auxilia o usuário na detecção do erro e não permite

que ele desfaça a ação.

Para a heurística "Ajuda e documentação", na interface do professor, os

problemas violam:

"Percepção clara de mudanças na interface e direcionamento" para o "h",

porque a abertura da janela pode não ser percebida pelo professor e neste

caso ele fica sem saber o que fazer, podendo cometer um erro;

"Padronização visual e organizacional" para o "d", porque a interface de

Page 115: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

106

criação da questão está diferente do padrão existente para as outras, o que

pode dificultar a utilização;

"Condução e direcionamento" para o "b", "c", "d" e "e", porque a organização

da interface está comprometendo a lógica de realização da tarefa e

confundindo o professor;

"Interface intuitiva" para o "c", "d", "e" e "g", porque as interfaces não se

apresentam claras o suficiente para que o professor saiba como utilizá-las;

"Navegação simplificada" para o "h", porque não é oferecido um meio de

retornar para a tela anterior sem ter que fechar a aba do navegador.

Em relação a interface do aluno, o problema também viola:

"Identificação e orientação visíveis", porque as informações de orientação

sobre a prova estão escondidas, podendo não ser notadas pelo aluno;

"Liberdade de consulta", porque não estão constantemente visíveis e fáceis

para o aluno visualizar sempre que quiser.

Para a heurística "Percepção clara de mudanças na interface e

direcionamento" (H1), na interface do professor, foram identificados os problemas

"b", "d", "e" e "f" que também violam:

"Visualização das ações automáticas do sistema" para o "b", porque o

professor não percebe que a pontuação da questão foi salva;

"Condução e direcionamento" para o "d" e "e", porque o usuário não é

conduzido pela interface para a realização da tarefa, pelo contrário ela o

atrapalha por causa de sua organização;

"Interface intuitiva" para o "f", porque não é perceptível que trata-se de uma

imagem, confundindo o professor;

"Facilidade na inclusão de recursos" para o "d", porque a falta de

direcionamento dificulta a inserção da imagem;

Para a heurística "Proximidade com o mundo real" (H4), o problema

também viola "Flexibilidade e controle do professor", porque a sequência de

inserção de avaliações interfere na liberdade de escolha do professor em relação a

como ele vai montar a mesma.

Para a heurística "Correção e orientação de erros" (H5), na interface do

professor, o problema do item "b" também viola:

"Padronização visual e organizacional", porque não está respeitando o padrão

Page 116: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

107

do sistema;

"Condução e direcionamento", porque a falta de padrão compromete o

direcionamento do professor na realização da tarefa;

"Interface intuitiva", porque não é fácil para o professor entendê-la;

"Facilidade na inclusão de recursos", porque dificulta o uso de recursos

externos.

Para a heurística "Padronização visual e organizacional" (H6), na interface

do professor, os problemas também violam:

"Interface intuitiva" para o "a", "b", "c" e "d", porque há elementos na interface

que estão com pouca visibilidade o que dificulta a localização e

reconhecimento dos mesmos pelo professor;

"Navegação simplificada" para o "e" e "f", porque a falta de elementos de

navegação a dificultam.

Em relação a interface do aluno, os problemas também violam:

"Interface intuitiva" para o "b", "c" e "d", porque a ausência de padrão na

representação visual dificulta o reconhecimento dos elementos da interface;

"Navegação simplificada" para o "a", porque falta elementos que permitam a

navegação com o teclado entre os componentes do formulário.

Para a heurística "Minimização e prevenção de alterações acidentais"

(H7), na interface do aluno, os problemas, com exceção do item "b", também violam:

"Organização dos elementos da avaliação" para o "a", porque a forma como

está sendo apresentada a imagem atrapalha sua visualização pelo aluno

durante a realização da prova;

"Correção e orientação de erros" para o "d" e "e", porque o sistema não avisa

o aluno sobre o envio da resposta vazia;

"Padronização visual e organizacional" para o "f", porque o botão não é um

elemento padronizado e não será reconhecido, podendo fazer com que o

aluno fique sem responder a questão;

"Condução e direcionamento" para o "a", porque a ausência de um

mecanismo de retorno para a página anterior atrapalha o direcionamento;

"Interface intuitiva" para o "c", porque o botão não tem sua função

reconhecida, podendo levar o aluno ao erro;

"Navegação simplificada" para o "a", porque não tem elemento de navegação

Page 117: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

108

o que a dificulta.

Para a heurística "Condução e direcionamento" (H8), na interface do

professor, os problemas, com exceção do "g", também violam:

"Percepção clara de mudanças na interface e direcionamento" para o "j" e "k",

porque o professor não consegue perceber o que o sistema fez e fica confuso

sem saber o que fazer;

"Proximidade com o mundo real" para o "i", porque se a avaliação fosse feita

utilizando outro recurso, o papel por exemplo, seria possível a visualização;

"Flexibilidade e controle do professor" para o "a" e "i", porque o professor não

tem como controlar algo que não conhece o comportamento e no segundo

caso é impedido de visualizar a prova parcialmente;

"Navegação simplificada" para o "e", porque falta uma opção de navegação

que proporcionaria mais facilidade de acesso;

"Clareza e orientação sobre os recursos de avaliação disponíveis" para o "c",

porque falta orientação em relação ao formato das questões;

"Entendimento dos elementos de formulário" para o "a" e "h", porque os

elementos são confusos e não ajudam no entendimento do professor;

"Facilidade na inclusão de recursos" para o "j", porque o professor fica

confuso sem saber se o arquivo foi carregado, dificultando a inclusão da

imagem;

"Visualização da avaliação" para o "i", porque não está sendo permitido que o

professor visualize o que o aluno verá quando for realizar a prova.

Para a heurística "Interface intuitiva" (H9), na interface do professor, os

problemas, com exceção do "g" e "l", também violam:

"Padronização visual e organizacional" para o "h", porque não atende o

padrão de links;

"Condução e direcionamento" para o "a", "d", "e", "f", "i", "j", "k", "m", "n", "o" e

"p", porque não há ajuda da interface para guiar o professor na realização da

tarefa e em alguns casos ela até o atrapalha;

"Flexibilidade e controle do professor" para o "f", porque o professor pode

deixar de colocar mais alternativas devido a não percepção de que era

possível;

"Navegação simplificada" para o "t", porque não dispõe de elemento de

Page 118: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

109

navegação, por isso a dificulta;

"Clareza e orientação sobre os recursos de avaliação disponíveis" para o "b",

"d", "e", "j", "k", "m", "o" e "p", porque falta orientação sobre o que deve ser

preenchido nos campos e qual sua finalidade;

"Visualização da avaliação" para o "c" e "q", porque o professor não consegue

visualizar exatamente o que o aluno vai ver e o que há disponível está

inadequado;

"Visualização de resultados" para o "h", porque se o usuário não perceber que

o nome é o link de acesso a nota, ficará sem visualizá-la.

Em relação a interface do aluno, o problema do item "a" também viola

"Navegação simplificada", pois não oferece elemento para fechar a nova janela que

foi aberta.

Para a heurística "Flexibilidade e controle do professor" (H10), na

interface do professor, os problemas também violam:

"Proximidade com o mundo real" para o "b", "c" e "d", porque o professor não

consegue montar a avaliação da forma como está acostumado a fazer fora do

sistema;

"Correção e orientação de erros" para o "a", porque o sistema não está

emitindo avisos sempre que o erro acontece;

"Visualização da avaliação" para o "d", porque o professor não consegue

visualizar a questão da forma como ela será apresentada ao aluno.

Para a heurística "Navegação simplificada" (H11), na interface do professor,

o problema do item "b" também violam:

"Visualização da resultados", porque a forma como estão sendo apresentados

os resultados, torna mais difícil a conferência e análise pelo professor.

Em relação a interface do aluno, o problema também viola "Minimização e

prevenção de alterações acidentais", porque não há nenhum mecanismo que

impeça o aluno de responder novamente as questões ao retornar da visualização.

Para a heurística "Clareza e orientação sobre recursos de avaliação

disponíveis" (H12), na interface do professor, o problema do item "c" também viola

"Entendimento dos elementos do formulário" pois não está clara a utilização de parte

do formulário.

Para a heurística "Identificação e orientação visíveis" (H14), na interface

Page 119: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

110

do professor, os problemas também violam:

"Correção e orientação de erros" para o item "b", pois as mensagens de erro

estão com problema não deixando o professor concluir a tarefa;

"Percepção clara de mudanças na interface e direcionamento" para o "a",

porque o sistema não informa se concluiu ou não o carregamento do arquivo;

"Facilidade na inclusão de recursos" para o "a", porque o fato de o usuário

não saber o que está acontecendo dificulta a realização da tarefa.

Na interface do aluno, os problemas também violam:

"Padronização visual e organizacional" para o "a", "b" e "c", porque não é

respeitado o padrão dos elementos e por isso eles não são reconhecidos e

compreendidos;

"Interface intuitiva" para o "d", porque o acesso é confuso para o aluno com

pouca experiência;

"Navegação simplificada" para o "d", porque há muitos cliques para chegar

até a prova.

Para a heurística "Localização no contexto da avaliação" (H15), na

interface do professor, os problemas também violam:

"Proximidade com o mundo real" para o "a", pois utilizando um documento

convencional para criar a avaliação o professor saberia quantas questões

tem;

"Navegação simplificada" para o "b", porque o menu esconde a opção

acessada e o professor perde a referência.

Para a heurística "Liberdade de consulta" (H16), na interface do aluno o

problema também viola:

"Organização dos elementos da avaliação", porque a forma como a figura é

exibida, impede que o aluno a análise e compare com os textos da questão;

"Navegação simplificada", porque não há recurso de navegação para sair da

tela.

Para a heurística "Facilidade na inclusão de recursos" (H18), na interface

do professor, os problemas também violam:

"Navegação simplificada" para o "b", porque o sistema, após uma ação,

apresenta uma região de tela diferente do que é esperado;

"Condução e direcionamento" para o "a", porque o professor fica sem retorno

Page 120: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

111

do sistema e sem saber o que fazer.

Para a heurística "Visualização da avaliação" (H19), na interface do

professor, o problema também viola "Clareza e orientação sobre os recursos de

avaliação disponíveis", porque a forma que o professor vê não corresponde ao que o

aluno verá.

Para a heurística "Facilidade na atribuição da pontuação/nota" (H20), na

interface do professor, os problemas também violam "Visualização das ações

automáticas do sistema", porque o salvamento da pontuação não é perceptível ao

professor, podendo deixá-lo confuso e levá-lo ao erro.

Para a heurística "Visualização dos resultados" (H21), na interface do

professor, os problemas também violam:

"Percepção clara de mudanças na interface e direcionamento" para o "e", porque

é aberta uma nova janela sem que o professor perceba ou seja avisado;

"Interface intuitiva" para o "a" e "d", porque os nomes dos links no menu estão

gerando confusão de entendimento;

"Flexibilidade e controle do professor" para "b", porque o professor não pode ter

os resultados dos alunos em um arquivo se desejar;

"Facilidade na atribuição de pontuação e nota" para o "c", porque não há

totalização de valores, tendo que ser feito cálculo a parte.

Para a heurística "Ajudar a fornecer feedback ao aluno" (H22), na interface

do professor, o problema também viola:

"Percepção clara de mudanças na interface e direcionamento", porque o

professor não percebe o salvamento, pois o sistema não sinaliza em nenhum

momento;

"Condução e direcionamento", pois o professor fica perdido sem saber se

houve ou não o salvamento.

A partir da análise de cada um dos problemas indicados e as heurísticas

atribuídas como violadas, notou-se que as interfaces foram examinadas, quase

sempre, sem considerar os aspectos específicos da tarefa para a qual foram

desenvolvidas, supõe-se que isto tenha ocorrido devido a não especialização dos

avaliadores na área de avaliação da aprendizagem baseada em casos clínicos.

No gráfico da Figura 30 observa-se, para a interface do professor, que a

Page 121: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

112

heurística de Nielsen mais violada foi "Consistência e padrões" e o gráfico da Figura

32 mostra que a mais violada entre as especializadas foi "Interface intuitiva", tendo

mais indicações de grau de severidade 3 e 4 respectivamente (Figuras 31 e 33),

ambas se preocupam em garantir a facilidade em compreender a interface, e de

acordo com a abstração dos problemas podem ou não ser relacionadas a situações

específicas da avaliação da aprendizagem.

Entre as violações de "Consistência e padrões", duas tem relação direta com

o entendimento do professor sobre o instrumento avaliativo, no caso de "Interface

intuitiva", sete indicações estão relacionadas ao entendimento dos componentes do

instrumento, os outros relatam dificuldade em saber como interagir com a sistema.

Estes problemas interferem no tempo que o professor precisa para criar a avaliação.

Quando ela é baseada em casos clínicos é importante que a interface ajude o

professor a reconhecer a forma de construção do caso, para que este seja

elaborado corretamente, respeitando a dinâmica própria deste modelo.

O gráfico da Figura 34 trata da interface do aluno e mostra que as heurísticas

de Nielsen mais violadas foram "Prevenção de erros" e "Flexibilidade e eficiência de

uso", tendo mais indicações de grau de severidade 5, 3 e 4 respectivamente (Figura

35), já o gráfico da Figura 36, mostra a mais violada entre as especializadas como

sendo a "Minimização e prevenção de alterações acidentais", tendo mais indicações

de grau de severidade 5 (Figura 37), está última foi bem aplicada, pois os problemas

apontados estão relacionados com a confiança do aluno durante a realização da

avaliação e com o controle do professor em relação às tentativas dos alunos de

fraudar os resultados, sendo estes problemas graves. Nas violações de "Prevenção

de erros" e "Flexibilidade e eficiência de uso" seis dos problemas se referem a

situações que podem fazer com que o aluno não consiga salvar a resposta desejada

e dois estão relacionados a momentos que o aluno consegue alterar indevidamente

as respostas dadas. As indicações de "Minimização e prevenção de alterações

acidentais" se referem aos mesmos problemas indicados acima. Considerando que

a sequência da avaliação baseada em um caso clínico, é normalmente linear, ou

seja, o aluno não pode retroceder, os tipos de problemas apontados tem um impacto

importante na utilização do sistema.

As heurísticas especializadas "Identificação e orientação visíveis",

"Localização no contexto da avaliação", "Facilidade na inclusão de recursos" e

"Ajudar a fornecer feedback ao aluno", foram interpretadas de maneira equivocada,

Page 122: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

113

pois a maioria dos problemas aos quais elas foram associadas, não tinham

nenhuma relação com as definições das mesmas. Elas são direcionadas para as

necessidades existentes à realização da avaliação da aprendizagem

especificamente. A "Identificação e orientação visíveis" é relativa as informações que

o professor deve definir e fornecer ao aluno na realização da avaliação (Fenili, 2002;

Otsuka e Rocha, 2005, Garcia, 2009; Punhagui e Souza, 2011), a "Localização no

contexto da avaliação" é importante para que o aluno saiba o quanto da tarefa ainda

tem para resolver e gerencie seu tempo, a "Facilidade na inclusão de recursos" trata

da qualidade da interface para inserção de recursos externos (arquivos de imagem,

som, vídeo, animações, etc), sendo estes um diferencial importante dos sistemas

eletrônicos e que podem colaborar no processo avaliativo utilizando casos clínicos

(Hooper et al, 1998; Schuwirth, 2005; Langendyk, 2006; Segers et al, 2008; Struyven

et al, 2008; Baeten et al, 2013), por fim a "Ajudar a fornecer feedback ao aluno" é

relativa ao fornecimento de retorno ao aluno sobre seu desempenho na avaliação,

que é uma prática importante no processo (Perrenoud, 1999, Zeferino e Passeri,

2007, Garcia, 2009).

A heurística "Organização dos elementos da avaliação", trata da forma como

os componentes da avaliação estão organizados para fornecer melhor legibilidade e

sequência lógica na resolução da avaliação baseada em casos clínicos (Hooper et

al, 1998; Schuwirth, 2005; Langendyk, 2006; Segers et al, 2008; Struyven et al,

2008; Baeten et al, 2013), mas não foi indicada para nenhum problema, e ela tem

grande importância para o entendimento do aluno no momento de resolver a prova,

pois se não for atendida pode atrapalhar ou não colaborar para o raciocínio do

mesmo.

A heurística "Entendimento dos elementos de formulário", também não foi

indicada e ela interfere no sucesso da realização de atividades, pois se o aluno não

compreender o funcionamento de um componente de formulário poderá utilizá-lo

errado ou ignorá-lo e a consequência pode ser a perda de pontuação na avaliação.

Embora não tenham sido indicadas nas avaliações, as duas heurísticas anteriores

são violadas pelo MedCC.

Após a realização da avaliação, ficou mais evidente a necessidade de

especialização de heurísticas para a inspeção deste tipo de interface, pois muitas

características importantes podem ser ignoradas se não forem verificadas com

direcionamento para a área de aplicação do sistema.

Page 123: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

114

Os resultados fizeram perceber que as heurísticas especializadas

"Proximidade com o mundo real" e "Correção e orientação de erros" podem ser

excluídas, pois as de Nielsen (1995) "Relacionamento entre a interface do sistema e

o mundo real" e "Prevenção de erros" são suficientes para o que é tratado nelas.

Page 124: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

93

6. Conclusões

O estudo propõe um conjunto de 22 heurísticas de usabilidade especializadas

para sistemas eletrônicos para avaliação da aprendizagem baseada em casos

clínicos, contribuindo para a melhora das interações dos usuários com estas

ferramentas, por meio da definição de diretrizes que norteiem o desenvolvimento e

avaliação da qualidade.

Para atingir este objetivo foram considerados as características da avaliação

da aprendizagem, em especial a utilização de casos clínicos. Analisou-se as

interfaces dos recursos de avaliação da aprendizagem de dois AVAs e as

heurísticas de Nielsen (1995) a partir das quais foram feitas especializações.

As heurísticas especializadas foram validadas por meio da realização de

avaliações heurísticas no sistema web Medical Clinical Case (MedCC), sendo as

mesmas indicadas pelos especialistas durante a inspeção conforme demonstrado

nos resultados.

Page 125: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

93

7. Considerações finais

O desenvolvimento tecnológico proporcionou a inclusão de sistemas

eletrônicos no ambiente educacional, entre eles estão os destinados a avaliação da

aprendizagem, que oferecem recursos diferentes dos encontrados fora do meio

digital, apresentando-se como uma ferramenta que pode contribuir para otimizar o

processo e torná-lo mais atrativo tanto para o aluno como para o professor. Mas

para isso, faz-se necessária a oferta de interfaces que sejam fáceis de usar e que

disponibilizem recursos adequados para o processo.

Na educação em saúde, tem sido utilizados casos clínicos para avaliar os

conhecimentos dos alunos, este formato permite verificar o desenvolvimento de

forma multidisciplinar, sendo considerado um recurso importante nesta área. Embora

seja um instrumento interessante, tanto o processo de preparação como a

realização da avaliação, é trabalhoso e requer bastante dedicação e tempo dos

professores. O uso de sistemas eletrônicos para avaliação da aprendizagem

baseado em casos clínicos, pode ser uma forma de diminuir este trabalho,

otimizando etapas e tornando o processo mais dinâmico, mas para que isto

aconteça eles precisam ser fáceis de usar e eficientes.

Por isso este estudo propõe heurísticas especializadas, para colaborar para

que professores e alunos com pouca experiência no uso de computadores também

passem a utilizá-los, podendo usufruir de recursos que colaborem para o bom

desenvolvimento da avaliação.

Durante a realização da avaliação heurística verificou-se que é interessante

que os especialistas tenham conhecimento da área de aplicação do sistema, pois

notou-se que em várias situações eles se ativeram às características gerais e não às

necessárias para avaliação da aprendizagem baseada em casos clínicos. Mas

devido à dificuldade em encontrar especialistas em três áreas, IHC, avaliação da

aprendizagem e medicina, acredita-se que o uso das heurísticas especializadas é

uma alternativa, podendo ser complementadas com critérios (guidelines) mais

específicos.

Entre os estudos encontrados na revisão sistemática, somente um propunha

heurísticas para avaliação da aprendizagem (Sim et al, 2008), mas eram voltadas

Page 126: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

117

para provas em forma de questionários e abordavam somente a interação do aluno,

não sendo tratada a parte do professor. Portanto o presente estudo apresenta uma

contribuição inédita, definindo heurísticas especializadas para sistemas eletrônicos

de avaliação da aprendizagem baseada em casos clínicos, considerando a interação

dos dois agentes envolvidos no processo, aluno e professor.

A partir deste estudo outros trabalhos podem ser realizados futuramente,

como:

A melhora do sistema web Medical Clinical Case (MedCC) a partir do

resultado obtido com a avaliação heurística;

A realização de mais inspeções de usabilidade para aprimoramento das

heurísticas aqui propostas;

E a definição de guidelines para serem utilizados com as heurísticas em

testes de usuário e inspeções de usabilidade.

Page 127: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

93

8. Anexos

Anexo 1: Cenários de interação do aluno

Cenário 1: Realização da prova

Descrição:

Hoje, na sua aula da residência médica, haverá uma avaliação, seu preceptor avisou

antecipadamente que ela será aplicada em um laboratório de informática.

Ao entrar na sala ele pede que todos acessem o site disponível no endereço

http://www.clinicalcaselearning.com/teste e informa que vocês irão fazer a avaliação em

formato eletrônico e que precisam fazer inscrição na mesma. Para isso, pede que vocês

localizem no site a prova com nome“Avaliação do Grupo I”.

Depois de se inscrever você começa a prova. Ao acessá-la é possível visualizar a descrição

do caso, nela encontram-se as informações iniciais sobre o paciente. Após fazer uma análise

dos dados disponíveis, você começa a responder as questões.

Na questão 1, antes de responder,você resolve visualizar a figura disponível, a analisa e só

então responde.

Em seguida continua aresponder as questões.

Agora você vai responder a questão 4 e deseja olhar as informações já existentes do paciente,

inclusive as respostas que você forneceu em questões anteriores, para isso você tenta

localizá-las.

Você continuou respondendo as questões seguintes e logo após a de número 7, percebeu que

forneceu uma resposta errada, então pensou em voltar até ela para modificá-la.

Durante a solução da questão 8, acidentalmente você fechou a janela do navegador,

imediatamente você resolveu acessá-la novamente para terminar de respondê-la.

Depois disso continuou aresponder as questões até o final.

Após a conclusão saiu da prova.

Materiais necessários:

Page 128: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

119

Cenário 2: Edição de informações e consulta de resultados

Descrição:

Você mudou seu endereço de e-mail e por isso deseja atualiza-lo no sistema de avaliação,

com está intenção você acessa o site do mesmo, fazlogine procura uma forma de editar seu

cadastro.

Aproveitando que já está acessando o site, você resolve olhar os resultados de uma prova

feita dias antes.

Materiais necessários:

Page 129: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

120

Anexo 2: Cenários de interação do professor

Cenário 1: Criação das Questões

Descrição:

Você deseja criar, no sistema, as questões de uma prova sobre um caso clínico. Ela

já esta pronta em um documento do Word e os arquivos das imagens necessárias

também estão disponíveis.

Você acessa o site que lhe foi informado, digita seu usuário e senha e assim que o

login é concluído procura onde inserir as questões. Depois de achar, começa a

inserção: Para a questão 1,você escolhe o modelo “Escolha Única” e no enunciado dela cria o link

para a Figura 2.

Para a questão 2,você escolhe o modelo “Prioridade”, depois de inserir as opções de

respostas, você percebe que a ordem está errada e a altera.

Para a questão 3,você escolhe o modelo “Composta”, nela você coloca dados adicionas

para serem exibidos para os alunos antes do enunciado da pergunta.

Para a questão 4,você escolhe o modelo “Escolha Múltipla” e acrescenta o link para uma

imagem que você obteve de um equipamento de radiografia digital e está em formato

DICOM.

Para a questão 5,você escolhe o modelo “Direta”.

Para a questão 6,você escolhe o modelo “Falso/Verdadeiro”, durante a criação das

afirmativas você escolheu uma das respostas erradas, ao invés de “F“ (falso) deveria ser

“V” (verdadeiro), então você faz a correção.

Para a questão 7,você escolhe o modelo “Sub-questões”,quando está inserindo as opções

de respostas e marcando qual delas é a correta, você percebe que assinalou como correta

a opção errada e então faz a correção.

Para a questão 7,você escolhe o modelo “Correspondência”.

Para a questão 8, você escolhe o modelo “Medicamento”

Materiais necessários:

Caso clinico modelo.doc

Figura1 a 6

Page 130: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

121

Cenário 2: Criação da descrição da prova e configuração de disponibilidade

Descrição:

Você já tem as questões criadas no sistema e agora vai criar a descrição da mesma e

configurá-la.Para isso você seleciona a opção que permite criar uma prova e começa

a preencher as informações pedidas. No tipo de prova você marca “caso clínico”.

Depois de “Salvar” você pede a inserção da descrição da prova e preenche com o

texto inicial do caso clínico, em alguma palavra deste texto você insere um vídeo do

"Youtube" que oferece uma explicação que você quer que os alunos vejam para

realizar a prova, e então salva a descrição.

Agora você escolhe as questões que deseja para esta avaliação e atribui pontuação a

cada uma delas,durante este processo você percebe que tem uma questão a mais,

então você a desassocia da prova.

Você visualiza a prova para ver como ficou.

Materiais necessários:

Caso clinico modelo.doc

Cenário 3: Visualização de Resultados do Grupo

Descrição:

Depois de seus alunos terem feito a avaliação você deseja ver os resultados do

grupo, então percorre um por um dos relatórios para ver qual mostra os dados da

forma como você quer.

Você encontra um relatório que mostra a nota de cada aluno, então você abre a prova

de um aluno específico para ver as respostas dele.

Depois você visualiza outro relatório que mostra todos os alunos com as notas em

cada uma das questões. Você o salva em arquivo para abrir posteriormente no Excel.

Finalmente você encontra um relatório que mostra as respostas dadas em cada uma

das questões junto com a porcentagem de alunos que a responderam.

Materiais necessários:

Page 131: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

122

Anexo 3: Formulário de avaliação heurística de usabilidade da

interface do aluno

Page 132: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

123

Anexo 4: Formulário de avaliação heurística de usabilidade da

interface do professor

Page 133: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

124

Anexo 5: Indicações dos problemas de usabilidade no MedCC

apontadas durante as avaliações heurísticas realizadas para a

validação

Os problemas apontados na avaliação são apresentados organizados por

heurística, e dentro destas separados em interface do professor e do aluno. A

descrição inicia pelas de Nielsen (1995).

1. Visibilidade de status do sistema: foram 4 indicações na interface do professor

e 3 na do aluno, as quais são apresentadas abaixo:

Interface do Professor:

a) Avaliador 7: "Posição da janela de mensagem de erro está fora do campo de

visão do usuário".

Situação: Janela de mensagem.

Grau de severidade: 3.

b) Avaliador 6: "Não é perceptível que o enunciado da questão é um link, só quando

o mouse é posicionado sobre o texto é possível perceber".

Situação: Lista de questões inseridas.

Grau de severidade: 3.

c) Avaliador 6: "Não está claro que para editar a questão tem clicar sobre o

enunciado da mesma e então o sistema abre o formulário correspondente".

Situação: Lista de questões inseridas.

Grau de severidade: 3.

d) Avaliador 6: "O ícone para relacionar os itens é inexpressivo. Não é perceptível

que é necessário clicar nele para criar a relação".

Situação: Questão Correspondência.

Grau de severidade: 4.

Interface do Aluno:

a) Avaliador 3: "O sistema poderia informar qual questão estou respondendo dentro

do conjunto. Exemplo: questão 1 de 10".

Situação: Durante realização da prova.

Grau de severidade: 3.

b) Avaliador 5: "Após várias mensagens de erro via alert(), a mensagem de

Page 134: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

125

finalização tem grande potencial de ser ignorada.

Situação: Alerta de finalização da prova.

Grau de severidade: 4.

c) Avaliador 5: "Vários links não têm nenhuma funcionalidade associada".

Situação: Funcionalidades faltantes.

Grau de severidade: 5.

2. Relacionamento entre a interface do sistema e o mundo real: foram 4

indicações na interface do professor e 1 na do aluno, as quais são apresentadas

abaixo:

Interface do Professor:

a) Avaliador 6: "Não fica claro o que é a categoria que pode ser escolhida para a

resposta da questão".

Situação: Categoria na resposta correta.

Grau de severidade: 2.

b) Avaliador 6: "Os nomes dos tipos de questão não são muito significativos, não

representando adequadamente como elas são".

Situação: Identificação dos tipos de questão.

Grau de severidade:2.

c) Avaliador 6: "A opção de discussão online dá a entender que será feito um fórum

de discussão online após a resolução da prova, o que não é real".

Situação: Opção discussão online no formulário de criação da prova.

Grau de severidade: 3.

d) Avaliador 6: "Não fica clara a proposta do tipo de questão, ou seja, como o aluno

deverá responder".

Situação: Questão Prioridade.

Grau de severidade: 3.

Interface do Aluno:

a) Avaliador 7: "A opção "saiba mais" deveria estar desabilitada se o professor não

digitou nada neste campo".

Situação: A opção "saiba mais".

Grau de severidade: 3.

3. Liberdade e controle do usuário: foram 8 indicações na interface do professor

Page 135: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

126

e 6 na do aluno, as quais são apresentadas a seguir:

Interface do Professor:

a) Avaliador 3: "Em questões diretas o sistema não é claro e nem orienta como

inserir as respostas".

Situação: Inserção de respostas.

Grau de severidade: 4.

b) Avaliador 3: "Se estou criando uma prova, primeiro faço uma descrição e a seguir

vou criar as questões. O modelo apresentado não dá a liberdade de seguir estes

passos. Primeiro tenho que criar o banco de questões para depois criar a prova".

Situação: Descrição da prova.

Grau de severidade: 4.

c) Avaliador 3: "O sistema não informa que não posso visualizar uma prova

somente com a descrição, se a inclusão de alguma questão".

Situação: Visualizar prova.

Grau de severidade: 4.

d) Avaliador 6: "O botão "Salvar" passa a impressão de que se for clicado salva as

sub-questões, mesmo que elas não tenham sido adicionadas com o botão "Incluir

Sub-questão". Sugestão: deixar o botão "Salvar" desabilitado até ter as sub-

questões inseridas".

Situação: Questão Sub-questão.

Grau de severidade: 4.

e) Avaliador 2: "Quando é inserida apenas imagem no enunciado da questão, não

aparece o link para acesso à mesma".

Situação: Link da questão.

Grau de severidade: 4.

f) Avaliador 3: "Telas de visualização não possuem o botão voltar".

Situação: Voltar.

Grau de severidade: 4.

g) Avaliador 7: "Falta de botão de Voltar/avançar".

Situação: Voltar/avançar.

Grau de severidade: 4.

h) Avaliador 7: "Falta do botão "home"."

Situação: Botão "home".

Grau de severidade: 4.

Page 136: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

127

Interface do Aluno:

a) Avaliador 7: "Na hora de me cadastrar como aluno, telefone não é dado essencial

e está marcado como obrigatório".

Situação: Telefone marcado como obrigatório.

Grau de severidade: 3.

b) Avaliador 4: "Na descrição da prova, abre um javascript15 mas não tem o botão

com a opção de fechar. Tem que clicar novamente no link descrição... isso não é

intuitivo para todos os usuários".

Situação: Fechar Janela.

Grau de severidade: 4.

c) Avaliador 2: "Ao clicar no link para visualizar imagens, o usuário é direcionado

para a tela inicial e precisa enviar todas as questões novamente para voltar onde

estava".

Situação: Visualizar imagens.

Grau de severidade: 5.

d) Avaliador 3: "Ao visualizar a figura indicada nas questões não há como voltar

para a questão".

Situação: Visualizar figura.

Grau de severidade: 5.

e) Avaliador 3: "Se esquecer de responder a questão ou clicar acidentalmente no

botão enviar, o usuário não tem a opção de voltar".

Situação: Questão medicamentos.

Grau de severidade: 5.

f) Avaliador 7: "Na opção de abrir Figura (na prova), depois tem que voltar pelo

browser".

Situação: Visualização de figura na prova.

Grau de severidade: 5.

4. Consistência e padrões: foram 18 indicações na interface do professor e 4 na

do aluno, as quais são apresentadas abaixo:

Interface do Professor:

a) Avaliador 7: "O campo de Hora/minuto está em linhas diferentes".

15 Linguagem de programação para internet

Page 137: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

128

Situação: Campo de Hora/minuto.

Grau de severidade: 2.

b) Avaliador 1: "O exemplo da múltipla escolha tem formato diferente dos demais

exemplos. A escolha única não tem exemplo. (Viola consistência e prevenção de

erros)".

Situação: Exemplos de questão.

Grau de severidade: 2.

c) Avaliador 1: "O botão de inclusão de novas alternativas não está claro (com cara

de botão). Nos sistemas normalmente você clica em inserir e depois digita a

resposta, aqui acontece o contrário... (consistência externa)".

Situação: Botão para incluir alternativas na questão não está claro.

Grau de severidade: 3.

d) Avaliador 6: "No formulário de criação da prova, nos campos com barra de

ferramenta não é possível colar textos copiados do editor Word, pois a

formatação vem junto".

Situação: Uso do copiar e colar no formulário da prova.

Grau de severidade: 3.

e) Avaliador 7: "As janelas de erro deveriam ter um símbolo para dizer que é

"ERRO"".

Situação: Janelas de erro.

Grau de severidade: 3.

f) Avaliador 3: "A inserção de questões em Correspondência, não segue a mesma

forma que em outras questões. Por exemplo no quadro que insere uma questão

nos outros modos já podemos atribuir a resposta o que não ocorre em

Correspondência".

Situação: Formas de inserção de texto.

Grau de severidade: 3.

g) Avaliador 1: "A edição está intuitiva, mas assim como há ícone para exclusão, um

ícone de edição diminuiria a possibilidade de erros".

Situação: Edição F/V

Grau de severidade: 3.

h) Avaliador 1: "Na questão de escolha única tive problemas com o ícone de incluir

alternativas. Talvez fosse interessante trabalhar a consistência interna entre os

"incluir"".

Page 138: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

129

Situação: Incluir questão vs incluir alternativa

Grau de severidade: 3.

i) Avaliador 4: "Os links, exemplo Incluir Questão, estão difíceis de identificar, pois

estão pequenos e com a cor muito fraca. Sugiro usar botão com metáfora e texto

talvez. Aumentar o tamanho e deixar mais em destaque na tela".

Situação: Links.

Grau de severidade: 3.

j) Avaliador 6: "Ele não está representando satisfatoriamente o objetivo que é a

duplicação da questão e parece com um elemento desabilitado por causa da cor

cinza".

Situação: Ícone de duplicação da questão.

Grau de severidade: 3.

k) Avaliador 6: "No menu lateral o link de acesso às provas é "Provas" e no superior

é "Lista de Provas", o ideal é que sejam iguais".

Situação: Nome de links diferentes.

Grau de severidade: 3.

l) Avaliador 7: "Botões de "incluir" e "+" fazem a mesma coisa".

Situação: botões com mesma função.

Grau de severidade: 3.

m) Avaliador 6: "Os nomes utilizados para identificar os blocos de opções que serão

relacionados, "itens com numeração romana" e "itens com numeração

alfabética", não ajuda no reconhecimento do que eles são".

Situação: Questão Correspondência.

Grau de severidade: 3.

n) Avaliador 1: "Não percebi o salvamento da pontuação e fiquei com medo de

salvar a prova sem os pesos das questões, como aconteceu no caso das sub-

questões".

Situação: salvamento pontuação prova.

Grau de severidade: 3.

o) Avaliador 2: "Tela de inserção de imagens um pouco confusa e fora do padrão do

sistema".

Situação: Inserção de Imagens.

Grau de severidade: 4.

p) Avaliador 1: "Acrescentar sub-questão tem que ser clicado no final do processo,

Page 139: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

130

quando o usual é que seja no início".

Situação: Sub-questão

Grau de severidade: 4.

q) Avaliador 6: "Não há opção de cancelar o preenchimento do formulário em

nenhum dos cadastros. Sugestão: colocar o botão Cancelar".

Situação: Botão Cancelar.

Grau de severidade: 4.

r) Avaliador 4: "Em algumas situações (upload de imagens e inserção de links) o

popup abre muito pequeno e as informações ficam ocultas... o usuário precisa

dimensionar manualmente... não são todos os usuários que são capazes de

fazer esse dimensionamento”.

Situação: PopUp pequenos.

Grau de severidade: 5.

Interface do Aluno:

a) Avaliador 3: "O botão "incluir" que não foi utilizado em outras situações pode

passar imperceptível e não há mensagens a respeito".

Situação: Questão medicamentos.

Grau de severidade: 3.

b) Avaliador 5: "Na página de contato o link "saiba mais" fica quebrado. Basta usar

o  16 ou adaptar as margens e posicionamento para a largura disponível".

Situação: Saiba mais quebrado na página de contato.

Grau de severidade: 3.

c) Avaliador 4: "O link de alterar cadastro não está funcionando e leva o usuário ao

erro".

Situação: Link não funciona.

Grau de severidade: 4.

d) Avaliador 7: "Salvou cadastro mesmo com senha com 5 caracteres ao invés de

6".

Situação: Cadastro de usuário.

Grau de severidade: 4.

5. Prevenção de erros: foram 8 indicações na interface do professor e 10 na do

16 Representação de espaço na linguagem HTML

Page 140: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

131

aluno, as quais são apresentadas abaixo:

Interface do Professor:

a) Avaliador 3: "Ao fazer a descrição da prova o sistema não avisa a inserção do

observador e responsável. As informações aparecem listadas na tela, mas seria

interessante apresentar um diálogo, pois esta lista pode passar despercebida".

Situação: Escolha de observador e responsável.

Grau de severidade: 3.

b) Avaliador 6: "No formulário da descrição da prova há o botão "Visualizar Prova",

mas ao clicar não aparece conteúdo. Isto acontece quando ainda não há

questões na prova, mas está condição não é informada ao usuário".

Situação: Visualização da prova.

Grau de severidade: 3.

c) Avaliador 1: "Mesmo sem eu ter assinalado nenhuma correspondência para

determinado item, a mensagem foi de sucesso. Pode ficar item sem

correspondência?"

Situação: Sucesso a itens não assinalados em correspondência.

Grau de severidade: 3.

d) Avaliador 2: "Não fica claro como alterar a resposta correta em questões de sub-

questões".

Situação: Alteração da resposta correta.

Grau de severidade: 4.

e) Avaliador 7: "Deveria desabilitar o botão de salvar até que as respostas fossem

inseridas. Sugestão é de perguntar ao usuário quantas respostas possíveis. Gera

problema se eu resolver salvar antes de inserir todas as respostas possíveis."

Situação: Deveria desabilitar o botão.

Grau de severidade: 4.

f) Avaliador 1: "O botão de incluir sub-questão "pede" para ser clicado quando

vamos adicionar alternativas á ela".

Situação: Sub-questão.

Grau de severidade: 4.

g) Avaliador 1: "Falta explicação sobre as categorias de questões. Escolha única é

uma múltipla escolha com apenas uma alternativa certa ou uma questão que só

tem uma resposta?"

Situação: Falta de ajuda na escolha única.

Page 141: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

132

Grau de severidade: 4.

h) Avaliador 4: "Não foi possível fazer upload de arquivos na extensão jpeg. Tentei

fazer várias vezes na questão 1. Tinha uma questão (4) que pedia para incluir

imagem... não foi possível realizar".

Situação: Upload de arquivos.

Grau de severidade: 5.

Interface do Aluno:

a) Avaliador 1: "Não cliquei e fiquei sem resposta..."

Situação: Ícone verdinho na questão 11.

Grau de severidade: 3.

b) Avaliador 3: "Geralmente o usuário não sabe a diferença de "bolinhas" e

"quadradinhos". Sugestão ao clicar numa "bolinha" ou "quadradinho" poderia

aparecer um alerta com opção de desabilitar este alerta nas próximas questões".

Situação: Formulários.

Grau de severidade: 3.

c) Avaliador 3: "Ao entrar na tela imprimir acidentalmente não há como voltar para a

tela anterior, sem usar os recursos do browser".

Situação: Imprimir.

Grau de severidade: 3.

d) Avaliador 4: "Caso o professor não tenha configurado pra abrir imagem no

popup, então colocar isso como padrão... ou rever o link de retornar colocando

um botão na interface que retorna para a questão".

Situação: Erro para visualizar imagem.

Grau de severidade: 4.

e) Avaliador 3: "Ao inserir um texto, às vezes o sistema demora a responder.

Interessante informar o usuário que o problema é do sistema e não dele. Caso

contrário ele ficará tentando digitar indiscriminadamente".

Situação: Entrada de textos.

Grau de severidade: 4.

f) Avaliador 5: "Em vez de usuário como rótulo, o campo deveria estar com CPF".

Situação: Campo de login.

Grau de severidade: 4.

g) Avaliador 2: "Links para dados cadastrais, contato e resultados quebrados".

Situação: Ícone links quebrados.

Page 142: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

133

Grau de severidade: 5.

h) Avaliador 2: "Não ficou claro que precisava clicar no botão para enviar".

Situação: Questão Medicamento.

Grau de severidade: 5.

i) Avaliador 5: "Ao acessar o link "saiba mais" de alguns eventos, o popup aparece

sem conteúdo".

Situação: Conteúdo faltante.

Grau de severidade: 5.

j) Avaliador 5: "Durante o preenchimento da prova, em questões com vários

campos, faltou indicar qual faltava responder".

Situação: Preenchimento de questões com vários campos.

Grau de severidade: 5.

6. Reconhecimento ao invés de lembrança: foram 3 indicações na interface do

professor e 1 na do aluno, as quais são apresentadas abaixo:

Interface do Professor:

a) Avaliador 4: "Os exemplos de questões prontas ficam disponíveis apenas no

início, quando o usuário seleciona o tipo de questão, sugiro colocar uma opção

para visualizar novamente, no formulário de edição da questão".

Situação: Visualização dos Exemplos de Questões.

Grau de severidade: 3.

b) Avaliador 42: "Não ficou clara a diferença entre os ícone do link e âncora".

Situação: Link.

Grau de severidade: 3.

c) Avaliador 7: "No modelo de provas, aparece uma tela que confunde o usuário,

deveria ter um título de "EXEMPLO"".

Situação: Modelo de prova.

Grau de severidade: 4.

Interface do Aluno:

a) Avaliador 34: O usuário precisa lembrar-se da sequência de passos para acessar

a aplicação.

Situação: Participar na primeira tela.

Grau de severidade: 4.

Page 143: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

134

7. Flexibilidade e eficiência de uso: foram 1 indicações na interface do professor

e 10 na do aluno, as quais são apresentadas abaixo:

Interface do Professor:

a) Avaliador 4: "Em algumas situações (upload de imagens e inserção de links) o

popup abre muito pequeno e as informações ficam ocultas... o usuário precisa

dimensionar manualmente... não são todos os usuários que são capazes de

fazer esse dimensionamento".

Situação: PopUp pequenos.

Grau de severidade: 5.

Interface do Aluno:

a) Avaliador 5: "As mensagens de erro atrapalham e dificultam o uso. Ao final, o

usuário acaba querendo sempre fechar os alerts() sem ler o mensagem".

Situação: Mensagens de erro em popups.

Grau de severidade: 3.

b) Avaliador 5: "Os campos nas respostas não contam com tags <label>17, que

facilitam o uso e possibilitam que os usuários acionem os campos clicando nos

rótulos".

Situação: Formulários com HTML inadequado.

Grau de severidade: 3.

c) Avaliador 5: "Ao finalizar uma questão e apresentar uma nova, foi necessário

usar a barra de rolagem para visualizar a nova questão. O site poderia deixar a

questão visível".

Situação: Apresentação de novas questões.

Grau de severidade: 3.

d) Avaliador 5: "Para quem tem um cliente de email configurado, será necessário

copiar e colar o endereço de email na página de contato".

Situação: Email sem link de e-mail.

Grau de severidade: 3.

e) Avaliador 5: "O formulário poderia gravar um cookie18 com o CPF e preencher

automaticamente para facilitar o login".

Situação: Auto preenchimento do CPF.

Grau de severidade: 3.

17 Marcadores de formatação da linguagem HTML que definem um rótulo de formulário. 18 Recurso de linguagem de programação que armazena informações no navegador do usuário.

Page 144: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

135

f) Avaliador 6: "Depois de visualizar uma figura e voltar para a prova é necessário

clicar novamente no botão questões, pois as questões já exibidas desaparecem".

Situação: Visualização de figura na prova.

Grau de severidade: 3.

g) Avaliador 7: "Quando volta pelo browser vai para o começo da prova. Permite

que possa voltar e modificar a resposta".

Situação: Retorno a prova após ver figura.

Grau de severidade: 4.

h) Avaliador 5: "Não é possível navegar usando apenas o teclado".

Situação: Não é possível navegar usando apenas o teclado.

Grau de severidade: 4.

i) Avaliador 3: "Ao acessar a Figura a partir de uma questão, o usuário não

consegue voltar para a questão".

Situação: Figura.

Grau de severidade: 5.

j) Avaliador 5: "Manipulação automática durante o preenchimento de CPF dificulta

a edição de erros".

Situação: Erro na manipulação de eventos no campo CPF.

Grau de severidade: 5.

8. Estética e design minimalista: não houve indicação na interface do aluno e na

do professor foram 3, as quais são apresentadas abaixo:

a) Avaliador 2: "A janela abre quase minimizada".

Situação: Inserção de imagens.

Grau de severidade: 3.

b) Avaliador 4: "Os botões salvar e visualizar a prova devem estar no rodapé da

página... as demais informações devem, caso sejam relevantes, vir antes ou

aparecer como opção na interface".

Situação: Na página de Definição da Prova.

Grau de severidade: 3.

c) Avaliador 7: "inserir uma alternativa e clicar em "+" torna-se cansativo".

Situação: Inserir uma alternativa.

Grau de severidade: 3.

Page 145: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

136

9. Ajudar os usuários a reconhecer, diagnosticar e sanar erros: foram 5

indicações na interface do professor e 1 na do aluno, as quais são apresentadas

abaixo:

Interface do Professor:

a) Avaliador 7: "Na hora de inserir (insert) aparece uma tela de erro em inglês sem

muita explicação".

Situação: Tela de erro em inglês sem muita explicação.

Grau de severidade: 3.

b) Avaliador 3: "Ao salvar uma questão acidentalmente, o sistema não informa ou

não pergunta se é o momento de salvar".

Situação: Inserção de questões.

Grau de severidade: 3.

c) Avaliador 7: "Em criação de questões. Se eu digitar apenas uma alternativa e

quiser salvar, a mensagem que aparece não é clara e gera confusão".

Situação: Em criação de questões.

Grau de severidade: 3.

d) Avaliador 3: "O sistema não informa se a figura foi inserida".

Situação: Inserção de figuras.

Grau de severidade: 4.

e) Avaliador 4: "Os exemplos de questões prontas ficam disponíveis apenas no

início, quando o usuário seleciona o tipo de questão, sugiro colocar uma opção

para visualizar novamente, no formulário de edição da questão".

Situação: Visualização dos Exemplos de Questões.

Grau de severidade: 4.

Interface do Aluno:

a) Avaliador 3: "O sistema não mostra quando o usuário esquece de responder

questões texto".

Situação: Entrada de textos.

Grau de severidade: 5.

10. Ajuda e documentação: foram 8 indicações na interface do professor e 1 na do

aluno, as quais são apresentadas abaixo:

Interface do Professor:

a) Avaliador 6: "Não fica claro como este do tipo de questão funciona. É importante

Page 146: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

137

ter uma orientação acompanhando".

Situação: Questão composta.

Grau de severidade: 2.

b) Avaliador 3: "Ao inserir um arquivo, o sistema não informa se o mesmo foi

inserido corretamente".

Situação: Inserção de arquivos.

Grau de severidade: 3.

c) Avaliador 6: "A escolha da categoria de resposta, da maneira como está

agrupada com o Situação onde devem ser inseridas as respostas corretas

parece que é de escolha obrigatória. Seria importante ter uma orientação junto

ao campo".

Situação: Categoria na resposta correta.

Grau de severidade: 3.

d) Avaliador 6: "Não está claro como fazer para mudar a resposta correta de cada

afirmativa. Seria interessante se fosse parecida com a de escolha única".

Situação: Questão Falso/Verdadeiro.

Grau de severidade: 3.

e) Avaliador 6: "Não está claro que é para inserir somente as respostas corretas, ela

confunde com as de escolha única e múltipla. Seria interessante ter uma

orientação".

Situação: Questão direta.

Grau de severidade: 3.

f) Avaliador 3: "O sistema não informa como inserir uma figura".

Situação: Inserção de figuras.

Grau de severidade: 4.

g) Avaliador 6: "Não é clara a forma como as questões devem ser associadas a

prova, ou seja, na interface não há orientação de como deve ser feito o

processo".

Situação: Incluir as questões na prova.

Grau de severidade: 4.

h) Avaliador 3: "O sistema não informa que uma nova janela foi aberta para

visualizar os resultados e nem mostra uma forma de fechar esta janela".

Situação: visualizar resultados.

Grau de severidade: 4.

Page 147: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

138

Interface do Aluno:

a) Avaliador 3: "Apesar de existir não fica claro para o usuário".

Situação: Orientação.

Grau de severidade: 4.

As violações apresentadas na sequência são agrupadas por heurística

especializada.

H1. Percepção clara de mudanças na interface e direcionamento: foram 6

indicações na interface do professor e 2 na do aluno, as quais são apresentadas

abaixo:

Interface do Professor:

a) Avaliador 2: "Quando você acessa uma questão pela lista, só sai desta tela

salvando novamente".

Situação: Lista de Questões.

Grau de severidade: 3.

b) Avaliador 3: "Na atribuição de pontos, ao inserir uma pontuação o campo do

formulário fica verde quando a informação é salva. Mas, essa mudança de cor

não fica claro para o usuário. Qual o significado desta mudança de cor?"

Situação: Salvar pontuação.

Grau de severidade: 3.

c) Avaliador 2: "Não fica claro que a prova esta sendo visualizada em uma nova

página".

Situação: Visualização da Prova.

Grau de severidade: 4.

d) Avaliador 2: "Ao escolher arquivo, depois de clicar em Upload, não mostra o

próximo passo".

Situação: Inserção de Imagens.

Grau de severidade: 5.

e) Avaliador 2: "Ao clicar no botão salvar, a pagina direciona o professor para o

inicio da pagina, mas existem outras informações que são inseridas na página

(no final) após clicar neste botão (Não fica claro isso)".

Situação: Botão salvar prova.

Grau de severidade: 5.

Page 148: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

139

f) Avaliador 3: "O exemplo que aparece na seleção do tipo de questão é muito

parecido com uma tela real induzindo o usuário erros ao clicar num botão que

não é real".

Situação: Imagens que confundem.

Grau de severidade: 5.

Interface do Aluno:

a) Avaliador 6: "O link "Dados cadastrais" não leva a lugar nenhum e não dá

nenhum tipo de aviso ao usuário".

Situação: Alteração de dados pessoais.

Grau de severidade: 4.

b) Avaliador 6: "O link "Resultados" não leva a lugar nenhum e não dá nenhum tipo

de aviso ao usuário".

Situação: Visualização de resultados.

Grau de severidade: 4.

H2. Visualização das ações automáticas do sistema: não houve indicação para a

interface do professor, para a do aluno houve uma, a qual é apresentada abaixo.

a) Avaliador 3: "Ao inserir um texto, às vezes o sistema demora a responder.

Interessante informar o usuário que o problema é do sistema e não dele".

Situação: Entrada de textos.

Grau de severidade: 4.

H3. Organização dos elementos da avaliação: não houveram indicações.

H4. Proximidade com o mundo real: não houve indicação para a interface do

aluno, para a do professor houve uma, a qual é apresentada abaixo.

a) Avaliador 3: "Se estou criando uma prova, primeiro faço uma descrição e a seguir

vou criar as questões. O modelo apresentado não dá a liberdade de seguir estes

passos. Primeiro tenho que criar o banco de questões para depois criar a prova".

Situação: Inserção de questões.

Grau de severidade: 4.

H5. Correção e orientação de erros: não houve indicação para a interface do

aluno, para a do professor houveram 6, as quais são apresentadas abaixo.

Page 149: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

140

a) Avaliador 1: "Usuário loga pelo CPF e há dificuldade na correção de dados. o

"ponto" não permite limpeza do campo com backspace".

Situação: Login.

Grau de severidade: 3.

b) Avaliador 2: "Tela de inserção de imagens um pouco confusa e fora do padrão do

sistema".

Situação: Inserção de Imagens.

Grau de severidade: 4.

c) Avaliador 6: "Não estão explicando o local do problema, só informam que ocorreu

e indicam que tipo de problema foi".

Situação: Mensagens de erro/problemas.

Grau de severidade: 4.

d) Avaliador 1: "O sistema me pede para preencher campos obrigatórios mas não

visualizo qual campo deixei de preencher..."

Situação: Segunda alternativa questão escolha única.

Grau de severidade: 4.

e) Avaliador 3: "Nem sempre o sistema avisa que faltou preencher mais itens em

questões de múltipla alternativas".

Situação: Inclusão de questões.

Grau de severidade: 4.

f) Avaliador 1: Não consigo procurar imagem para inserir no enunciado".

Situação: Inserção de imagem.

Grau de severidade: 5.

H6. Padronização visual e organizacional: foram 6 indicações na interface do

professor e 5 na do aluno, as quais são apresentadas abaixo:

Interface do Professor:

a) Avaliador 6: "Na tela de acesso à criação das questões, o link "Inserir Questão"

está com pouco destaque, a lista de filtragem (combobox) está chamando mais

atenção. Ele poderia ser um botão".

Situação: Criação da questões.

Grau de severidade: 2.

b) Avaliador 6: "O link está muito escondido, passa despercebido".

Situação: Link "Incluir Descrição da Prova".

Page 150: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

141

Grau de severidade: 2.

c) Avaliador 6: "A posição dos botões deveria ser no final, é mais lógico".

Situação: Formulário de descrição da prova.

Grau de severidade: 3.

d) Avaliador 6: "O link para escolha das questões que farão parte da prova, tem

pouca visibilidade. A sugestão é usar um botão ao invés de link".

Situação: Selecionar as questões.

Grau de severidade: 3.

e) Avaliador 7: "A tela está com distribuição ruim dos elementos. Falta botões de

voltar, home, mapa. O design não está visualmente bom".

Situação: O design não está visualmente bom.

Grau de severidade: 3.

f) Avaliador 3: "Não tem botão de fechar, tem que fechar a aba do navegador".

Situação: Visualização da prova.

Grau de severidade: 4.

Interface do Aluno:

a) Avaliador 5: "Os campos nas respostas não contam com tags <label>, que

facilitam o uso e possibilitam que os usuários acionem os campos clicando nos

rótulos".

Situação: Formulários com HTML inadequado.

Grau de severidade: 3.

b) Avaliador 5: "Os links tem cores específicas, mas o link sair não é sublinhado e

está na mesma cor que o texto".

Situação: Link sair não parece com um link.

Grau de severidade: 3.

c) Avaliador 5: "Na homepage, antes de logar, os links 'saiba mais' estão com a

mesma cor que o eventos atuais".

Situação: Consistência de cores do saiba mais e eventos atuais.

Grau de severidade: 3.

d) Avaliador 6: "Na opção de menu "Meus Dados" o link Contato fica confuso, não

está claro que é contato com o administrador do sistema".

Situação: Item "Contato".

Grau de severidade: 3.

e) Avaliador 5: "Os eventos atuais vão para a parte esquerda da tela e o fundo fica

Page 151: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

142

bom baixo contraste, inconsistente com o restante do site".

Situação: Falta de consistência na página de contato.

Grau de severidade: 4.

H7. Minimização e prevenção de alterações acidentais: não houve indicação

para a interface do professor, para a do aluno houveram 6, as quais são

apresentadas abaixo:

a) Avaliador 4: "Caso o professor não tenha configurado pra abrir imagem no

popup, então colocar isso como padrão... ou rever o link de retornar colocando

um botão na interface que retorna para a questão".

Situação: Erro para visualizar imagem.

Grau de severidade: 4.

b) Avaliador 2: "O usuário consegue alterar sua resposta anterior após visualizar

uma imagem e a tela voltar para a inicial".

Situação: Alteração da resposta.

Grau de severidade: 5.

c) Avaliador 2: "Não ficou claro que precisava clicar no botão para enviar".

Situação: Questão Medicamento.

Grau de severidade: 5.

d) Avaliador 3: "Se o usuário enviar sem querer uma questão escrita vazia o

sistema não informa que não tem resposta, como acontece com as questões

teste. Poderia ser acidental o envio".

Situação: Entrada de textos.

Grau de severidade: 5.

e) Avaliador 3: "Se esquecer de responder a questão ou clicar acidentalmente no

botão enviar, o usuário não tem a opção de voltar".

Situação: Questão medicamentos.

Grau de severidade: 5.

f) Avaliador 3: "O botão "incluir" que não foi utilizado em outras situações pode

passar imperceptível e não há mensagens a respeito. Depois de enviar esta

questão o sistema se encerra".

Situação: Questão medicamentos.

Grau de severidade: 5.

Page 152: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

143

H8. Condução e direcionamento: não houve indicação para a interface do aluno,

para a do professor houveram 11, as quais são apresentadas abaixo:

a) Avaliador 3: "Da forma como o texto é apresentado não fica claro se a prova

ficará disponível no horário programado ou a partir do momento que é criada".

Situação: "Disponibilidade da prova".

Grau de severidade: 3.

b) Avaliador 6: "A descrição da prova fica separada da configuração, seria

interessante que fosse na mesma tela, fica confuso separado".

Situação: Separação da configuração e da descrição da prova.

Grau de severidade: 3.

c) Avaliador 4: "Os exemplos de questões prontas ficam disponíveis apenas no

início, quando o usuário seleciona o tipo de questão, sugiro colocar uma opção

para visualizar novamente, no formulário de edição da questão".

Situação: Visualização dos Exemplos de Questões.

Grau de severidade: 3.

d) Avaliador 6: "A localização da descrição da prova, com a qual devem ser

associadas as questões não é fácil de encontrar".

Situação: Incluir as questões na prova.

Grau de severidade: 3.

e) Avaliador 6: "Estando na descrição da prova, seria interessante ter um link no

menu lateral para voltar ao formulário da prova".

Situação: Acesso ao formulário de prova já cadastrada.

Grau de severidade: 3.

f) Avaliador 2: "O botão salvar não ficou muito visível para salvar uma prova".

Situação: Botão salvar prova.

Grau de severidade: 4.

g) Avaliador 7: "A área de edição poderia ser melhor mapeada. Desabitar o botão

de "+" até o usuário digitar a resposta".

Situação: A área de edição.

Grau de severidade: 4.

h) Avaliador 2: "Não está claro onde se deve clicar para adicionar URL da imagem".

Situação: Inserção de imagens.

Grau de severidade: 4.

i) Avaliador 3: "O sistema não informa que não posso visualizar uma prova

Page 153: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

144

somente com a descrição, se a inclusão de alguma questão".

Situação: Visualizar prova.

Grau de severidade: 4.

j) Avaliador 2: "Ao escolher arquivo, depois de clicar em Upload, não mostra que a

imagens já foi inserida".

Situação: Inserção de Imagens.

Grau de severidade: 5.

k) Avaliador 2: "Ao visualizar uma prova, fica confuso o que o usuário deve fazer,

pois não fica claro a abertura em nova página".

Situação: Visualização da Prova.

Grau de severidade: 5.

H9. Interface intuitiva: foram 20 indicações na interface do professor e 3 na do

aluno, as quais são apresentadas abaixo:

Interface do Professor:

a) Avaliador 6: "Na inclusão da sub-questão não está claro se o botão "Incluir sub-

questão" deve ser clicado para guardar o que já está digitado ou se para limpar

os campos para inserir mais uma sub-questão".

Situação: Questão Sub-questão.

Grau de severidade: 2.

b) Avaliador 6: "Não fica claro o que é o texto adicional, seria interessante ter uma

orientação ao usuário".

Situação: Texto adicional na questão.

Grau de severidade: 2.

c) Avaliador 6: "Não fica claro que aquela é uma visualização parecida com a que o

aluno irá ter da prova".

Situação: Visualização da prova.

Grau de severidade: 2.

d) Avaliador 6: "Não há explicação sobre o que é a descrição da prova, portanto não

se sabe para o que serve este campo".

Situação: Finalidade da Descrição da Prova.

Grau de severidade: 2.

e) Avaliador 6: "No formulário de criação da questão, não fica claro que não é

necessário atribuir numeração à questão. Seria interessante ter uma orientação

Page 154: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

145

para o usuário".

Situação: Numeração das questões.

Grau de severidade: 2.

f) Avaliador 6: "Na hora de inserir as alternativas de respostas a interface não deixa

claro que é possível inserir várias".

Situação: Questão Escolha Única.

Grau de severidade: 3.

g) Avaliador 7: "Em "Escolha única" não consegui visualizar o modelo".

Situação: Escolha única - modelo.

Grau de severidade: 3.

h) Avaliador 7: "Quando o professor quer visualizar a nota de um aluno, tem que

clicar em cima do nome".

Situação: Link para notas.

Grau de severidade: 3.

i) Avaliador 6: "Na tela de acesso à criação das questões, não fica claro que não é

necessário fazer filtragem usando o campo "Filtrar por" para incluir uma questão.

Talvez ele devesse aparecer só quando já houvessem questões cadastradas".

Situação: Criação da questões.

Grau de severidade: 3.

j) Avaliador 6: "No formulário de criação da prova não está claro que já há um

responsável pré-definido, dá a impressão de que é necessário selecionar na lista

de opções".

Situação: Definição do responsável.

Grau de severidade: 3.

k) Avaliador 6: "No formulário de criação da prova não fica claro qual é o papel do

observador, o nome do campo não ajuda a saber para o que serve".

Situação: Observador.

Grau de severidade: 3.

l) Avaliador 2: "Muito complicado alterar a resposta correta em questões sub-

questões".

Situação: Alteração da resposta correta.

Grau de severidade: 4.

m) Avaliador 2: "Não está claro o que são estas categorias".

Situação: Escolha da categoria.

Page 155: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

146

Grau de severidade: 4.

n) Avaliador 6: "A organização dos campos no formulário de criação deste tipo de

questão gera bastante confusão por se tratar de duas questões inseridas em

uma só. Os agrupamentos não estão claros, não dá para perceber onde colocar

a resposta correta da primeira pergunta".

Situação: Questão composta.

Grau de severidade: 4.

o) Avaliador 6: "No formulário de criação da prova não está claro para o que serve o

campo orientação".

Situação: Texto de orientação inicial.

Grau de severidade: 4.

p) Avaliador 6: "No formulário de criação da prova não está claro para o que serve o

campo texto final. Sugestão de colocar o rótulo do campo como "Texto que

aparece no final da prova"".

Situação: Texto final.

Grau de severidade: 4.

q) Avaliador 1: "Item do menu não funciona... tenho que entrar na prova para

visualizá-la".

Situação: Visualização da prova.

Grau de severidade: 4.

r) Avaliador 3: "O uso do ícone "incluir" não fica claro".

Situação: Ícones.

Grau de severidade: 4.

s) Avaliador 1: "Link em azul claro no meio de um monte de textos em vermelho -

não há visibilidade".

Situação: incluir descrição da prova.

Grau de severidade: 4.

t) Avaliador 3: "Telas de visualização não possuem o botão voltar".

Situação: Voltar.

Grau de severidade: 4.

Interface do Aluno:

a) Avaliador 1: "Depois de visualizar figura da questão 1 falta botão de fechar (o

ideal seria abrir em uma camada na mesma página ou em uma nova aba)".

Situação: Figura questão 1.

Page 156: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

147

Grau de severidade: 3.

b) Avaliador 4: "Na descrição da prova, abre um javascript mas não tem o botão

com a opção de fechar. Tem que clicar novamente no link descrição... isso não é

intuitivo para todos os usuários".

Situação: Fechar Janela.

Grau de severidade: 4.

c) Avaliador 4: "O link de alterar cadastro não está funcionando e leva o usuário ao

erro".

Situação: Link não funciona.

Grau de severidade: 4.

H10. Flexibilidade e controle do professor: não houve indicação para a interface

do aluno, para a do professor houveram 4, as quais são apresentadas abaixo.

a) Avaliador 3: "Nem sempre o sistema avisa que faltou preencher mais itens em

questões de múltipla alternativas".

Situação: Inclusão de questões.

Grau de severidade: 4.

b) Avaliador 3: "O sistema não dá a possibilidade do professor criar questões

enquanto insere questões na prova".

Situação: Inserção de questões.

Grau de severidade: 4.

c) Avaliador 3: "O sistema não dá a possibilidade do professor editar questões e

corrigir eventuais erros enquanto insere questões na prova".

Situação: Edição de questões.

Grau de severidade: 4.

d) Avaliador 3: "O sistema não permite visualizar questões (a mesma visão do

aluno) enquanto as questões estão sendo elaboradas no banco de questões".

Situação: visualizar questões.

Grau de severidade: 4.

H11. Navegação simplificada: foram 4 indicações na interface do professor e 1 na

do aluno, as quais são apresentadas abaixo:

Interface do Professor:

a) Avaliador 3: "Algumas tabelas de resultados são muito longas o que gera barras

Page 157: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

148

de rolagem horizontais e verticais, dificultando a navegação. Sugestão: dar a

alternativa de salvar o arquivo para ser visualizado em outra plataforma".

Situação: Visualizar resultados.

Grau de severidade: 3.

b) Avaliador 6: "Uso excessivo de cliques para fazer a relação entre os itens".

Situação: Questão Correspondência.

Grau de severidade: 3.

c) Avaliador 2: "Ao acessar uma questão da lista, após salvá-la, não volta para a

mesma lista".

Situação: Lista de questões.

Grau de severidade: 4.

d) Avaliador 3: "Botão voltar nas telas de visualização de resultados, figuras, etc".

Situação: Voltar.

Grau de severidade: 4.

Interface do Aluno:

e) Avaliador 2: "Ao clicar no link para visualizar imagens, o usuário é direcionado

para a tela inicial e precisa enviar todas as questões novamente para voltar onde

estava".

Situação: Visualizar imagens.

Grau de severidade: 5.

H12. Clareza e orientação sobre os recursos de avaliação disponíveis: não

houve indicação para a interface do aluno, para a do professor houveram 3, as quais

são apresentadas a seguir:

a) Avaliador 3: "Em questões diretas o sistema não é claro e nem orienta como

inserir as resposta".

Situação: Inserção de respostas.

Grau de severidade: 4.

b) Avaliador 3: "O sistema não auxilia o usuário a inserir um link".

Situação: Criação de links.

Grau de severidade: 4.

c) Avaliador 2: "Não fica muito claro como devem ser inseridas as respostas".

Situação: Inserção das respostas das questões.

Grau de severidade: 5.

Page 158: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

149

H13. Entendimento dos elementos do formulário: não houve nenhuma indicação.

H14. Identificação e orientação visíveis: foram 2 indicações na interface do

professor e 4 na do aluno, as quais são apresentadas a seguir:

Interface do Professor:

a) Avaliador 7: "Quando tento carregar uma imagem para formar a questão, não há

um feedback dizendo se a imagem foi carregada".

Situação: Falta de informação se a imagem foi ou não carregada.

Grau de severidade: 3.

b) Avaliador 7: "Não está deixando salvar questões com sub-questão. Diz para

preencher os campos obrigatórios".

Situação: Questão sub-questão.

Grau de severidade: 5.

Interface do Aluno:

a) Avaliador 5: "As mensagens de erro atrapalham e dificultam o uso. Ao final, o

usuário acaba querendo sempre fechar os alerts() sem ler o mensagem".

Situação: Mensagens de erro em popups.

Grau de severidade: 3.

b) Avaliador 5: "Na página de contato o link saiba mais fica quebrado. Basta usar o

&nbsp; ou adaptar as margens e posicionamento para a largura disponível".

Situação: Saiba mais quebrado na página de contato .

Grau de severidade: 3.

c) Avaliador 3: "Não fica claro que Orientação é um link".

Situação: Orientação.

Grau de severidade: 4.

d) Avaliador 3: "O participar para entrar a primeira vez no sistema, ok, mas na

segunda tela depois do cadastro/login fica confuso, pois o usuário já escolheu

participar. Sugestão: poderia ser um texto como "Iniciar a prova"".

Situação: Participar na primeira tela.

Grau de severidade: 4.

H15. Localização no contexto da avaliação: não houve indicação na interface do

aluno, na do professor houveram 2, que são apresentadas abaixo:

Page 159: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

150

a) Avaliador 3: "O sistema informa o passo a passo para a inserção da questão,

mostra uma listagem de questões inseridas, mas não me informa quantas

questões já existem".

Situação: Montagem da prova.

Grau de severidade: 2.

b) Avaliador 7: "O menu lateral não se mantém no contexto que estou".

Situação: Menu lateral.

Grau de severidade: 4.

H16. Liberdade de consulta: não houve indicação na interface do professor, na do

aluno houve uma, que é apresentada abaixo:

a) Avaliador 3: "O usuário visualiza a figura e depois não consegue retornar para a

questão".

Situação: Figuras.

Grau de severidade: 5.

H17. Reconhecimento da finalização da avaliação: não houve indicação na

interface do professor, na do aluno houveram 2, que são apresentadas abaixo:

a) Avaliador 3: "A aplicação mostra um alerta de finalização, mas ele fica muito

tímido, pode passar desapercebido por alguém mais distraído".

Situação: Finalização.

Grau de severidade: 1.

b) Avaliador 5: "Após várias mensagens de erro via alert(), a mensagem de

finalização tem grande potencial de ser ignorada".

Situação: Alerta de finalização da prova.

Grau de severidade: 4.

H18. Facilidade na inclusão de recursos: não houve indicação na interface do

aluno, na do professor houveram 2, que são apresentadas abaixo:

a) Avaliador 3: "O sistema não informa se um arquivo foi incluído corretamente".

Situação: Inclusão de arquivos.

Grau de severidade: 4.

b) Avaliador 2: "Ao acessar uma questão da lista, após salvá-la, não volta para a

mesma lista".

Page 160: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

151

Situação: Lista de Questões.

Grau de severidade: 4.

H19. Visualização da avaliação: não houve indicação na interface do aluno, na do

professor houve uma, que é apresentada abaixo:

a) Avaliador 6: "Parece que o aluno verá a prova toda e não fica claro que só

aparecerá uma questão por vez e também que ele não poderá mudar as

respostas já enviadas".

Situação: Visualização da prova.

Grau de severidade: 2.

H20. Facilidade na atribuição da pontuação e nota: não houve indicação na

interface do aluno, na do professor houveram 2, que são apresentadas abaixo:

a) Avaliador 3: "É fácil atribuir pontuação, mas difícil perceber quando esta

informação foi salva no sistema".

Situação: Salvar pontuação.

Grau de severidade: 4.

b) Avaliador 6: "Não fica claro que quando o fundo do campo onde é digitado os

pontos da questão muda para verde é porque ele foi salvo, caso contrário não.

Sugestões: colocar orientação e colocar um botão para salvar todos os pontos".

Situação: Atribuição de pontuação das questões.

Grau de severidade: 5.

H21. Visualização dos resultados: não houve indicação na interface do aluno, na

do professor houveram 6, que são apresentadas abaixo:

a) Avaliador 6: "A opção de menu "Conferir" pode gerar confusão levando a

entender que seja conferir os resultados dos alunos".

Situação: Conferir.

Grau de severidade: 2.

b) Avaliador 6: "No relatório "Notas" não dá para exportar os resultados para

arquivo".

Situação: Relatório Notas.

Grau de severidade: 2.

c) Avaliador 6: "Na atribuição de pontos às questões não aparece a somatória dos

Page 161: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

152

mesmos".

Situação: Totalização de pontuação da prova.

Grau de severidade: 3.

d) Avaliador 6: "Não dá para saber que os resultados dos alunos está em relatórios,

a tendência é procurar na opção provas. Talvez ficasse mais fácil se o menu

lateral ficasse aberto e não recolhido".

Situação: Visualização dos resultados dos aluno.

Grau de severidade: 3.

e) Avaliador 3: "O sistema não informa que uma nova janela foi aberta para

visualizar os resultados e nem mostra uma forma de fechar esta janela".

Situação: Visualizar resultados.

Grau de severidade: 4.

f) Avaliador 6: "Neste relatório não mostra a nota na prova como um todo, só os

valores individuais nas questões, o professor teria que fazer a soma".

Situação: Relatório Evento por Questões.

Grau de severidade: 5.

H22. Ajudar a fornecer feedback ao aluno: não houve indicação na interface do

aluno, na do professor houve uma, que é apresentada abaixo:

a) Avaliador 6: "Ao clicar no botão "Salvar" do formulário da prova o sistema salva

os dados e volta ao mesmo formulário, mas não sinaliza que já salvou, gerando

dúvidas sobre estar ou não salvo".

Situação: Retorno ao formulário da prova após salvamento.

Grau de severidade: 2.

Page 162: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

93

9. Referências bibliográficas

ABNT - Associação Brasileira de Normas e Técnicas. NBR 9241-11: Requisitos ergonômicos para trabalhos de escritório com computadores - Parte 11: Orientações sobre usabilidade. 2002; 21 p. Alves ED, Ribeiro LSN, Guimarães DCSM, Costa CMA, Peixoto HM, Martins EF, et al. Moodle-fólio para o ensino em saúde e enfermagem: avaliação do processo educacional. Rev Eletr Enf. [periódico online] 2012; [citado em 02 mai 2013]; 14(3):473-82. Disponível em: http://www.fen.ufg.br/revista/v14/n3/v14n3a03.htm. Baeten M, Dochy F, Struyven K. The effects of different learning environments on students’ motivation for learning and their achievement. Br J Educ Psychol. 2013; 83:484–501. Bastien JMC, Scapin DL. Ergonomic criteria for the evaluation of human-computer interfaces. Relatório Técnico. Institut National de Recherche en Informatique et en Automatique; Mai 2006. Nº Relatório: 0156. Blackboard. [online]. Overview. [citado em 22 abr 2013]. Disponível em: http://www. blackboard.com/platforms/learn/overview.aspx. Blackboard. [online]. About Bb. [citado em 13 fev 2014]. Disponível em: http://www.blackboard.com/About-Bb/Our-Story.aspx. Blackboard. [online]. Clientes. [citado em 13 fev 2014]. Disponível em: http://blackboard.grupoa.com.br/clientes/. Botti SHO, Rego S. Processo ensino-aprendizagem na residência. Rev Bras Edu Med. 2010;34:132-140. Choules AP. The use of elearning in medical education: a review of the current situation. Postgrad Med J. 2007; 83:212-16. Curtis DA, Lind SL, Dellinges M, Schroeder K. Identifying Student Misconceptions in Biomedical Course Assessments in Dental Education. Journal of Dental Education. Set 2012; 76(9):1183-94. Cybis W, Betiol AH, Faust R. Ergonomia e usabilidade: conhecimentos, métodos e aplicações. São Paulo: Novatec; 2007, 344 p. Depresbiteris L. Avaliação da aprendizagem do ponto de vista técnico-científico e filosófico-político. Série Idéias; (8). São Paulo: FDE; 1998, p. 161-172. Depresbiteris L. Confissões de uma Educadora - o longo caminho de um aprendizado de avaliação. Est Aval Educ. jul/dez 1998; 18:33-68.

Page 163: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

154

Domingues RCL, Amaral E, Zeferino AMB, Antonio MAGM, Nadruz W. Competência clínica de alunos de Medicina em estágio clínico: comparação entre métodos de avaliação. Rev Bras Edu Med. 2010; 34(1):124-131. Fenili RM, Oliveira ME, Santos MB, Eckert ER. Repensando a avaliação da aprendizagem. [citado em 13 nov 2013]. Rev Eletr Enf. [periódico online]. 2002; 4(2):42-48. Disponível em http://revistas.ufg.br/index.php/fen/article/view/757. Franciscato F, Ribeiro OS, Mozzaquatro PM, Medina RD. Avaliação dos ambientes virtuais de aprendizagem Moodle, TelEduc e Tidia-Ae: um estudo comparativo. [citado em 03 mai 2013]. Revista Novas Tecnologias na Educação. dez 2008; 6(2). Disponível em:http://seer.ufrgs.br/renote/article/view/14509.pdf. Garcia J. Avaliação e aprendizagem na educação superior. Est Aval Educ. Mai/ago 2009; 20(43). Goldberg L, Lide B, Lowry S, Massett HA, O’Connell T, Preece J, et al. Usability and accessibility in consumer health informatics current trends and future challenges. Am J Prev Med. 2011; 40(5S2):S187-S197. Goldwasser RS. A prova prática no processo de seleção do concurso de residência médica. Rev Bras Edu Med. 2006; 30:115-124. Hernandez CC, Carrare APGD, Silveira IF, Longui CA, Kochi C. Avaliação da aprendizagem em medicina baseada em casos clínicos: proposta de um ambiente dedicado. In: Anais do Congresso Brasileiro de Informática na Educação – Workshop sobre Avaliação e Acompanhamento da Aprendizagem em Ambientes Virtuais. 2012; Rio de Janeiro. Disponível em: http://www.br-ie.org/pub/index.php/ wcbie/article/view/1948. Hooper RJL, O’Connor J, Cheesmar R. Clinical case-based multimedia tutorials as a solution to some problems facing medical education. Clin Chim Acta. 1998; 270:65-74. Hoyle S, Peres SC, Bruton K, Gutierrez T. Usability of an interactive educational website for statistics. Proceedings of the Human Factors and Ergonomics Society Annual Meeting. Dez 2012; 56:1827-1831. Jiménez C, Rusu C, Rusu V, Roncagliolo S, Inostroza R. Formal Specification of Usability Heuristics: How Convenient It Is?. In: Proceedings of the 2nd international workshop on Evidential assessment of software technologies (EAST'12). Set 2012; 55-60, New York. Kemp EA, Thompson AJ, Johnson RS. Interface evaluation for invisibility and ubiquity: an example from e-learning. In: Proceedings of the 9th ACM SIGCHI New Zealand Chapter's International Conference on Human-Computer Interaction: Design Centered HCI (CHINZ '08). 2008; 31-38, New York. Kim S, Phillips WR, Pinsky L, Brock D, Phillips K, Keary J. A conceptual framework for developing teaching cases: a review and synthesis of the literature across

Page 164: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

155

disciplines. Med Educ. 2006; 40(9):867-76. Langendyk V. Not knowing that they do not know: self-assessment accuracy of third-year medical students. Med Educ. Fev 2006; 40(2):173-9. Liu G-Z, Liu Z-H, Hwang G-J. Developing multi-dimensional evaluation criteria for English learning websites with university students and professors. Computers & Education. Jan 2011; 56:65–79. Losekann A, Hertzog HM, Basso LO, Cardoso M, Bitencourt R, Camozzato Filho P, et al. MedCase – uma ferramenta online para estudo de casos clínicos. Rev Scientia Medica. Out/dez 2007; 17(4):184-191. Luckesi CC. Avaliação da aprendizagem escolar. São Paulo: Cortez. 2006. p. 60-84. MedCC. [online]. Tutorial para criação da prova. [citado em 22 abr 2013]. Disponível em: http://www.clinicalcaselearning.com/tutorial.pdf. Megale L, Gontijo ED, Motta JAC. Avaliação de Competência Clínica em Estudantes de Medicina pelo Miniexercício Clínico Avaliativo (Miniex). Revista Brasileira de Educação Médica, 2009; 33(2):166–175. Minocha S, Hardy CL. Designing navigation and wayfinding in 3D virtual learning spaces. In: Proceedings of the 23rd Australian Computer-Human Interaction Conference (OzCHI '11). 2011; 211-220, New York. Moodle. [online]. Filosofia do Moodle. [Citado em 22 abr 2013]. Disponível em: http://docs.moodle.org/all/pt_br/Filosofia_do_Moodle. Moodle. [online]. Sobre o Moodle. [Citado em 22 abr 2013]. Disponível em: http://moodle.org/about/. Moodle. [online]. Estatísticas Moodle. [Citado em 13 fev 2014]. Disponível em: https://moodle.org/stats/. Moraes DAF. Prova: instrumento avaliativo a serviço da regulação do ensino e da aprendizagem. Est Aval Educ. Mai/ago 2011; 22(49):233-58. NIED. [online]. TelEduc. [Citado em 16 out 2013]. Universidade Estadual de Campinas. Disponível em: http://fenix.nied.unicamp.br/~teleduc4/pagina_inicial/ estrutura.php. Nielsen J. Usability engineering. San Francisco: Morgan Kaufmann; 1993, 362p. Nielsen J. Usability inspection methods. In: Proceeding CHI '94 Conference Companion on Human Factors in Computing Systems, 24-28 abr 1994; Boston. Nielsen J. 10 Usability heuristics for user interface design. 1995. [Citado em 23 set 2013]. Disponível em: http://www.nngroup.com/articles/ten-usability-heuristics/.

Page 165: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

156

Nielsen J. Usability 101: introduction to usability. 2012. [Citado em 19 set 2013]. Disponível em: http://www.nngroup.com/articles/usability-101-introduction-to-usability/. Nordquist J, Sundberg K, Johansson L, Sandelin K, Nordenström J. Case-based learning in surgery: lessons learned. World J Surg. 2012; 36:945–55. Oliveira KL, Santos AAA. Avaliação da aprendizagem na universidade. Psicol Esc Educ. 2005; 9:37-46. Otsuka JL, Rocha HV. Avaliação formativa em ambientes de EAD uma proposta de suporte tecnológico e conceitual. Rev Bras Inf Educ. Mai/ago 2005; 13(2):33-41. Pereira ATC, Schmitt V, Dias MRAC. Ambientes virtuais de aprendizagem. In: Pereira ATC. Ambientes virtuais de aprendizagem em diferentes contextos. Rio de Janeiro: Ciência Moderna, 2007. p. 2-22. Perrenoud P. Avaliação: da excelência a regulação das aprendizagens – entre duas lógicas. Tradução de Patrícia Chittoni Ramos. Porto Alegre: Artes Médicas Sul, 1999. p. 65-85. Pimentel EP, Braga JC, Omar N. Analysis of Tools for Learning Assessment and Tracking in Distance Education. In: Proceeding of Informing Science & IT Education Conference (InSITE), 493-504 jun 2012; Montréal. Disponível em: http:// proceedings.informingscience.org/InSITE2012/InSITE12p493-504Pimentel0134.pdf. Pinto VC, Costa TM, Grottone GT, Schor P, Pisa IT. Avaliação de um programa para computador de mão no auxílio ao ensino de oftalmologia para estudantes de medicina. Rev bras oftalmol. [periódico online]. Dez 2010; [Citado em 07 ago 2013]. 69(6):352-60. Disponível em: http://www.scielo.br/scielo.php?script=sci_arttex t&pid= S0034-72802010000600002&lng=en.http://dx.doi.org/10.1590/S0034-728020 10000600002. Porto CC, Porto AL. Exame clínico. Rio de Janeiro: Guanabara Koogan, 2013. p. 36-48. Punhagui GC, Souza NA. Avaliar para aprender: a construção de uma realidade. Est Aval Educ. Mai/ago 2011; 22(49):209-32. Querido G. Tutorial do Hot Potatoes 6. [Citado em 16 out 2013]. Disponível em: http://guida.querido.net/ hotpot/tutorial-pt.htm. Rocha HV, Baranauskas MCC. Design e avaliação de interfaces humano-computador. Campinas: NIED/UNICAMP, 2003. 244 p. Savaris RF. Avaliação formativa entre alunos de medicina do quarto ano: relato de experiência. Rev Bras Educ Med. 2009; 33:111-15. Saviani D. As concepções pedagógicas na história da educação brasileira. In: Lombardi JC, Saviani D, Nascimento MIM. Navegando pela História da Educação

Page 166: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

157

Brasileira. [CD-ROM online]. [Citado em 08 mai. 2013]. Campinas: UNICAMP/HISTEDBR, 2006. Disponível em: http://www.histedbr.fae.unicamp.br/ navegando/artigos_frames/artigo_036.html. Sebastiani RL, Zago MK, Mantovani A, Bez MR, Bruno R, Dahmer A, et al. Ferramenta de autoria para construção de casos clínicos Interativos para educação médica. In: Anais do XXXII Congresso da Sociedade Brasileira de Computação – XII Workshop de Informática Médica. 2012; Curitiba. Serapompa MT. Avaliação da aprendizagem escolar. Rev CEFAC. 1999; 1(2):86-91. Segers M, Martens R, Van den Bossche P. Understanding how a case-based assessment instrument influences student teachers learning approaches. Teach Teach Educ. 2008; 24:1751–64. Silva M, Santos E. Avaliação da aprendizagem em educação online. São Paulo: Loyola, 2006, 537 p. Silva NK, Dietrich JE, Young AE. Pediatric and adolescent gynecology learned via a web-based computerized case series. J Pediatr Adolesc Gynecol. Abr 2010; 23(2):111-5. Sim G, Horton M, Strong S. Interfaces for online assessment: friend or foe?. In: 7th HCI Educators Workshop. 2004; Preston. Sim G, Read JC, Holifield P, Brown M. Heuristic Evaluations of Computer Assisted Assessment Environments. In: World Conference on Educational Multimedia, Hypermedia and Telecommunications. 2007; Vancouver. Sim G, Read JC, Holifield P. Heuristics for evaluating the usability of CAA applications. In: Khandia, F. (ed.). 12th CAA International Computer Assisted Assessment Conference: Proceedings of the Conference on 8th and 9th July 2008 at Loughborough University. Loughborough: Loughborough University, 2008; 283-294. Sordi MRL. Problematizando o papel da avaliação de aprendizagem. Revista de Educação PUC-Campinas. 2000; (9):52-61. Sousa AP, Heinisch RH. Estudo sobre a avaliação aplicada no internato em clínica médica da Unisul. Rev Bras Educ Med. 2012; 36(1):68-76. Srinivasan M, Wilkes M, Stevenson F, Nguyen T, Slavin S. Comparing problem-based learning with case-based learning: effects of a major curricular shift at two institutions. Acad Med. Jan 2007; 82(1):74-82. Struyven K, Dochy F, Janssens S, Gielen S. Students’ experiences with contrasting learning environments: The added value of students’ perceptions. Learning Environ Res. 2008; 11:83-109. Schuwirth L, Gorter S, Van Der Heijde D, Rethans JJ, Brauer J, Houben H, et al. The role of a computerised case-based testing procedure in practice performance

Page 167: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

158

assessment. Adv Health Sci Edu. 2005; 10:145-55. Tomlein M. [online]. iTest documentation. [Citado em 16 out 2013]. Disponível em: http://itest.sourceforge.net/documentation/index.shtml. Valiati ERA. Avaliação de usabilidade de técnicas de visualização de informações multidimensionais. Tese (doutorado). Porto Alegre: Universidade Federal do Rio Grande do Sul; 2008. Zeferino AMB, Passeri SMRR. Avaliação da aprendizagem do estudante. Cadernos ABEM. out 2007; 3:39-43.

Page 168: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

159

Fontes Consultadas

Faculdade de Ciências Médicas da Santa Casa de São Paulo. Normalização para Apresentação de Dissertações e Teses. São Paulo, 2004.

Page 169: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

160

Resumo

A avaliação é parte importante do processo de ensino e aprendizagem, pois

permite acompanhar como está o desenvolvimento do aluno, independente do nível

de ensino. Na educação em saúde um dos métodos que vem sendo utilizado é a

avaliação baseada em casos clínicos, que permite verificar o desenvolvimento do

aluno de maneira mais ampla, mas o processo de elaboração e realização da

avaliação neste formato é oneroso tanto para o aluno como para o professor. Neste

sentido, o uso de sistemas eletrônicos para avaliação da aprendizagem baseada em

casos clínicos podem colaborar para otimizar esta tarefa, mais para isso eles

precisam atender ao usuário satisfatoriamente, oferecendo uma interação fácil e

eficiente. Estes aspectos do sistema estão associados a interface que determina

como acontece a comunicação entre eles. Portanto o objetivo deste estudo foi

propor um conjunto de heurísticas de usabilidade especializadas para os sistemas

eletrônicos de avaliação da aprendizagem baseada em casos clínicos e validá-la por

meio de avaliação heurística do sistema Medical Clinical Case (MedCC). Para tanto,

(1) foi realizada revisão de literatura sobre avaliação da aprendizagem, tratando

mais especificamente da baseada em casos clínicos e revisão sistemática para

conhecer o estado da arte em definição de heurísticas para avaliação da

aprendizagem; (2) foram analisados os recursos avaliativos de dois AVAs (Moodle e

Blackboard) para identificar características positivas e negativas relacionadas à

usabilidade; (3) foram analisadas as heurísticas de Nielsen (1995) considerando as

necessidades da avaliação da aprendizagem. A partir de análise dos resultados das

etapas anteriores foram definidas 22 heurísticas especializadas, as quais foram

validadas através da realização de avaliação heurística por sete especialistas em

IHC no sistema Medical Clinical Case (MedCC), eles apontaram 194 problemas,

sendo 135 na interface do professor e 64 na do aluno. Os resultados mostraram que

a interface do aluno teve mais indicações de heurísticas do Nielsen, considera-se

que este resultado se deve ao fato delas tratarem de aspectos mais generalizados

nos sistemas e os grau de severidade mais indicado foi o 3, em contrapartida na

interface do professor, que é mais especializada, as indicações tenderam mais para

as heurísticas propostas e os graus de severidade mais associados foram o 4 e 5,

sendo os mais graves. Este estudo definiu 22 heurísticas especializadas e realizou

Page 170: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

161

avaliação heurística no sistema MedCC utilizando-as, identificando no mesmo,

graves problemas de usabilidade. Além disso, concluiu que pela dificuldade em

encontrar especialistas em IHC que tenham conhecimento do domínio de aplicação

dos sistemas, é importante a definição de heurísticas especializada para direcionar a

avaliação de usabilidade.

Palavras-chaves: Interface usuário-computador, Sistemas de computação,

Educação médica, Avaliação educacional/métodos; Aprendizagem.

Page 171: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

162

Abstract

The assessment is important portion in the teaching and learning process, it

allows to follow the development of the student, regardless of education level. In

health education, one method that has been used is the clinical case-based

assessment, which allows to check the student's development more broadly, but the

process of elaboration and implementation of the assessment in this format is costly

for both, student and teacher. In this case, the use of electronic systems for the

clinical case-based learning assessment can collaborate to optimize this task, but for

this they need to meet the user well, providing an easy and efficient interaction.

These aspects of the system are associated with the interface, because it determines

how communication happens between them. Therefore the aim of this study was to

propose a set of heuristics for the usability of specialized clinical case-based learning

assessment electronic systems and validate it through heuristic evaluation in system

Medical Clinical Case (MedCC). For this purpose, (1) review the literature on learning

assessment was performed, treating more specifically the clinical case-based and

systematic review to know the state of the art in defining heuristics for learning

assessment; (2) the evaluative resources of two VLEs (Moodle and Blackboard) were

analyzed to identify positive and negative characteristics related to usability; (3) the

heuristics of Nielsen (1995) considering the needs of the learning assessment were

analyzed. From analysis of the results of the previous steps 22 specialized heuristics

have been defined, which were validated by performing heuristic evaluation for seven

experts in the HCI in system Medical Clinical Case (MedCC), they pointed out the

total of 194 problems, 135 in the teacher's interface and 64 in the student. The

results showed that the interface of the student had more indications of Nielsen's

heuristics, it is considered that this result is due to the fact that they treat more

general aspects of the systems and the degree of severity was the most suitable 3.

However in the interface teacher who is more specialized, the indications were more

likely to heuristics and degrees of severity were associated more 4 and 5 being the

most severe. This study defined 22 specialized heuristics and heuristic evaluation

conducted on the MedCC system using them, identifying the same, serious usability

problems. Moreover, it concluded that the difficulty in finding experts who have

knowledge of HCI scope of the systems, it is important to define specialized

Page 172: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

163

heuristics to direct the usability evaluation.

Keywords: User-computer interface; Computer systems; Education, medical;

Educational measurement/methods; Learning.

Page 173: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

164

Listas e Apêndices

Lista de figuras

FIGURA 1: EXEMPLO DE ETAPAS DE REALIZAÇÃO DA AVALIAÇÃO BASEADA EM CASOS CLÍNICOS. ................... 9

FIGURA 2: EXEMPLO DA PRIMEIRA PARTE DA QUESTÃO COMPOSTA ........................................................... 42

FIGURA 3: EXEMPLO DA SEGUNDA PARTE DA QUESTÃO COMPOSTA ......................................................... 42

FIGURA 4: EXEMPLO DA QUESTÃO CORRESPONDÊNCIA ........................................................................... 43

FIGURA 5: EXEMPLO DA QUESTÃO DIRETA .............................................................................................. 43

FIGURA 6: EXEMPLO DA QUESTÃO ESCOLHA MÚLTIPLA ............................................................................ 43

FIGURA 7: EXEMPLO DA QUESTÃO ESCOLHA ÚNICA ................................................................................. 44

FIGURA 8: EXEMPLO DA QUESTÃO FALSO/VERDADEIRO ........................................................................... 44

FIGURA 9: EXEMPLO DA QUESTÃO MEDICAMENTO ................................................................................... 44

FIGURA 10: EXEMPLO DA QUESTÃO PRIORIDADE .................................................................................... 45

FIGURA 11: EXEMPLO DA QUESTÃO SUB-QUESTÕES ............................................................................... 45

FIGURA 12: EXEMPLO DA QUESTÃO ÚNICA ............................................................................................. 45

FIGURA 13: ACESSO AO CADASTRO NO SITE ........................................................................................... 46

FIGURA 14: INSCRIÇÃO E ACESSO A PROVA ............................................................................................. 46

FIGURA 15: APRESENTAÇÃO INICIAL DA PROVA, EXEMPLIFICADA COM CASO CLÍNICO ................................. 47

FIGURA 16: APRESENTAÇÃO SEQUENCIAL DAS QUESTÕES DURANTE A REALIZAÇÃO DA PROVA, PERMITINDO

VISUALIZAÇÃO MAS NÃO EDIÇÃO DAS QUESTÕES PREVIAMENTE RESPONDIDAS .................................... 47

FIGURA 17: DEFINIÇÃO DA PROVA .......................................................................................................... 48

FIGURA 18: DEFINIÇÃO DA DESCRIÇÃO DA PROVA ................................................................................... 49

FIGURA 19: ESCOLHA DO TIPO DE QUESTÃO ........................................................................................... 49

FIGURA 20: CRIAÇÃO DA QUESTÃO ESCOLHA ÚNICA ............................................................................... 50

FIGURA 21: TELA DO BANCO DE QUESTÕES ............................................................................................. 50

FIGURA 22: ESCOLHA DAS QUESTÕES DA PROVA..................................................................................... 51

FIGURA 23: ATRIBUIÇÃO DE PONTUAÇÃO ÀS QUESTÕES DA PROVA ........................................................... 51

FIGURA 24: RELATÓRIO ESTATÍSTICA POR PROVA ................................................................................... 52

FIGURA 25: GRÁFICO DA FREQUÊNCIA DE ATENDIMENTO DAS HEURÍSTICAS DE NIELSEN (1995) PELAS

CARACTERÍSTICAS E RECURSOS POSITIVOS DO AVAS ....................................................................... 57

FIGURA 26: GRÁFICO DE FREQUÊNCIA DE VIOLAÇÃO DAS HEURÍSTICAS DE NIELSEN (1995) PELAS

CARACTERÍSTICAS E RECURSOS NEGATIVOS DO AVAS. ..................................................................... 61

FIGURA 27: HEURÍSTICAS ESPECIALIZADAS APRESENTADAS JUNTO COM AS DE NIELSEN (1995) ................ 64

FIGURA 28: GRÁFICO DOS GRAUS DE SEVERIDADE ASSOCIADOS ÀS HEURÍSTICA DE NIELSEN (1995) E ÀS

ESPECIALIZADAS NA INTERFACE DO PROFESSOR ............................................................................... 81

FIGURA 29: GRÁFICO DOS GRAUS DE SEVERIDADE ASSOCIADOS ÀS HEURÍSTICA DE NIELSEN (1995) E ÀS

Page 174: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

165

ESPECIALIZADAS NA INTERFACE DO ALUNO ....................................................................................... 81

FIGURA 30: GRÁFICO DA FREQUÊNCIA DE VIOLAÇÃO, INTERFACE DO PROFESSOR, DAS HEURÍSTICAS ......... 82

FIGURA 31: GRÁFICO DA FREQUÊNCIA DE VIOLAÇÃO, NA INTERFACE DO PROFESSOR, DAS HEURÍSTICAS .... 82

FIGURA 32: GRÁFICO DA FREQUÊNCIA DE VIOLAÇÃO, NA INTERFACE DO PROFESSOR, DAS HEURÍSTICAS

ESPECIALIZADAS ............................................................................................................................. 83

FIGURA 33: GRÁFICO DA FREQUÊNCIA DE VIOLAÇÃO, NA INTERFACE DO PROFESSOR, DAS HEURÍSTICAS

ESPECIALIZADAS EM CADA GRAU DE SEVERIDADE .............................................................................. 84

FIGURA 34: GRÁFICO DA FREQUÊNCIA DE VIOLAÇÃO, NA INTERFACE DO ALUNO, DAS HEURÍSTICAS ............ 84

FIGURA 35: GRÁFICO DA FREQUÊNCIA DE VIOLAÇÃO, NA INTERFACE DO ALUNO, DAS HEURÍSTICAS DE

NIELSEN (1995) EM CADA GRAU DE SEVERIDADE .............................................................................. 85

FIGURA 36: GRÁFICO DA FREQUÊNCIA DE VIOLAÇÃO, NA INTERFACE DO ALUNO, ....................................... 85

FIGURA 37: GRÁFICO DA FREQUÊNCIA DE VIOLAÇÃO, NA INTERFACE DO ALUNO, DAS HEURÍSTICAS

ESPECIALIZADAS EM CADA GRAU DE SEVERIDADE .............................................................................. 86

FIGURA 38: GRÁFICO DE VIOLAÇÕES DAS HEURÍSTICAS ESPECIALIZADAS COMPARADAS ÀS DE NIELSEN

(1995).......................................................................................................................................... 100

Page 175: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

166

Lista de quadros

QUADRO 1: INSTRUMENTOS DE AVALIAÇÃO INDICADOS NA LITERATURA ...................................................... 6

QUADRO 2: COMPOSIÇÃO DE UM CASO CLÍNICO ........................................................................................ 8

QUADRO 3: REPRESENTAÇÃO DOS INSTRUMENTOS AVALIATIVOS EM MEIOS ELETRÔNICOS PARA AVALIAÇÃO

DA APRENDIZAGEM .......................................................................................................................... 11

QUADRO 4: TIPOS DE QUESTÕES OFERECIDAS PELO MOODLE ................................................................. 15

QUADRO 5: TIPOS DE QUESTÕES OFERECIDAS PELO BLACKBOARD® ....................................................... 17

QUADRO 6: TIPOS DE QUESTÕES OFERECIDAS PELO MEDCC .................................................................. 19

QUADRO 7: EXEMPLO DE PROPOSTA DE GUIDELINE (ADAPTADO DE BASTIEN E SCAPIN, 2006) .................. 25

QUADRO 8: SÍNTESE DOS ESTUDOS ENCONTRADOS NA REVISÃO SISTEMÁTICA ......................................... 29

QUADRO 9: ESTRUTURA DE FORMALIZAÇÃO DAS HEURÍSTICAS ESPECIALIZADAS ....................................... 39

QUADRO 10: AVALIADORES, SUAS FORMAÇÕES E ÁREAS DE ATUAÇÃO ..................................................... 40

QUADRO 11: COMPARAÇÃO ENTRE AS ABORDAGEM DOS ESTUDOS .......................................................... 87

QUADRO 12: OBJETIVIDADE DAS HEURÍSTICAS DE NIELSEN (1995) PARA OS RECURSOS E CARACTERÍSTICAS

POSITIVAS IDENTIFICADAS NA ANÁLISE DOS AVAS. ............................................................................ 89

QUADRO 13: OBJETIVIDADE DAS HEURÍSTICAS DE NIELSEN (1995) PARA AS CARACTERÍSTICA E RECURSOS

NEGATIVOS IDENTIFICADOS NA ANÁLISE DOS AVAS. .......................................................................... 90

QUADRO 14: COMPARAÇÃO ENTRE AS METODOLOGIAS UTILIZADAS PELOS ESTUDOS PARA OBTENÇÃO DE

HEURÍSTICAS E GUIDELINES ............................................................................................................. 92

Page 176: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

167

Lista de tabelas

TABELA 1: RESULTADOS DA PESQUISA NA BASE DE DADOS PUBMED, SCOPUS E SCIENCEDIRECT. ............ 27

TABELA 2: RESULTADOS DA PESQUISA NA BASE DE DADOS DA ACM E WEB OF SCIENCE. .......................... 28

Page 177: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

168

Apêndice 1: Termo de consentimento livre e esclarecido

Page 178: Heurísticas de Usabilidade para Sistemas Eletrônicos de Avaliação

169

Apêndice 2: Parecer do Comitê de Ética em Pesquisa