Avaliação comUtilizadores

Capítulo 10

HCI, Cap. 9,AlanDix

Interaction Design, Cap. 11-14,J. Preece

Transparências da disciplina de Interfaces Homem-MáquinaIST, Mário Rui Gomes e Joaquim Jorge

Resumo: aula anterior

Modelos para Avaliação PreditivaModelam interacção humana com o sistemaPermitem estimar tempos de interacçãoGOMS: Goals, Operators, Methods, Selection

Baseado em decomposição hierárquica

KLM: Keystroke-Level ModelOperações atómicas

Sumário

Avaliação com utilizadores

Local de avaliaçãoLaboratório ou local de trabalho

Métodos de AvaliaçãoObservaçãoInterrogaçãoMonitorização fisiológica

Avaliação de Usabilidade

Testa a usabilidade e funcionalidade do sistema

Métodos Analíticos:Avaliação Heurística (Avaliação por peritos)Avaliação Preditiva (Modelos): GOMS, CCT, KLM

Métodos Empíricos (Avaliação com utilizadores):Requer um protótipo funcional

O Ciclo Completo:

Análise deRequisitos

Desenhar

Prototipar

Avaliar-Modelo Conceptual

-Cenários de Actividade

Análise de tarefasCenários do problema

-PBF-Storyboards-Cenários de Interacção

-Aval. Heurística-Aval. Preditiva-Aval. c/ Utilizadores

O Porquê da Avaliação comUtilizadores? Só é possível dizer se

uma interface com outilizador é boa quando?Quando e só se for usada!

Outros métodosrecorrem a peritos.Problemas?Podem saber demaisPodem não saber o

suficiente sobre as tarefas

Conclusão: é difícil prevero que utilizadores reaisfazem

Testes com utilizadores

Envolve medir o desempenho de utilizadorestípicos realizando tarefas típicas

ObjectivoObter dados objectivos de quão usável o sistema é

Utiliza uma combinação de técnicasObservaçãoQuestionáriosEntrevistas

Condições dos testes

Escolher local dos testesLaboratório ou no ambiente de trabalho

Colocar algum cuidado naEscolha dos utilizadores representativosEscolha das tarefas para os testes

A realização das tarefas não deve exceder 1hora

Usar as mesmas condições para todos osparticipantes nos testes

Avaliação no laboratório

Utilizadores são levados para laboratório

Vantagens:Equipamento especializado disponível

Gravação de áudio e vídeo, Espelhos “transparentes”Ambiente sem interrupções e controlado

Desvantagens:Falta contexto (ruído de fundo, interrupções, etc.)Difícil observar vários utilizadores a cooperar

Apropriado paraSistemas que estarão localizados em sítios inacessíveis ou

perigosos (estações espaciais)

Avaliação no local de trabalho

Designers vão ao local de trabalho

Vantagens:Ambiente naturalCompreende-se o contexto (ruído de fundo e interrupções)Permite ver a interacção entre utilizadores

Desvantagens:Distracções e muito ruídoObservação mais difícil

Apropriado paraAvaliações onde o contexto é fundamental

Escolher participantes?

Representantes de potenciais utilizadoresConhecimento específico do trabalho / vocabulárioConhecimento das tarefas

Caso não consiga utilizadores reais, arranjaraproximaçõesSistema para médicos -> Usar estudantes de medicinaSistema para Eng. Informáticos -> Usar alunos da LEI

Usar incentivos à participação Quantos Utilizadores?

Depende do calendário de testes (tempo)Disponibilidade dos participantesCustos de realização dos testesTipicamente entre 5 a 10 utilizadores

Avaliar páginas web - nºutilizadores Assumindo que em média a tarefa leva 300 seg

10 utilizadores => 27% margem erro -> [219,381] 20 utilizadores=> 19% margem erro -> [243,357] 90% das vezes os valores obtidos estão no intervalo

http://www.useit.com/alertbox/quantitative_testing.html

Considerações éticas

Por vezes testes são muito stressantesUtilizadores abandonam em lágrimas por enganos

Tem que se garantir o aliviar desse stresseCriar ambiente calmo, permitir abertamente

interrupções nos testesClarificar que o que está em avaliação é o sistema,

não as pessoasGarantir a confidencialidade dos dados individuais

obtidos

Pode ser necessário obter autorizações

Métodos de avaliação comutilizadores Métodos de observação

Técnicas de interrogaçãoEntrevistasQuestionários

Métodos de monitorização fisiológicaEye trackingMedição de batimentos cardíacosCondutividade da pele

Técnicas de observação

Observar utilizador a realizar tarefas com osistema

MétodosObservaçãoPensar em voz altaMétodos de recolha de dados

Observação

Informalno campo

Formalem laboratóriotestes de usabilidade

Participativa“Envolver-se” com os utilizadores

Perspectiva EtnográficaInserção na “comunidade”

Observação directa

O observadortoma notas do comportamento do utilizadorregista o desempenho do utilizador

Técnica intrusiva e subjectivaDificuldades

o observador decide o que não é importanteo observador tem que contextualizar-se no ambiente

Observação indirecta

Naturezaregisto vídeosimultâneo com outros registos -teclas e/ou interacções

(opcional)

Dificuldadesa análise pode ser complexa e demoradadistanciamento dos utilizadores (perda de informação)requer planeamento prévio (localização das câmaras, etc.)

Pensar em Voz Alta

Ajuda a saber o que os utilizadores pensam para além doque fazem

Solicitar aos utilizadores que falem enquanto executamtarefasDigam o que estão a pensarDigam o que estão a tentar fazerDigam que problemas ocorrem enquanto estão a trabalharDigam o que estão a ler

Gravar ou tomar notas cuidadasDe forma a que seja possível reconstruir o que eles estavam a

fazer

Observação

Pensar em Voz Alta

Estimulem o utilizador a falar continuamenteOs silêncios causam problemas

observador tem que intervir (intrusivo) dois utilizadores falam entre si enquanto executam as tarefas (mais natural) “diga-me o que está pensar”

Ajudem apenas nos tópicos previamente decididos Registem qualquer auxílio que prestem

GravaçãoUsem um cronómetro Tomem notas

Se possível fazer registo áudio e vídeo

Observação

Pensar em voz alta

VantagensSimplicidade - não requer muita técnicaPode fornecer visões úteisPode mostrar como o sistema é usado

DesvantagensInformação (recolhida) subjectiva e selectivaPode dificultar a execução das tarefas

Observação

Métodos de recolha de dados

Papel e lápis Barato, mas limitado pela velocidade de escrita

Gravações áudio Bom para “pensar em voz alta”, mas difícil de sincronizar com outras

notas (ex. escritas)

Gravações vídeoVê-se o utilizador em acção, preciso e realista Intrusivo e necessita de equipamento especial

Recolha automática de dados pelo software Teclas pressionadas/acções desencadeadas (log) Registo das interacções (em tempo real) Barato, não intrusivo, mas difícil de analisar

Uso frequente de todas as opções combinadas (vídeo, áudio,teclas, interacções)

Observação

Exemplo de observação

Vídeo observação

Técnicas de interrogação

Recolha da visão subjectiva dos utilizadoresPerguntando directamente

Vantagens:Obtemos a visão do utilizador sobre o sistema (diferente da do

designer)Fácil e simples de gerir

MétodosEntrevistasQuestionários

Entrevistas

Conversa com utilizador baseada num conjunto deperguntas preparadas

Método informal, subjectivo e relativamente barato Vantagens

Pode ser guiada para se adaptar ao contextoPode explorar-se alguns assuntosPode identificar problemas não previstos

DesvantagensMuito subjectiva (depende do rumo)Consome muito tempo

Téc. interrogação

Entrevistas: recomendações

Tornem a entrevista agradável (estão a fazer-vos um favor)

Curtas, directas e sem perguntar muitoEnvolvam-se no trabalho tanto quanto possívelDescubram processos de trabalho escondidos

por detrás das palavrasConstruam interpretações e cenários; envolvam

os utilizadores na discussãoPeçam para rever as perguntas

Téc. interrogação

Questionários

Perguntas sem ambiguidades e definidas de início Pré-testar o questionário Tipos de perguntas

Fechadassim, não, não sabe/não respondeescalaordenação (explícita ou implícita)

Abertas

Téc. interrogação

Questionários

VantagensMais rápido de fazerPermite chegar a mais utilizadoresPode ser analisado com mais rigor (estatística)

DesvantagemMenos flexível -Só se obtêm respostas sobre o

questionadoProbabilidade de respostas

Téc. interrogação

Vídeo questionário

Métodos de monitorizaçãofisiológica

Eye tracking (seguimento do olhar)

Medidas fisiológicasBatimento cardíacoRespiraçãoCondutividade da pele (suor)

Eye tracking

Equipamento para seguir o olharMontado na cabeça ou na secretária

Movimento do olhar reflecte a quantidade deprocessamento cognitivo que um ecrã exige

As medições podem ser:Número e duração das fixações - indicam nível de

dificuldade com o ecrã apresentadoIdentificação dos caminhos seguidos pelo olhar até

aos alvos - Indica para onde as pessoas olham e comque frequência

Medidas fisiológicas

Respostas emocionais associadas a alterações físicasPodem ajudar a determinar a reacção do utilizador à interfaceSensores ligados ao utilizador

Medições podem ser:Actividade cardíaca(incluindo pressão arterial, batimentos) -

Stress ou irritaçãoActividade das glândulas sebáceas - esforço mental e excitaçãoActividade eléctrica nos músculos - envolvimento na tarefaActividade eléctrica no cérebro - tomada de decisões, atenção

e motivação

Alguma dificuldade em interpretar os sinais recebidoMais investigação

Avaliação de usabilidade

Avaliação HeurísticaRealizada por peritosPermite avaliar protótipos (PBFs)Também pode ser usada para avaliar produtos

Avaliação PreditivaUtiliza modelos do utilizador (GOMS, CCT, KLM)Estima desempenho na realização das tarefas

Avaliação com UtilizadoresRequer protótipo funcionalÉ realizada com utilizadores

Conclusões

Avaliação com utilizadoresLocalUtilizadoresMétodos de avaliação

Observação

InterrogaçãoMonitorização

Vídeos de exemplos de avaliaçãoComparação dos vários tipos de avaliação

Próxima aula

Avaliação de projectos