técnicas para avaliação de...

1

Técnicas para Avaliação de Interfaces

Interação Humano Computador

Prof. Jorge [email protected]

www.twitter.com/jorgecav

Universidade Federal do Vale do São Francisco Universidade Federal do Vale do São Francisco -- UNIVASFUNIVASFColegiado de Engenharia de ComputaçãoColegiado de Engenharia de Computação


Técnicas de avaliação

• Existem diversas técnicas de avaliação e que podem ser classificadas de várias maneiras. Vamos examinar as seguintes:– Observação de usuários

– Opinião de usuários

– Opinião de especialistas

– Teste de desempenho dos usuários

– Modelagem do desempenho das tarefas dos usuários, para prever a eficácia de uma interface.

2


1 - Observação dos usuários

• Envolve ver e ouvir os usuários. Observá-los interagindo com softwares, mesmo que casualmente, pode dizer muita coisa sobre o que fazem, o contexto em que estão, como a tecnologia os apóia e outros suportes.

• Usuários podem ser observados em condições controladas de laboratório (testes de usabilidade) ou em ambientes naturais (estudos de campo).


Metas, questões e paradigmas

• Metas e questões proporcionam o foco da observação, por exemplo identificar ou confirmar os objetivos da usabilidade.

• Independente do paradigma adotado, deve-se buscar um equilíbrio entre o guiado pelas metas e estar aberto a modificar, moldar e redirecionar o estudo, conforme se aumenta a experiência.

• Observar é algo útil em qualquer momento do desenvolvimento.

3


Como observar

• Ferramentas básicas de coletas de dados (observação direta, anotações, vídeos etc).

• Em laboratório, a ênfase está nos detalhes do que os usuários fazem.

• No campo, o contexto é importante e o foco está em como as pessoas interagem umas com as outras, com a tecnologia e com o seu ambiente.

• Em ambientes controlados, testes com os equipamentos e sistemas de coleta devem ser feitos antecipadamente, para que tudo ocorra sem transtornos.

• Em campo, os eventos da observação podem ser complexos e mudarem rapidamente.

– Os avaliadores devem contar com um frameworkpara melhor guiá-los, mantendo as metas e questões.

– Esses frameworks são úteis também para organizar a observação e a coleta de dados. (Exemplos na pag 388 – Livro Texto)


Como observar• Técnica de “pensar em voz alta” (Erikson e Simon, 1985) – As pessoas

devem dizer alto o que estão pensando e tentando fazer, de modo a exteriorizar seus processos de raciocínio.

– Um silêncio momentâneo pode indicar que o mesmo cometeu um erro ou está com uma dúvida relevante.

• A etnografia é uma metodologia que utiliza técnicas que inclui observação participativa e entrevistas. Há uma imersão na cultura de quem se está observando.

• Uma combinação de registros em vídeo, áudio, papel, logs de interação e diários pode ser usada para coletar os dados das observações.

• Analisar logs de vídeo e dados pode ser difícil, em razão do grande volume de dados. É importante ter as questões claramente especificadas, a fim de orientar o processo e também acessar as ferramentas apropriadas.

• Os avaliadores marcam os eventos em tempo real e os analisam com detalhes posteriormente.

4


2 – Perguntando a usuários e especialistas

• As entrevistas e questionários constituem técnicas bem estabelecidas de pesquisas;

• Podem ser utilizadas em avaliações “rápidas e sujas”, testes de usabilidade e estudos de campo;

• Podem ser estruturadas (como o estudo de caso HuchWord) ou mais flexíveis (discussão);

• Os questionários destinam-se mais a coletar resposta a questões específicas, obtendo mais dados quantitativos;

• As entrevista são usadas para explorar questões, obtendo mais dados qualitativos que quantitativos.

• As formas e detalhes destes processos são os mesmos para a coleta de requisitos (slide Métodos).


Analisando dados• Identificar tendências ou padrões nas respostas. Uma

planilha pode ser útil;

• Em geral, são necessárias somente simples estatísticas, como o número ou percentual de respostas por categoria;

• Se o número de participantes é pequeno, deve-se fornecer valores reais. Para maiores quantidades, recomenda-se usar porcentagem;

• Gráficos podem ser usados para visualizações mais significativas.

• Ferramentas para questionários:– http://www.ucc.ie/hfrg/questionnaires/

• Software Usability Measurement Inventory (SUMI)

• Measuring the Usability of Multi-Media Systems (MUMMS)

• Website Analysis and MeasureMent Inventory (WAMMI)

5


Analisando dados• O Google (sempre eles) já incorporou uma ferramenta útil

de questionários ao Docs.– https://docs.google.com/support/bin/answer.py?answer=141062


Avaliação Heurística (Nielsen, 1994)

• Heurística: baseada em conhecimentos ou definiçõesprévias. Uma regra geral que descreve uma propriedadecomum em interfaces usáveis;

• Envolve pequeno conjunto de avaliadores, examinando ainterface e julgando suas características em face dereconhecidos princípios de usabilidade (heurísticas);

• Avaliadores, por experiência, estudam e observam ainterface;

• Não deve ser feita por um único avaliador;• Avaliadores não estarão usando o sistema de fato:

interfaces não implementadas;• Resultado: lista de problemas de usabilidade da interface

com referências aos princípios de usabilidade violados.

6


Avaliação Heurística (Nielsen, 1994)

• Metodologia:

– Sessão inicial: onde se diz aos especialistas o quefazer, através de um roteiro prévio;

– Período de avaliação: onde os especialistas percorrema interface usando as heurísticas como guia e relatamproblemas encontrados. Eles devem checar asinterfaces pelo menos duas vezes;

– Posteriormente, as listas de problemas dosavaliadores são consolidadas;

– Discussão final e resultados: equipe dedesenvolvimento e sugestões de re-design.


Questões focadas na avaliação heurística:

1.Visibilidade do status do sistema

• Refere-se ao fato do sistema manter os usuários informados sobre oque eles estão fazendo, com feedback imediato.

2.Compatibilidade entre o sistema e o mundo real

• O sistema deve utilizar a linguagem do usuário, com palavras, frasese conceitos familiares a ele, fazendo as informações aparecerem emordem lógica e natural, de acordo com as convenções do mundoreal

3.Liberdade e controle do usuário

• Estão relacionados à situação em que os usuários escolhem asfunções do sistema por engano e então necessitam de “uma saídade emergência” clara para sair do estado não desejado sem ter depercorrer um longo diálogo, ou seja, é necessário suporte a undo eredo.

7


Questões focadas na avaliação heurística:4. Consistência e padrões

• Referem-se ao fato de que os usuários não deveriam ter acesso à diferentes situações, palavras ou ações representando a mesma coisa. A interface deve ter convenções não ambíguas.

• A mesma operação deve ser apresentada na mesma localização e deve ser formatada/apresentada da mesma maneira para facilitar o reconhecimento.

5. Prevenção contra erros• O erros são as principais fontes de frustração, ineficiência e

ineficácia durante a utilização do sistema.

6. Reconhecimento em lugar de lembrança• Diz respeito à característica da interface de ter objetos, ações e

opções visíveis e coerentes, para que os usuários não tenhamque lembrar as informações entre os diálogos, ou seja, asinstruções de uso do sistema devem ser visíveis ou facilmenterecuperadas sempre que necessário.


Questões focadas na avaliação heurística:7. Flexibilidade e eficiência de uso (atalhos)

• Para usuários experientes executarem as operações mais rapidamente: abreviações, teclas de função, duplo clique no mouse, função de volta em sistemas hipertexto.

• Atalhos também servem para recuperar informações que estão numa profundidade na árvore navegacional a partir da interface principal.

8. Projeto minimalista e estético• Os diálogos não devem conter informações que são irrelevantes ou

raramente necessárias. Cada nova informação em um diálogo compete com as informações relevantes, diminuindo sua relativa visibilidade.

9. Auxiliar os usuários a reconhecer, diagnosticar e

recuperar-se de erros• As mensagens devem ser expressas em linguagem simples (sem

códigos), indicando o problema e sugerindo uma solução. Nãodevem culpar nem intimidar o usuário.

8


Questões focadas na avaliação heurística:

10. Ajuda e documentação

• Por melhor que seja a interface, pode ser necessário fornecer ajudae documentação. Qualquer informação deveria ser fácil de achar, eestar focalizada nas tarefas do usuário. Também deve estardisponível uma lista das etapas concretas a serem realizadas(informações breves).

Relação Nº Avaliadores e Problemas de Usabilidade Encontrados


3 – Testando e modelando usuários

• Testes de usabilidade constituem um aspecto fundamental do design da interação.

• Obter dados objetivos do desempenho dos usuários, para medir quanto um produto é usável no que diz respeito às metas de usabilidade.

• Baseiam-se na combinação de técnicas que incluem observação, entrevistas, questionários e testes com usuários.

• A modelagem é realizada para predizer a usabilidade, descrevendo o comportamento do usuário frente às interfaces.

9


Testando usuários

• Nos testes com usuários, mede-se o tempo em que usuários levam para realizar tarefas e o número e tipos de erros que cometem.

• Tipicamente, envolvem-se de 5 a 12 usuários nos testes.• Exemplo de um teste: Medline Plus (pg. 454)• Roteiro:

– Explicações iniciais e agradecimentos pela participação;– Tempo para exploração inicial;– Execução de tarefas, por ordem de dificuldades;– Observação dos usuários;– Aplicação de questionários;– Coleta de dados– Análise dos dados;– Conclusões e relatos das descobertas.


Testando usuários

• Deve-se assegurar as mesmas condições para todos os participantes.

• O teste é mais adequado para examinar protótipos ou sistemas funcionando.

• Algumas medidas quantitativas (pg 462):– Tempo para completar uma tarefa;– Número e tipos de erros por tarefa;– Número de erros por unidade de tempo;– Número de consultas à ajuda on-line ou manuais;– Número de usuários que completa a tarefa;– Número de usuários que cometem determinado erro;– Níveis mínimo, atual e desejável de desempenho.

10


Modelos Preditivos

O Porquê da Avaliação Preditiva

• Nenhuma empresa constrói um avião sem primeiro fazer uma análise de Engenharia para prever o seu desempenho.– O custo de construção e o risco de falhar são

muito elevados

• Do mesmo modo, o custo de construir uma interface e testá-la com vários utilizadores até descobrir todos os problemas é inaceitável.


Modelos Preditivos

• Permitem que se obtenham medidas de desempenho dos usuários sem ter que realmente testá-los.

• Útil em situações que é difícil a realização de testes com eles.

• Estimativas sobre como diferentes sistemas irão funcionar nos vários tipos de tarefas.

• Modelos têm sido utilizados para prever o desempenho do usuário quando se comparam diferentes aplicações e dispositivos.

• Os dois principais modelos são o GOMS e o KLM.

11


O Modelo GOMS (Goals, Operators, Methods e Selection rules)

• Desenvolvido no início dos anos 80 por Card et al.• Destinado a modelar o conhecimento e os processos cognitivos

envolvidos quando usuários interagem com sistemas.– Predizer o tempo das ações físicas e cognitivas associadas à forma correta

de realização de uma tarefa.

• Os objetivos (G) referem-se a um estágio em particular que o usuário pretende alcançar. (Ex.: encontrar um website sobre um assunto específico),

• Os operadores (O) referem-se aos processos cognitivos e às ações físicas que precisam ser realizadas para se atingir os objetivos. (Ex.: decidir qual ferramenta de busca, acessá-la e inserir os critérios de busca)

• Os métodos (M) são procedimentos aprendidos para a realização de objetivos. É a exata seqüência dos passos exigidos. (Ex.: arrastar o mouse para um ponto, digitar a palavra-chave, pressionar o OK).

• As regras de seleção (S) são utilizadas para determinar que método selecionar quando houver mais de uma opção.


O Modelo GOMS (Goals, Operators, Methods e Selection rules)

• Aplicação do modelo: – Objetivo: deletar uma palavra em uma frase no word (pág 472,

Livro texto).

– Objetivo: votar para prefeito na urna eletrônica (pág 182, livro ergonomia e usabilidade).

– Exemplos de parâmetros (pág 182, livro ergonomia e usabilidade).

• Com base nos valores das tabelas de tempo e na descrição da tarefa, segundo o formalismo, é possível calcular os tempos prováveis para realização de uma tarefa.

12


O Modelo GOMS (exemplo Livro Ergonomia e Usabilidade,

Cybis et. Al, 2007)


O Modelo KLM (Keystroke Level Model, Card et al., 1983)

• Difere do GOMS pois fornece previsões numéricas reais do desempenho do usuário.

• As tarefas são comparadas pelo seu tempo de realização utilizando estratégias diferentes.

• Vantagem principal da previsão quantitativa reside no fato de se poder comparar recursos e verificar qual é o mais eficaz.

• Baseado em vários estudos empíricos do desempenho real dos usuários, obtendo-se um conjunto-padrão de tempos aproximados para os principais tipos de operadores.

• Ações físicas comuns podem ser dimensionadas.

13



• Principais tempos propostos pelo modelo:

Operador Descrição Tempo (s)

K Pressionar uma tecla ou botão 0,35

Digitador com prático (55 tpm) 0,22

Digitador Médio (40 tpm) 0,28

Usuário não familiarizado com o teclado 1,20

Pressionar a tecla shift ou control 0,08

P Apontar com o mouse ou outro dispositivo para um alvo 1,10

P1 Clicar o mouse ou dispositivo semelhante 0,20

H Retornar as mãos para o teclado 0,40

M Preparar-se mentalmente para fazer algo (ou decidir) 1,35

R (t)Tempo de resposta do sistema, contado apenas se faz com que o usuário tenha que esperar durante a realização da tarefa.

t



• O tempo previsto levado para executar uma dada tarefa é calculado descrevendo-se uma seqüência de ações e depois somando-se os tempos aproximados que cada uma levará:

Texecutar =TK + TP + TH+ TM + TR

• Exercício: Quanto tempo levará para incluir a palavra não, usando o MS Word, na frase: Correr nu pelas ruas (não) é normal.

– Preparar-se mentalmente (M) 1,35

– Pegar o mouse (H) 0,40

– Posicionar o mouse antes de “é”(P) 1,10

– Clicar com o mouse (P1) 0,20

– Mover as mãos de volta p/ o teclado(H) 0,40

– Preparar-se mentalmente (M) 1,35

– Digitar “n” (bom digitador) (K) 0,20

– Digitar “~” (bom digitador) (K) 0,20

– Digitar “a” (bom digitador) (K) 0,20

– Digitar “o” (bom digitador) (K) 0,20

– Digitar “espaço” (bom digitador) (K) 0,20

Tempo Total previsto 5,80

• Quando há muitos componentes a serem adicionados, é mais fácil pôr os mesmos tipos de operadores juntos. No exemplo, poderia reescrever os tempos assim:

2(M) + 2(H) + 1(P) + 1(P1) + 5(K) = 2,70 + 0,88 + 1,10 + 0,20+ 1 = 5,80

14


Vantagens e Limitações dos modelos preditivos

• Esse tipo de análise pode ser útil para comparar antecipadamente alternativas de interfaces, mesmo preservando seus limites.

• O seu valor está em permitir comparações de soluções.

• Rapidamente identificamos a solução mais rápida.

• Não é necessário construir sistema.

• Mais barato que testes com usuários.

• Limitações -Não leva em conta a mínima hesitação do usuário, erro ou incidente de interação. Trata-se de prever o tempo da interação perfeita.

• Previsões são apenas aproximações.


Calendário

• Assuntos restantes:– Usabilidade web – 28/06

– Usabilidade TV digital – 30/06

• Projeto Final– 30/06 a 08/07 – Orientação/Elaboração

– 12/07 – Apresentações.

técnicas para avaliação de...

Documents