introdução à avaliação de interfaces -...

1

Introdução à Avaliação de Interfaces

Interação Humano Computador

Prof. Jorge Cavalcanti

[email protected]

www.twitter.com/jorgecav

Universidade Federal do Vale do São Francisco Universidade Federal do Vale do São Francisco -- UNIVASFUNIVASF

Colegiado de Engenharia de ComputaçãoColegiado de Engenharia de Computação


Avaliação de Interfaces

• Processo sistemático de coleta de dados responsável por nos informar o modo como um determinado usuário ou grupo de usuários deve utilizar um produto em uma determinada tarefa;

• Faz parte do ciclo de desenvolvimento: design – avaliação –redesign;

• O design de interação exige que se saiba avaliar tipos diferentes de sistemas em estágios diferentes de desenvolvimento;

• Desenvolver sistemas neste processo acaba sendo mais barato do que consertar problemas depois do sistema entregue.

2



• O projeto e o design de sistemas são inerentemente criativos e imprevisíveis:

– São processos, não-hierárquicos, transformacionais e envolvem a descoberta de novos objetivos.

• … mas em todo domínio criativo pode haver disciplina, técnicas refinadas, métodos corretos e medidas de sucesso

• Os projetos de desenvolvimento também envolvem métodos de avaliação e usabilidade

• Neste sentido, engenheiros de usabilidade e arquitetos de interface do estão ganhando experiência em gerenciar as mudanças organizacionais, o que repercute em $.



• Usuários preferem sistemas que sejam fáceis de aprender e utilizar, assim com eficientes, eficazes e seguros (Preece et. al., 2007);

• Saber o que avaliar, a sua importância e quando avaliar são, portanto, tarefas fundamentais para designers de interação.

O Quê? Por q ue? Quando?

3


O quê, por que e quando?

• Grande variedade de produtos interativos com muitas características que necessitam ser avaliadas;

• Forte tendência a se observar e avaliar como as pessoas interagem com o sistema no trabalho, no lar e outros ambientes, embora a avaliação em laboratório seja bastante satisfatória;

• A avaliação é necessária para a certificação de que os usuários podem vir a utilizar o produto e apreciá-lo;

• Os usuários procuram cada vez mais produtos usáveis (NN Group);



• Tognazinni, outro bem sucedido consultor de usabilidade, afima:– “ O design interativo, com seu ciclo repetitivo de design e teste, é a

única metodologia validada existente que produzirá resultados bem-sucedidos com consistência. (www.asktog.com).

• Ele aponta 05 razões para se investir em testes com usuários:1. Problemas são consertados antes do produto ser lançado;

2. A equipe pode se concentrar em problemas reais e não imaginários;

3. Os engenheiros codificam, em vez de debater;

4. O tempo para que o produto entre no mercado é menor;

5. Após a entrega da primeira versão, o produto terá um design consistente, que poderá ser vendido sem que se tenha de se esperar a versão 1.1. ou 2.0.

4



• Correções em projetos em desenvolvimento;

• Revisões em produtos acabados;

• Definir a aceitação ou não, de projetos encomendados;

• Comparar o desempenho de softwares interativos.

• Constatar, observar e registrar problemas;

• Calcular métricas objetivas para eficácia, eficiência e produtividade;

• Diagnosticar as falhas do projeto que provavelmente atrapalhem a interação;

• Prever dificuldades de aprendizado na operação do sistema;

• Prever os tempos de execução de tarefas;

• Conhecer a opinião do usuário;

• Sugerir as ações de re-projeto.



• O produto que está sendo desenvolvido pode consistir em algo totalmente novo ou em uma atualização de algo já existente;

• Em caso de produto novo, as pesquisas de mercado são necessárias e os designers podem fornecer suporte a esse processo, a partir de maquetes dos produtos, para extrair reações dos usuários em potencial;

• Muitas das técnicas de elicitação de requisitos são usadas na coleta de opiniões sobre os produtos ( prototipação, entrevistas etc.);– O objetivo é saber se o design preenche as necessidades dos

usuários e se estes o apreciam.

5


Avaliação de usabilidade

• Porque a avaliação da usabilidade é tão importante?– Intuições de designers e desenvolvedores não estão sempre corretas

– Terminologia de designers e desenvolvedores nem sempre significa a mesma do usuário

– Pessoas diferem e não há um usuário médio

– Princípios de usabilidade e guidelines não são suficientes

– Feedback informal é inadequado para avaliações do produto

– Tempo, dinheiro e recursos gastos nas avaliações de usabilidade valem a pena

– Produtos construídos em pedaços sempre têm inconsistências de alto nível

– Problemas encontrados mais tarde no software são mais difíceis e caros de consertar

– Problemas consertados no processo de desenvolvimento reduzem os custos mais tarde

– Avaliações de usabilidade podem dar vantagens sobre produtos competitivos


Avaliação de usabilidade

• A ISO define usabilidade como “a efetividade, eficiência e

satisfação com a qual um conjunto específico de usuários

pode alcançar um conjunto específico de tarefas em um

ambiente particular”

• Os métodos de avaliação da interface e os testes de

usabilidade são muitos e seguem orientações teóricas

diversas

• Quando se deve parar de fazer um teste?

• Se a sessão não produziu feedback do usuário em novos

problemas.

6


Atividades

• Pense em exemplos dos seguintes sistemas e escreva as características que sejam importantes para cada um deles:

1. Um processador de textos

2. Um telefone celular

3. Um website que vende roupas

• Faça a leitura do estudo de caso do HutchWorld(10.3, a partir da pag 344 do Livro Texto) e anote os principais tópicos do processo de avaliação da interface.


O Caso HutchWorld

• HutchWord é uma

comunidade virtual que

permite a pacientes com

câncer,auxiliares, familiares

e amigos conversem sobre

as doenças, experiências,

histórias etc.

• Ambiente deveria ser: útil,

envolvente, fácil de usar,

emocionalmente satisfatório

e, de um certo modo,

privado.

7


O Caso HutchWorld

• Início da avaliação:– Estudos informais e estudo de campo.

– Entendimento do funcionamento do hospital e das formas de

tratamento.

– Uso de entrevistas com os stakeholders.

– Observação das atividades diárias.

• Primeiros resultados:– Definição do ambiente distribuído

– Validaram o projeto (verificação por meio de estudos do núcleo do

problema)

– Design parecido com o Hall de entrada do local (conclusão usando

metáforas).

– Definição de comunicação síncrona (metáfora)

– Uso de avatares 3D.

– Ambiente interativo e parecido com um ‘jogo’.


O Caso HutchWorld

• Como foram realizados os testes?

• Dois conjuntos de testes– Teste 1: realizado no próprio ambiente do Hospital Fred

Hutchinson Center

– Teste 2: realizado nos laboratórios de usabilidade da

Microsoft

8


O Caso HutchWorld

• Teste 1– Uso de um protótipo nos computadores do hospital

– Treinamento e realização de fóruns.

– Observação do uso do sistema durante o dia.

• Resultados Teste 1– Testes com o chat do sistema mostrou déficit no número

de participantes, redefinição para uso de comunicação

assíncrona.

– Usuário costumavam ‘jogar’ e pesquisar sobre a doença,

funções não disponíveis originalmente.

– Re-projeto do sistema com nova forma de comunicação,

áreas de entretenimento e informação.


O Caso HutchWorld

9


O Caso HutchWorld

• Teste 2 (Teste de usabilidade)– Feito nos laboratórios de usabilidade da Microsoft

– Número de participantes pequeno, inicialmente com uso

livre do sistema.

– Depois do uso livre, execução de tarefas estruturadas.

– Preenchimento de questionários.

• Resultados do Teste 2– Problemas com a página de login (uso incorreto de palavras)

– Avaliação das tarefas estruturadas por meio de notas.

– Construção da “tabela de erros”.


O Caso HutchWorld

• Novo teste:

– Uso de múltiplos usuários

– Mais detalhados e com foco direcionado

• Finalização

– Testes com pacientes reais frente ao produto final

10


Questões Práticas na avaliação

• Questões abordadas pelos avaliadores:

– O que fazer quando não há muitos usuários?

– Como observar os usuários em seus ambientes naturais?

– Preciso ter equipamentos próprios?

– Como lidar com orçamentos e prazos pequenos?

– Como coletar dados “úteis”?


Definições importantes

• Avaliações quantitativas – Envolvem somente medidas;

• Avaliações qualitativas – Envolvem descrições e relatos;

• Avaliações objetivas – São baseadas em técnicas que utilizam medições quantitativas, em vez das opiniões dos usuários ou especialistas;

• Avaliações subjetivas – São baseadas em opiniões e relatos;

• Estudos de Laboratório – Ocorrem em ambientes controlados e preparados;

• Estudos de campo ou naturais – Estão situados no contexto do mundo real, no qual o sistema é ou será utilizado.

11


Paradigmas de avaliação

• Avaliação “rápida e suja” – obtenção de feedback

informal dos usuários e consultores, para

confirmar que as idéias dos designers estão de

acordo com as necessidades.

– Podem ser realizadas em qualquer estágio do projeto,

com ênfase na contribuição rápida e não em

descobertas documentadas;

– O termo rápida e suja é em razão de ter de ser realizada

em curto espaço de tempo;

– Bastante usada no web design.



• Testes de usabilidade – envolvem avaliar o desempenho dos usuários típicos na realização de tarefas cuidadosamente preparadas.

– O desempenho é avaliado no que diz respeito ao número de erros e ao tempo para completar a tarefa;

– Enquanto realizam as tarefas, os usuários são observados e filmados e suas interações são registradas por meio de softwares (cálculo do tempo e esclarecimentos posteriores);

– Questionários e entrevistas também são usados para elicitar opiniões dos usuários;

– Os testes são controlados pelo avaliador. Não há comunicação com terceiros. Todas as ações são registradas.

12



• Estudos de Campo – Realizados em ambientes

reais com o objetivo de aumentar o entendimento

do que os usuários fazem naturalmente e de como

a tecnologia causa impacto nessas atividades;

– Usados para (1) ajudar a identificar oportunidades de

uso de novas tecnologias, (2) determinar requisitos para

o design, (3) facilitar a introdução de um tecnologia e (4)

avaliar a tecnologia;

– Empregam técnicas qualitativas como entrevistas,

observação participativa e etnografia.



• Avaliação preditiva – Os especialistas

aplicam seu conhecimento a respeito de

usuários típicos, guiados por heurísticas,

visando prever problemas de usabilidade.

– Os usuários não precisam estar presentes, o que

torna o processo atrativo e barato;

– Novas heurísticas são necessárias para

avaliarem diferentes classes de produtos

interativos;

13


Características dos diferentes paradigmas de

avaliaçãoParadigma Rápida e suja Testes

UsabilidadeEstudos de

campoAvaliação preditiva

Papel dos usuários

Comportamento natural

Realizar um conjunto de tarefas

Comportamento natural

Não são envolvidos

Quem controla

Avaliadores (mínimo)

Avaliadores (máximo)

Avaliadores e usuários

Avaliadores experientes

Local Ambiente natural/laborat.

Laboratório Ambiente natural

Orientada a Laboratório, mas nas instal. Usuários

Quando é usado

A qualquer momento

Com um protótipo ou produto

Início do design, verificar necess.

Revisões especialistas, a qualquer momento

Tipos de dados

Geralmente qualitativos e informais

Quantitativos Qualitativos, com esboços, cenários etc.

Lista de problemas, dados quantitativos

Retorno para o design

Esboços, citações, relatórios

Relatório de desempenhos, de erros etc.

Descrições, citações, logs.

Problemas e sugestões, métricas

Filosofia Abordagem centrada no usuário, prática.

Abordagem aplicada, eng. Usabilidade.

Observação objetiva ou etnográfica

Heurísticas práticas e experiências dos profissionais


Técnicas de avaliação

• Existem diversas técnicas de avaliação e que podem ser classificadas de várias maneiras. Vamos examinar as seguintes:

– Observação de usuários

– Opinião de usuários

– Opinião de especialistas

– Teste de desempenho dos usuários

– Modelagem do desempenho das tarefas dos usuários, para prever a eficácia de uma interface.

14


Técnicas de avaliação - Observação de usuários

• Ajudam a identificar necessidades, levando

a novos tipos de produtos a avaliar

protótipos;

• Anotações, áudio, vídeo e logs de interação

são formas usuais da técnica;

• Desafios: como observar sem atrapalhar as

pessoas e como analisar o grande volume de

dados coletados;


Técnicas de avaliação – Opinião dos usuários

• Perguntar o que os usuários pensam a

respeito do produto – se realiza o que

querem; se apreciam; se é atraente; se

enfrentaram problemas ao utilizá-lo;

• Entrevistas e questionários são as principais

técnicas para fazê-la;

• Atingem diferentes faixas de público.

15


Técnicas de avaliação – Opinião dos

especialistas

• Inspiradas nas inspeções e revisões de software;

• Guiadas por heurísticas (conhecimentos ou

definições prévias), onde os especialistas

desempenham tarefas como se fossem usuários

típicos, identificando problemas;

• Abordagem mais rápida e relativamente mais

barata;

• Os especialistas sugerem soluções para os

problemas;


Técnicas de avaliação – Testes com usuários

• Ambientes controlados para que o

desempenho possa ser analisado;

• Tarefas típicas e bem definidas;

• Mede-se o tempo para realizar uma tarefa,

o número de erros cometidos e o caminho

mais comum na navegação do uso do

produto.

16


Técnicas de avaliação – Modelagem do

desempenho das tarefas

• Sem construir protótipos elaborados, tenta-se

prever a eficiência e os problemas associados ao

design, ainda em estágio preliminar;

• Bem aplicadas a sistemas com funcionalidades

limitadas;

• Modelos mais usados:• KLM (Keystroke Level Model)

– Predizer o tempo de interações físicas

• GOMS (Goals, Operators, Methods & Selection rules)

– Predizer o tempo total da interação (física e cognitiva) para

atingir objetivos.


Relação entre paradigmas e técnicas de

avaliaçãoParadigma

Técnica

Rápida e suja Testes Usabilidade Estudos de campo

Avaliação preditiva

Observar os usuários

Observar o comportamento do usuário nos ambientes naturais

Logs de vídeo e interação, para idt erros, rotas de uso ou calcular tempo de desempenho

Imprescindível para o estudo de campo

N/A

Perguntar aos usuários

Discussão individuais ou em grupo de foco.

Questionários de satisfação de usuários para coletar opiniões

O avaliador pode entrevistar ou discutir o que vê com os part.

N/A

Perguntar aos especialistas

Fornecer críticas da usabilidade de um protótipo

N/A N/A Os espec. usam heurísticas logo no início do design, para prever eficácia da interface.

Testes com usuários

N/A Testar usuários típicos na realização de tarefas típicas, em laboratório.

N/A N/A

Modelar o desempenho das tarefas

N/A N/A N/A Modelos utilizados para prever a eficácia ou comparar tempos.

17


Preparando a avaliação

• Avaliações bem planejadas são dirigidas por metas claras e perguntas adequadas.

• Check list para auxílio de avaliadores:

1. Determinar as metas que a avaliação irá abordar.

2. Explorar as questões específicas a serem respondidas.

3. Escolher o paradigma de avaliação e as técnicas de respostas para as perguntas.

4. Identificar questões práticas que devem ser abordadas, como a seleção dos participantes.

5. Decidir como lidar com questões éticas.

6. Avaliar, interpretar e apresentar os dados.

introdução à avaliação de interfaces -...

Documents