una testes - aula 07 e 08

Testes de Usabilidade / Marcello Cardoso

Teste de UsabilidadeTeste e Qualidade de Software

Marcello de Campos Cardoso | www.mcardoso.com.br | [email protected]

Observando a experiênciaTestes de Usabilidade

Friday, March 2, 12

http://www.mcardoso.com.br

http://www.mcardoso.com.br

mailto:[email protected]

mailto:[email protected]

http://edgarddavidson.com/?p=365

http://edgarddavidson.com/?p=365


Plano de curso1ª

2ª

3ª

4ª

5ª

6ª

7ª

8ª

Apresentação da disciplina e introdução à Testes de Usabilidade

Metas e princípios de design - Avaliação estratégica

Perguntando aos usuários: Questionários e entrevistas

Perguntando a especialistas: As 10 heurísticas de Nielsen

Avaliando tarefas do sistema com Percurso Cognitivo (PC)

Método de Inspeção Semiótica (MIS)

Observando a experiência: Testes de usabilidade (roteiro)

Observando a experiência: Testes de usabilidade (aplicação)

-10pts

15pts

15pts

15pts

15pts

15pts

15pts

Friday, March 2, 12

pesquisa

planejam

ento

desenvolvim

ento

validação


Ciclo de vida do produto

Personas

Benchm

arking Story

mapping

Etnografia digitalPrototipação

Análise Heurística

Teste de Usabilidade

Friday, March 2, 12


Onde aplicar?

Backlog do produto

Backlog do sprint

Reunião diária

Produto

potencialmente

“entregável”

pode ser aplicadaem protótipos ou

releases(lo/hi res)

Friday, March 2, 12


Análise Heurística

Testes com usuáriosvs

Friday, March 2, 12


DiferençasAnálise Heurística - preditivaBaseada na experiência/expectativas do especialista

Testes com usuários - empíricaBaseada na observação do comportamento

Friday, March 2, 12


SemelhançasSão técnicas analíticas, não gerativas (ideação) como storymapping ou cardsorting.

Friday, March 2, 12


INTRODUÇÃO

Friday, March 2, 12


Teste com usuários

Friday, March 2, 12


Teste com usuáriosA 1a regra do teste com usuários é: Você não fala do teste com usuários.

Friday, March 2, 12


Teste com usuáriosA 1a regra do teste com usuários é: Você não fala do teste com usuários.

A 2a regra do teste com usuários é: Você não fala do teste com usuários.

Friday, March 2, 12


Teste com usuáriosA palavra teste assusta

Friday, March 2, 12


Teste com usuáriosé o nome mais popular da técnica no mercado. mas o nome correto é

Teste de Usabilidade(para não intimidar o usuário nos referimos como “pesquisa” termo mais comum)

Friday, March 2, 12


sequência de uso

• Método empírico (envolve usuário)

• Principal objetivo: validar as soluções de interface

• Realizado com participantes com perfil do público-alvo

• Método: observação da interação do usuário com produto

• Resultado: descoberta de padrões e sugestão de melhorias.

O que é um teste de usabilidade?


Friday, March 2, 12


sequência de uso

• Avaliar o entendimento da Interface e dos fluxos projetados (modelos mentais)

• Identificar pontos críticos da interação (ruídos, dúvidas, rupturas)

• Entender a situação real de uso (validar demandas/requisitos)

• Comparar desempenho em produtos diferentes (benchmark/concorrência)

Pra que serve?


Friday, March 2, 12


Tipos de Teste de Usabilidadepor etapas do ciclo


Friday, March 2, 12


sequência de uso

Testes em protótipos de baixa fidelidade


Servem para testar conceitos e fluxos.

Devem ser feitos preferencialmente em papel

• Fáceis de criar e jogar fora

• Podem (e devem) ser feitos em escala real

• Podem conter anotações no próprio protótipo ("Este botão tinha de estar é aqui!")

Friday, March 2, 12


sequência de uso

Considerações sobre testes em baixa fidelidade


• Verificação limitada de erros

• “Uso” conduzido pelo facilitador

• Limitações de fluxos e navegações

• Rápido e barato (quick and dirty!)

Friday, March 2, 12


sequência de uso

Testes em releases


• Conceito do produto/serviço (elementos visuais dividem a atenção)

• Comparar designs alternativos (caro, melhor teste AB com funcionalidades específicas)

• Fluxo de tarefas

• Compreensão das metáforas visuais

• Satisfação no uso

• Desempenho

• Acessibilidade

Friday, March 2, 12


sequência de uso

Considerações sobre testes em alta fidelidade (releases)


• Demanda tempo para criação

• Custo de produção mais alto (maior risco)

• Uso mais próximo do real

• Mesmo look and feel do produto

Friday, March 2, 12


Tipos de Teste de Usabilidadepor ambientes


Friday, March 2, 12


sequência de uso

No ambiente do usuário (campo)


• "Mais barato"

• Usuário se sente mais à vontade

• Mais próximo do contexto de uso real

• Menor controle dos dados e variáveis

• Dificuldade de envolver o cliente (quem contrata)

Friday, March 2, 12


sequência de uso

Em ambiente controlado (laboratório)


• Permite maior controle dos dados e variáveis

• Mais fácil de envolver o cliente

• Maior custo

• Usuário pode se sentir mais desconfortável

• Mais distante do contexto de uso real

Friday, March 2, 12


sequência de uso

Teste de Usabilidade em laboratório

Friday, March 2, 12


sequência de uso

Teste de usabilidade em campo

Friday, March 2, 12


sequência de uso

Qual o melhor tipo, em campo ou laboratório?

Friday, March 2, 12


sequência de uso

Qual o melhor tipo, em campo ou laboratório?Depende dos objetivos e recursos disponíveis.

Friday, March 2, 12


sequência de uso

Testes de campo são ideais para:


• Obter feedback rápido dos usuários

• Projetos com recursos reduzidos

• Testar conceitos e interfaces em fases iniciais de design

Friday, March 2, 12


sequência de uso

Testes em laboratório são ideais para:


• Medição de performance (tempo, número de erros...)

• Produção acadêmica (maior rigor científico para artigos, teses e dissertações)

• Estudos permanentes com equipe dedicada (Ex: Globo, Nokia)

Friday, March 2, 12


sequência de uso


PARTE 1 - PLANEJAMENTO

Friday, March 2, 12


sequência de uso

Planejamento (Aula de hoje)


1. Determinar objetivos (do produto, processo: onde quero chegar?)

2. Escolher o que medir (qual a métrica? erros, passos, satisfação...)

3. Definir perfil de participantes e recrutar

4. Definir tarefas e cenários (motivação)

5. Preparar os materiais, equipe, ambiente e ferramentas

+ teste piloto

Friday, March 2, 12


sequência de uso

1º passo: Determinar objetivos


• Qual o objetivo do teste?Performance, entendimento, comparação, acadêmico...

• O que é preciso avaliar?Existe um briefing? (demanda do cliente: Quero saber por quê no novo sistema a efetivação de compra caiu 25%)

Formule questões específicas!

Friday, March 2, 12


sequência de uso

EXEMPLO


1. Os usuários entendem de forma clara o que é e para que serve a extensão do firefox?

2. Os usuários têm alguma dificuldade para instalar a extensão?

3. Eles sabem onde e como fazer?

4. Completam todas as etapas de instalação corretamente?

Friday, March 2, 12


sequência de uso


TO DO DONE

EM GRUPO (3 alunos)!

Escolher um site qualqu

er para

testar sua usabilidade.

Determinar objetivos do teste

.

tempo: 20’

Friday, March 2, 12


sequência de uso

2º passo: Escolher o que medir


A métrica depende do objetivo

• Satisfação geral

• Tempo de execução de tarefa

• Número de passos para conclusão de uma tarefa;

• Quantidade de erros

• Quantidade de tarefas completadas

• Proporção de usuários favoráveis ao sistema em relação ao concorrete

Friday, March 2, 12


sequência de uso

EXEMPLO


Verificar:

1. Erros cometidos nas tarefas (Grau de severidade)

2. Número de passos para completar uma tarefa

3. Entendimento geral em relação ao produto

Friday, March 2, 12


sequência de uso


TO DO DONE

Determinar as métricas de

seu teste de usabilidade

tempo: 5’

Friday, March 2, 12


sequência de uso

3º passo: Definir perfil de participantes e recrutar


Quem deve usar este produto?

Quantos participantes escolher? Nielsen sugere:

• 5 (de cada perfil) para qualitativo (quick and dirty! rápido e sujo)

• 20 para quantitativo

Onde encontrar?

• Redes sociais, contatos pessoais, contatos do cliente, usuários atuais, questionário na web, empresas de recrutamento etc.

Friday, March 2, 12


sequência de uso

3º passo: Definir perfil de participantes e recrutar


Friday, March 2, 12


sequência de uso

EXEMPLO


2 usuários lead e 4 intermediários

Pessoas que procuram ou procuraram imóveis recentemente.

Contatos não fornecidos pelo cliente.

Friday, March 2, 12


sequência de uso

Quick and Dirty!Sujando as mãos.

Teste realizado com 2 ou 3 usuários quando há restrições de orçamento/cronograma.

Friday, March 2, 12


sequência de uso


TO DO DONE

Definir o perfil (perfis)

dos

participantes.

tempo: 5’

Friday, March 2, 12


sequência de uso

4º passo: Definir tarefas e cenários (motivação)


Tarefas: O que precisa ser testado?

• Quais são as funcionalidades mais críticas?

• Passos esperados em cada tarefa (se for relevante)

• Tempo esperado em cada tarefa (se for relevante)

Um teste nunca deve passar de 2h (ideal é até 1h)

Cenário: Motivação para tarefa (ajuda na compreensão)

Friday, March 2, 12


sequência de uso

EXEMPLO TAREFAS


1. Encontrar um imóvel

2. Alterar filtros

3. verificar IPTU

4. Encontrar informações de contato

5. Salvar nos “favoritos”

6. Encontrar a lista de favoritos

Friday, March 2, 12


sequência de uso

EXEMPLO CENÁRIO


Opção 1: Você se mudou para curitiba e precisa arrumar um local pra alugar.

Como você encontraria este imóvel?

Opção 2: Facilitador: Você procurou um imóvel recentemente? Como foi essa

experiência? Tente encontrar um semelhante nesse site. Usuário: Não encontrei...

Facilitador: Por que você acha que o site não encontrou? Usuário: Deve ser a

faixa de preço que escolhi, foi baixa. Facilitador: Como você alteraria a faixa de

preços?

Friday, March 2, 12


sequência de uso


TO DO DONE

Definir tarefas para o

teste

de usabilidade.

tempo: 10’

Friday, March 2, 12


sequência de uso

5º passo: Preparar materiais, equipe, ambiente e ferramentas


Redigir, revisar e imprimir• Roteiro, tarefas, termo de consentimento.

Verificar ambiente• Nível aceitável de ruídos, privacidade, lanche (se necessário)...

Verificar computador• Bateria, conexão, captura (áudio e vídeo), software espião, navegador (limpar cache)• Não esquecer mouse e teclado (se necessário)

Friday, March 2, 12


sequência de uso

5º passo: Preparar materiais, equipe, ambiente e ferramentas


Estrutura do Roteiro• Propósito do teste• Lembrar que quem é avaliado é o sistema e não usuário• Que o objetivo é melhorar a interface• Que a identidade será mantida em sigilo• Participação é voluntária• Explicar como será o teste• Explicar que podem fazer perguntas, mas nem todas poderão ser respondidas• Small talk, contextualizar• Explicar as tarefas• Realizar entrevista semi-estruturada no final

Friday, March 2, 12


sequência de uso

EXEMPLO


Ver PDF anexo.

Friday, March 2, 12


sequência de uso

Teste PilotoExecutar com alguém não envolvido diretamente coma execução do teste.

Adequar tarefas, tempo, equipamento, ambiente...

Friday, March 2, 12


sequência de uso


TO DO DONE

Escrever roteiro de aplic

ação

do teste.

tempo: resto da aula

Friday, March 2, 12


sequência de uso


RESUMO DO PLANEJAMENTO

Friday, March 2, 12


sequência de uso

Planejamento (última aula)


1. Determinar objetivos (do produto, processo: onde quero chegar?)

2. Escolher o que medir (qual a métrica? erros, passos, satisfação...)

3. Definir perfil de participantes e recrutar

4. Definir tarefas e cenários (motivação)

5. Preparar os materiais, equipe, ambiente e ferramentas

+ teste pilotoFriday, March 2, 12


sequência de uso


PARTE 2 - APLICAÇÃO DO TESTE

Friday, March 2, 12


1) EQUIPE ENVOLVIDA


Orientador/condutor• Orientar o participante• Fazer com que se sinta a vontade• Responder perguntas• Não induzir comportamento (tendenciar)

Observador• Registrar interação do usuário• Não interferir no teste

Opcionais: Recepcionista e co-observadores (clientes e outros membros da equipe)

Friday, March 2, 12



Posso/devo pagar usuário?• Na publicação de papers, artigos esta prática não é aceita• No mercado é comum e há opções alternativas ao dinheiro

(Vale-compra, etc)

2) PARTICIPANTES (USUÁRIOS)

Friday, March 2, 12


2) Participantes (usuários)


O que o usuário precisa saber?• Que está sendo observado• Que sua identidade será preservada• Indicar espelhos, câmeras, microfones etc.• Precisa aceitar o termo de consentimento

Friday, March 2, 12


sequência de uso

Teste piloto


Permite testar as condições do teste• As tarefas foram compreendidas pelos usuários?

• Todas as tarefas foram possíveis de concluir?

• Os equipamentos estão ok?

• O protótipo precisa ser ajustado?

• O questionário está ok?

Envolvidos: 1 a 3 (depende da complexidade do teste, mas normalmente 1 basta)

Friday, March 2, 12


sequência de uso

Escolha um software espião


• Quicktime (http://www.apple.com/quicktime/download/)

• SilverBack (http://silverbackapp.com/)

• CamStudio (http://camstudio.org/)

• Camtasia (http://www.techsmith.com/products/studio/default.asp )

• Morae (http://www.techsmith.com/products/morae/default.asp)

• Ovo Logger (http://www.ovostudios.com/ovologger.asp#during )

• ScreenCam (http://www.smartguyz.com/index.html )

• ZD Soft (http://www.zdsoft.com/downloads.html)

Friday, March 2, 12

http://www.apple.com/quicktime/download/

http://www.apple.com/quicktime/download/

http://silverbackapp.com

http://silverbackapp.com

http://camstudio.org/

http://camstudio.org/

http://www.techsmith.com/products/studio/default.asp

http://www.techsmith.com/products/studio/default.asp

http://www.techsmith.com/products/morae/default.asp

http://www.techsmith.com/products/morae/default.asp

http://www.ovostudios.com/ovologger.asp

http://www.ovostudios.com/ovologger.asp

http://www.smartguyz.com/index.html

http://www.smartguyz.com/index.html

https://docs.google.com/document/d/1jszQdF2Np3D4mjDfCvMg-xm1vAhgg33U0gF8UeUggPM/edit?hl=pt_BR&pli=1

https://docs.google.com/document/d/1jszQdF2Np3D4mjDfCvMg-xm1vAhgg33U0gF8UeUggPM/edit?hl=pt_BR&pli=1


sequência de uso

Antes do teste


• Imprima:• Roteiros• Fichas de tarefas• Bloco de notas ou planilha para avaliador• Questionário

• Prepare o lanche (se necessário)• Prepare o ambiente físico• Prepare o computador e equipamentos• Certifique-se que o local é tranquilo (para teste em campo)• Execute o teste piloto (ao menos um dia de antecedência)

Friday, March 2, 12


sequência de uso

Planejando o tempo de cada sessão


• Simule o teste e cronometre o tempo

• Estipule o tempo ideal para realização das tarefas

• Estipule o tempo limite para cada tarefa

• Inclua tempo para questionários

• Adicione uma margem de erro para atrasos dos participantes

Friday, March 2, 12


sequência de uso

Como preparar o computador?


• Verifique os requisitos (áudio, navegador, OS, internet, programas etc.)

• Instale um programa espião

• Faça um teste de captura (áudio e vídeo)

• Limpar o sistema de outros testes

Friday, March 2, 12


sequência de uso

Como manter o controle (em laboratório)?


• Procure ler o mesmo texto para todos os participantes

• Procure levantar as dúvidas mais comuns com o teste piloto, para incorporar no roteiro e evitar “desfavorecer” algum participante

• Tenha uma cópia impressa do roteiro em mãos

• Evite fornecer informações somente para um participante

Friday, March 2, 12


Como conduzir os testes?


• Escolha somente uma pessoa para falar com o usuário (condutor)

• O observador deve se posicionar de forma a ver a tela e as reações do usuário

• Leia e entregue a ficha da tarefa

• Comece com tarefas mais simples

• Responda as dúvidas que puder, quando não puder diga que você não pode responder para não interferir o teste

Friday, March 2, 12


sequência de uso

<usuário> Mas isso não é inútil?Resposta inadequada: "Não."

Resposta adequada: "Por que você acha isso?"


Friday, March 2, 12


sequência de uso

Como observar os testes?


• Procure por padrões de uso e fenômenos• Não interfira no teste (função do orientador/condutor)• Marque o tempo inicial (quando medindo o tempo)• Anote nome dos pesquisadores, data e e local do teste• Anote pontos de dificuldade• Anote termos que causaram confusão• Anote o caminho percorrido• Anote as sugestões do participante• Anote se a tarefa foi realizada com sucesso ou não• Anote frases/depoimentos que exemplifiquem algo importante• Anote o tempo final

Friday, March 2, 12


sequência de uso

Think aloud - Como funciona o “pensar em voz alta”?


Objetivo: explicitar o processo mental dos participantes

Vantagens• Ajuda a captar entendimento

• Ajuda a captar sugestões

• Descobrir por que os usuários estão agindo de determinada forma

Desvantagem• Atrapalha na medição do tempo/performance

Friday, March 2, 12


sequência de uso

Como estimular a falar?


Use perguntas!

• “Em que você está pensando?”

• “Por que optou por clicar aí?”

• “Por que você desistiu de ir por lá?”

• “O que você está entendendo por (termo)?”

Friday, March 2, 12


sequência de uso

Reproduzir exemplo de teste.


Friday, March 2, 12


sequência de uso


EM GRUPO!

Definir Orientador, obser

vador e usuário.

Trocar usuário com outro grup

o.

Aplicar teste!

tempo: resto da aula

TO DO DONE

Friday, March 2, 12

una testes - aula 07 e 08

Design