handbook usability testing - capitulo 11 - analise de dados

Análise dos dados e observações

Pós-Graduação Ergodesign de interfaces – PUC Rio – 2010 - Lucas Trevisan e Marcelo R. Alonso

Mini Seminário

teste de usabilidade


- Características

- Etapas da Análise dos Dados

- Compilação dos dados- Compilação frequente- Organizar dados brutos

- Resumo dos dados- Tarefa Cronometrada- Tarefa de precisão- Dados de preferência do usuário

- Análise dos dados

- Desenvolver recomendações- Relatório Final


- Características

• Seu objetivo é identificar os problemas mais graves

• Seu resultado é um relatório simples ou apresentação verbal

• Cautela nas conclusões e recomendações das análises preliminares

• Atenção para não perder nada importante

• Se não tiver certeza sobre o resultado recomendar uma análise mais profunda

• As recomendações preliminares podem mudar depois da análise mais profunda


- Etapas de Análise dos Dados / Compilação dos Dados

- Ao final de cada período de teste

• Reunir os formulário com os dados coletados para averiguar padrões

• Verificar a legibilidade

• Transcrição das gravações

• Tabular dados quantitativos

• A compilação frequente dos dados serve para aproveitar as informações que

ainda estão frescas na memória dos avaliadores, facilitar na análise preliminar e

serve como controle para verificar se a coleta está de acordo com o plano de teste.


- Etapas de Análise dos Dados / Compilação dos Dados

- Organizando os dados brutos

• São muitas as ferramentas que podem ser utilizadas para organizar os dados.Dentre elas:

1. Listas

2. Matrizes

3. Storyboards

4. Diagramas de fluxo

5. Programas específicos

6. Planilhas (mais recomendado pela simplicidade e recursos disponíveis para

análise dos dados)


- Etapas de Análise dos Dados / Resumo dos Dados

• O resumo das informações compiladas serve para obter um retrato do que aconteceu durante os testes:

1. Onde os participantes tiveram êxito ou onde tiveram dificuldades.

2. A diferença de desempenho de cada grupo, como usuários experientes

ou inexperientes.

• Para elaborar este retrato podemos resumir os dados de desempenho em:

1. Tarefas Cronometradas

2. Tarefas de Precisão

3. Dados de preferência do usuário



- Tarefas Cronometradas

• Mostram quanto tempo os usuários necessitaram para finalizar cada tarefa.

• Com este tempo podemos retirar algumas estatísticas como:

- Média do tempo para realizar a tarefa

(soma de todos os tempos dividido pelo número de participantes)

- Range – Maior e menor tempo gasto para realizar a tarefa (diferença)

- Desvio Padrão – Serve para detectar o grau de variabilidade entre os

tempos.


- Etapas de Análise dos Dados / Resumo dos Dados- Tarefas Cronometradas

• Formula para cálculo do desvio padrão



- Tarefas Cronometradas

• Como usar o desvio padrão?

Suponha que você tem uma tarefa com tempo médio de 6 minutos e um desvio

padrão de 0,5 minutos. Isto representa que os usuários testados realizaram a

tarefa com tempos próximos um dos outros. Já se o seu desvio padrão for de 3

minutos você deve analisar porque estão realizando a mesma tarefa com

tempos tão distintos.



- Tarefas de Precisão

• Várias estatísticas podem ser tiradas das tarefas de precisão.

- Quantos erros- Tipos de erros e frequência- Quantos participantes realizaram a tarefa com sucesso

Ex.:

11. Porcentagem de participantes que realizaram com sucesso mesmo precisando de assistência. 12. Porcentagem de participantes que realizaram com sucesso dentro do tempo previsto para a tarefa.



- Dados de preferência do usuário

• Os dados preferenciais podem surgir de várias fontes diferentes como pesquisas e questionários.

- Questões de escolha – pode ser realizado sumarizando-se as respostas decada questão individualmente e pode-se calcular uma média por item,possibilitando visualizar qual o número de participantes selecionaramcada resposta.

- Questões abertas e comentários – deve-se listar todas as questões eagrupar as respostas semelhantes em categorias significativas, como porexemplo, somar todas as referências positivas e negativas.

- Sessões de questionamento do participante – deve-se transcrever todasas entrevistas para o papel, pois a visualização dos comentários escritosfacilita a seleção dos comentários críticos bem mais do que escutar ecategorizar a informação ao mesmo tempo. O registro por escritotambém facilita o acesso às informações por outras pessoas.



- Outras medidas

• Além das medidas citadas como exemplo até agora você deve criar dados para responder as questões pertinentes ao seu plano de teste como por exemplo:

- número de vezes que retornaram à página inicial sem necessidade- número e tipo de sugestões ou solicitações- número de vezes que o mapa do site foi acessado- pontos de hesitação e por quanto tempo

• Se o seu projeto tem grupos distintos de usuários você também pode agrupar as informações conforme estes grupos. Da mesma forma você pode ter versões diferentes do mesmo produto.


- Etapas de Análise dos Dados / Análise

• Identifique as tarefas que não cumprem o critério de sucesso. Se a porcentagem de erros for no mínimo 70% (ponto de equilíbrio), o problema é considerado muito grave. Estas tarefas representam a parte vulnerável do produto. Para um relatório preliminar, são elas que devem ser focadas inicialmente.

• Identifique erros e dificuldades dos usuários como, por exemplo, a omissão de um passo na realização da tarefa, a exclusão de um arquivo ainda necessário etc.

• Identifique a fonte dos erros analisados. Identifique os componentes responsáveis. Os motivos devem ser claros para a elaboração de recomendações. Consulte as documentações do teste para não esquecer de detalhes importantes. Considere os antecedentes dos usuários que vivenciaram o erro. Não tente resolver o problema precocemente e recomendar uma correção antes de ter identificado todas as causas do erro.



• Priorize os problemas por gravidade.

GRAVIDADE = SEVERIDADE + PROBABILIDADE DE OCORRÊNCIA

• Vale lembrar que, com o desenvolvimento e re-design do produto, o ponto de

equilíbrio deve diminuir pois pressupõem-se que os problemas serão

gradativamente resolvidos e, por consequência, a probabilidade de sucesso no

desempenho das tarefas aumente.



GRAVIDADE = SEVERIDADE + PROBABILIDADE DE OCORRÊNCIA

• Primeiro categorize o problema por severidade.

• A frequência é influenciada por dois fatores: % de usuários afetados e probabilidade de um usuário do grupo ser afetado.

• Não se preocupe sobre a precisão exata do valor relativo a frequencia.

• Pode-se perguntar para o usuário, durante o teste, qual a situação mais problemática.



• Analise entre diferentes grupos e versões do produto. Cautela com apresentação de dados quantitativos dependendo do número de usuários da sua amostra.

• Para um resultado estatisticamente mais significativo utiliza-se estatística inferencial. Isto é podemos inferir algo sobre uma população maior ou menor do que a testada. Para levantar tais dados estatísticos é preciso muito rigor na elaboração dos testes e uma amostra grande de participantes. Para a grande maioria dos casos esta técnica é evitada.


;)

handbook usability testing - capitulo 11 - analise de dados

Design