handbook usability testing - capitulo 12

44
Bruno Perrone e Marcelo Coli Há muito tempo atrás numa galáxia muito distante...

Upload: facha

Post on 14-May-2015

1.008 views

Category:

Design


0 download

DESCRIPTION

Mini-seminários da disciplina de Teste Formal de Usabilidade, Pós-graduação em Ergodesign de Interfaces da PUC-Rio / Laboratório de Ergonomia e Usabilidade de Interfaces / LEUI. Prof. Luiz Agner, 2010.

TRANSCRIPT

Page 1: Handbook Usability Testing - Capitulo 12

Bruno Perrone e Marcelo Coli

Há muito tempo atrás numa galáxia muito distante...

Page 2: Handbook Usability Testing - Capitulo 12

Bruno Perrone e Marcelo Coli

O capítulo 12

Page 3: Handbook Usability Testing - Capitulo 12

Bruno Perrone e Marcelo Coli

Reporting Findings and Recommendations

CAPÍTULO 12

Handbook of Usability Testing - Second Edition  - Jeffrey Rubin e Dana Chisnnel

Page 4: Handbook Usability Testing - Capitulo 12

Bruno Perrone e Marcelo Coli

Análise de dados dos testes /elaboração de recomendações

Quatro etapas:

1) Compilação e sumarização dos dados

2) Análise dos dados

3) Registro de descobertas e elaboração de recomendações

4) Produção do relatório final                                                                           

Page 5: Handbook Usability Testing - Capitulo 12

Bruno Perrone e Marcelo Coli

O que é uma descoberta (finding)?

"The result of a usability test is not merely tables of data and list of issues.  The result of a usability test comprise the discoveries made while observing real users performing realistic tasks using a product. “

Além das técnicas, observação é muito importante para realizar uma descoberta sobre o sistema.                                                                         

Page 6: Handbook Usability Testing - Capitulo 12

Bruno Perrone e Marcelo Coli

O que é uma descoberta (finding)?

"Findings are inferences you and your team draw from the observations you have made along with analyzing “

As descobertas são também inferências que você pode fazer durante a análise.

Page 7: Handbook Usability Testing - Capitulo 12

Bruno Perrone e Marcelo Coli

Dando forma as descobertas

"Findings are often expressed in headline fashion or one-sentence statements that encapsulate the essence of usability issue.  They are the centerpiece of the report.   For example: "The 'Go' label did not suggest "refresh" or "reload" to participants "

                                                                                                                                

Page 8: Handbook Usability Testing - Capitulo 12

Bruno Perrone e Marcelo Coli

Documentando os resultados"Start documenting your usability study by approaching the final report in layers" 1) Escreva os ítens a serem relatados 2)Expanda a discussão de cada um dos ítens descobertos com narativas, frases de participantes e ilustrações (ex:. screen captures); 3) Volte para o início da seção de resultados para descrever ítens globais e conclusões gerais 4) Organize os ítens descobertos e agrupe-os de forma que façam sentido                                                                                                                                                                                                                       

Page 9: Handbook Usability Testing - Capitulo 12

Bruno Perrone e Marcelo Coli

Documentando os resultados

4. Organize os ítens descobertos e agrupe-os de forma que faça sentido. Algumas possibilidades:

- Tarefas- Perguntas de pesquisa (research question)- Seção do Produto- Como o time é organizado (considerar os membros da equipe a quem se destinam os resultados).                                                                             

Page 10: Handbook Usability Testing - Capitulo 12

Bruno Perrone e Marcelo Coli

Paradigma de DanaDana often uses the research questions as the top level

of headings. This accomplishes a few important things.

By reiterating the research questions as a way of grouping

findings, you can:

 • Ensure that you have answered the original questions, thus

accomplish-ing the goals of the test.• Tie the data gathered to the final findings and recommendations.• Educate the team by connecting the plan and design to the

outcomes.

Page 11: Handbook Usability Testing - Capitulo 12

Bruno Perrone e Marcelo Coli

Como ordenar cada grupo de descobertas (findings)/outra sugestão• Local versus global (an isolated problem versus a more general or fundamental problem)• Impact on users (time or data loss, injury or possible loss of life)• Frequency• Ability to work around or not• Where in the product the problem occurred• Task• Visibility (a clear problem or one that occurs two weeks later because of something

you did that you didn’t realize)• Cost to fix• Level of embarrassment to the user

Page 12: Handbook Usability Testing - Capitulo 12

Bruno Perrone e Marcelo Coli

Construindo o rascunho do relatório

1) Documentar ítens descobertos, recomendações e acordos 2) Lembrar como aconteceu o teste, quais os objetivos principais dele 3) Explorar ítens da metodologia que possam ter influenciado nos resultados finais 4) Dar recomendações aos designers e desenvolvedores sobre como remediar problemas do projeto/produto  5) Relatar pontos específicos relacionados as preocupações de negócios

Page 13: Handbook Usability Testing - Capitulo 12

Bruno Perrone e Marcelo Coli

Construindo o rascunho do relatório

"Create a report that is acessible, portable, and understandable on its own"  O relatório precisa ter vida própria, ou seja ele sozinho ser capaz de ser entendido por quem trabalha no projeto.                                                                                       

Page 14: Handbook Usability Testing - Capitulo 12

Bruno Perrone e Marcelo Coli

Construindo o rascunho do relatório

"Know your audience.  Be creative but mindful about how your report will be received, reviewed, and reacted to“

Conheça o cenário e as pessoas para quem seu relatório será feito.

Page 15: Handbook Usability Testing - Capitulo 12

Bruno Perrone e Marcelo Coli

Porque construir um relatório?

"What the test should do is support and initiate change, direct action, provide a historical record, and educate - all the same time.“

O teste pode ser o primeiro passo para o começo de uma mudança.                                                                              

Page 16: Handbook Usability Testing - Capitulo 12

Bruno Perrone e Marcelo Coli

Porque construir um relatório?

"Above all else, it should communicate to people.  There is no reason that reports need to be stuffy, boring and overly technical.“

Simplicidade, clareza, criatividade. Relatórios precisam ser lidos e por isso, não devem ser chatos.

Page 17: Handbook Usability Testing - Capitulo 12

Bruno Perrone e Marcelo Coli

Porque construir um relatório?

"When writing the report, approach it as if you were basically telling a story, and make sure that all the sections of the report relate to that story"                                                                                

Page 18: Handbook Usability Testing - Capitulo 12

Bruno Perrone e Marcelo Coli

Organizando um relatório

Deve existir uma sequência lógica para o relatório. 

Assim como uma boa história ele deve conter: início, meio e fim.

Page 19: Handbook Usability Testing - Capitulo 12

Bruno Perrone e Marcelo Coli

Organizando um relatório

Início: composto de informações sobre porque o teste foi feito (objetivos) e como foi preparado

Meio: o que aconteceu durante o teste Fim: são as "implicações" do que aconteceu, e o que você recomenda sobre os problemas vistos no teste

importante: um relatório formal deve ter entre 20 e 25 páginas   

Page 20: Handbook Usability Testing - Capitulo 12

Bruno Perrone e Marcelo Coli

Partes gerais de um relatório

1. Executive Summary (Sumário Executivo)                Esta parte do relatório contém um curto resumo sobre a estrutura do teste, pontos críticos e recomendações gerais, questões que mereçam pesquisas mais aprofundadas e os benefícios gerais do teste.

Page 21: Handbook Usability Testing - Capitulo 12

Bruno Perrone e Marcelo Coli

Partes gerais de um relatório

2. Method (Método de pesquisa utilizado)                Onde é descrita a "natureza" do teste. Como foi planejado (configuração do teste), características dos participantes e os métodos utilizados para coleta de dados.                                                                                                                       

Page 22: Handbook Usability Testing - Capitulo 12

Bruno Perrone e Marcelo Coli

Partes gerais de um relatório 2. Method (Método de pesquisa utilizado)                Exemplo: We conducted the study that this report covers to answer these

questions: Question: What types of information do they expect to find on the site? At what depth?

Summary Insights

Because the tasks were outside the experience of most of the participants in the study, we don't really have the answer to this question. I recommend further study, in the field with participants who are in the mode of researching conditions they've recently been diagnosed with.

Page 23: Handbook Usability Testing - Capitulo 12

Bruno Perrone e Marcelo Coli

Partes gerais de um relatório

3. Results (Resultados)                Nesta parte do relatório são exibidos os resumos dos resultados qualitativos e quantitativos, da forma mais concisa e compreensível possível.                                                                                                             

Page 24: Handbook Usability Testing - Capitulo 12

Bruno Perrone e Marcelo Coli

Partes gerais de um relatório

3.1 Resumos Quantitativos                Relacionados às tarefas completadas, erros, respostas do sistema (logs), ranking de erros.

                                                                          

Page 25: Handbook Usability Testing - Capitulo 12

Bruno Perrone e Marcelo Coli

Partes gerais de um relatório 3.2. Resumos Qualitativos                Relacionados a ítens sobre tipos de erros, dados a partir de questionáriose questões relacionadas a satisfação (like).

Não é necessário incluir linhas de tabelas de dados coletados ou respostas de questionários, que podem ser colocados em um apêndice. Simplemente mencionar o usuário do dado coletado ou o local onde os dados estão colocados no relatório já é suficiente para persuadir e causar interesse.                                                                                                 

Page 26: Handbook Usability Testing - Capitulo 12

Bruno Perrone e Marcelo Coli

Partes gerais de um relatório

4. Descobertas e recomendações            (findings and recommendations)

"at last we come to the raison d'être for the entire process of usability testing”

E finalmente chegamos à razão de existir do processo de usabilidade.

Page 27: Handbook Usability Testing - Capitulo 12

Bruno Perrone e Marcelo Coli

Partes gerais de um relatório 4. Descobertas e recomendações  (cont)          

Esse é o momento de pegar todas as informações analisadas e traduzí-las em ítens específicos.Não é um processo simples nem cientificamente preciso.

Similar a etapa de "product development" no sentido de caracterizar usuários e a partir disso desenvolver especificações funcionais para o projeto de um sistema.

Page 28: Handbook Usability Testing - Capitulo 12

Bruno Perrone e Marcelo Coli

Partes gerais de um relatório

4. Descobertas e recomendações (cont)    

Nesta seção também são inseridas algumas discussões e explicações sobre os ítens, como recomendação, caso seja apropriado.

Page 29: Handbook Usability Testing - Capitulo 12

Bruno Perrone e Marcelo Coli

Partes gerais de um relatório 4. Descobertas e recomendações (cont)           

Em alguns casos, a quantidade de "issues" pode ser grande.  

Não é necessário evidenciar nenhum ítem específico, nem reduzir o detalhamento sobre a questão.

Page 30: Handbook Usability Testing - Capitulo 12

Bruno Perrone e Marcelo Coli

Partes gerais de um relatório

4. Descobertas e recomendações (cont)            

Mas é importante organizar as informações de forma que a pessoa que esteja lendo o relatório  possa facilmente pular explicações caso ache necessário.

Incluir ilustrações como "screen captures with explanatory callouts" podem ajudar na análise dos problemas, mas irão aumentar o tamanho do relatório.

Page 31: Handbook Usability Testing - Capitulo 12

Bruno Perrone e Marcelo Coli

Partes gerais de um relatório 4. Descobertas e recomendações (cont)       

Esta seção, caso necessário, pode ser dividida em:

1) Descobertas e recomendações gerais

2) Descobertas e recomendações específicas

                                         

Page 32: Handbook Usability Testing - Capitulo 12

Bruno Perrone e Marcelo Coli

Desenvolvendo recomendaçõesRecomendações não devem ser elaboradas idealmente por uma única pessoa.

Ítens importantes:

1) Diferentes pontos de vista são fundamentais

2) "You need to buy-in"

Page 33: Handbook Usability Testing - Capitulo 12

Bruno Perrone e Marcelo Coli

Desenvolvendo recomendaçõesAinda sobre recomendações, um roteiro sistemático para elaboração de recomendações:

1) Foco em soluções que terão maior impacto 2) Desconsiderar questões da política da empresa no rascunho inicial das recomendações 3) Incluir recomendações de curto prazo e longo Prazo

4) Citar ítens onde a equipe de teste precisa fazer pesquisas mais aprofundadas 5) Cobrir todos os problemas de forma ampla 

Page 34: Handbook Usability Testing - Capitulo 12

Bruno Perrone e Marcelo Coli

Material de apoio para os revisores

A maior parte do tempo não é necessário incluir material de apoio, tabela de dados, ou copias de entregas recentes do estudo no relatório final.

Se você considerar que esse material será útil para as pessoas que irão ter contato com o relatório, você deve incluí-lo um apêndice, anexo ao relatório.

Importante:  Não citar nomes dos participantes, apenas fale de seu "background" ou alguma outra informação relevante.

Page 35: Handbook Usability Testing - Capitulo 12

Bruno Perrone e Marcelo Coli

Refinando o formato do relatórioConsiderar as seguintes questões para avaliar o formato final do relatório:

1) Were you able to get the information you needed?"

2) Was the type of information you needed all there?

3) Was the format easy to use?“

Considerar, no caso de relatórios internos, os feedbacks dos últimos relatórios entregues que você percebeu que funcionaram bem na organização.

Page 36: Handbook Usability Testing - Capitulo 12

Bruno Perrone e Marcelo Coli

Alguns exemplos

Finding 3

 

The “Go” label did not suggest “refresh” or “reload” to participants.

 

Recommendation: Add a “Refresh” button on the bottom of the screen next to the “Reset” button.

Page 37: Handbook Usability Testing - Capitulo 12

Bruno Perrone e Marcelo Coli

Alguns exemplosTask: Use the web site to reserve a car at the San Francisco airport.

Source of error: Policy information and specifics are not clearly communicated to users making reservations.

The primary source of policy information is the Verify  Information page, which contains  the specifics of the rental (rate, time, etc.), as well as any policy information specific to that rental. Users tended to skim all content

on this page, looking only at the  far right and left columns

containing the specifics of their rental

Recommendation: Redesign the Verify Your Information Page

Consider changing text that is in all uppercase text to mixed case or title case. Expand the columns slightly so users are less inclined to skim but instead will be slowed down. Break up one large page of solid content into smaller visual areas to make viewing easier and simpler.

Page 38: Handbook Usability Testing - Capitulo 12

Bruno Perrone e Marcelo Coli

Criar Apresenção ou Vídeos com Highlights

Page 39: Handbook Usability Testing - Capitulo 12

Bruno Perrone e Marcelo Coli

Cuidados sobre Highlights em Vídeo

"Done Right"! 

1) Ser persuasivo

2) Ser capaz de inspirar suporte às práticas de UCD (User Centered Design)

Page 40: Handbook Usability Testing - Capitulo 12

Bruno Perrone e Marcelo Coli

3) Ser capaz de influenciar mudanças organizacionais

4) Os highlights não devem tentar reproduzir a experiência de estar assistindo ao testes, mas sim dar uma visão geral, evidenciando problemas críticos e importantes descobertas durante o teste

Cuidados sobre Highlights em Vídeo (continuação)

Page 41: Handbook Usability Testing - Capitulo 12

Bruno Perrone e Marcelo Coli

Etapas para produção doshighlights em vídeo

1) Considerar os pontos do vídeo que você quer destacar

2) Gerar clips das partes dos pontos a serem destacados

3) Rever o tempo e a organização da sequência dos clips

4) Escrever títulos e legendas para os vídeos

5) Por fim, revisar e fazer as adequações finais

Page 42: Handbook Usability Testing - Capitulo 12

Bruno Perrone e Marcelo Coli

E para encerrar 2 coisinhas...

Page 43: Handbook Usability Testing - Capitulo 12

Bruno Perrone e Marcelo Coli

Uma homenagem e...

Page 44: Handbook Usability Testing - Capitulo 12

Bruno Perrone e Marcelo ColiBruno Perrone e Marcelo Coli

Obrigado