handbook usability testing - capitulo 8

Capítulo 8 - Preparando Materiais do Teste

Introdução

Neste capítulo estudaremos a lista de materias mais comuns que você precisa para desenvolver um teste e considerações sobre como preparar-se para testar um protótipo ou um produto imcompleto. A preparação do material para o teste requer a criação de todos os documentos necessários bem antes do tempo que você irá precisar deles, afim de facilitar o fluxo natural do teste e permitindo que você se foque no que realmente importa: o comportamento do usuário.

Caso tenha dificuldade em desenvolver algum dos materiais que serão citados, é sinal e que há falhas em seus objetivos no teste.


Materiais estudados

• Roteiro de introdução• Questionário de fundo• Instrumentos de coleta de dados• Termo de Consentimento, sigilo e permissão para gravação• Questionário pré-teste• Cenários e tarefas• Questionário pós-teste• Guia de Debriefing


Orientações para os observadores

• Sempre incentivar as pessoas a observarem as sessões de teste (quanto mais pessoas, melhor)

• Introduzir os objetivos o teste e do produto para que os observadores possam entender o porquê da presença deles durante o teste e incentivá-los a saber o que procurar

• Solicitar que os observadores cheguem antes da hora marcada do teste e permanecer para toda a sessão de testes (evitar que pessoas fiquem transitando durante o teste faz com que o usuário se concentre na tarefa)

• Desligue o celular ou qualquer outro aparelho que possa interromper a concentração do participante

• Não rir, cochichar, se expressar corporalmente ou fazer expressões faciais: os participantes podem pensar que estão rindo ou comentando sobre eles

• Vire as páginas do roteiro em silêncio• Faça perguntas em aberto quano solicitado pelo moderador, não oferecendo

respostas. Não pergunte sobre preferências ou opiniões!• Mantenha a identdade o participante em sigilo.


Roteiro de introdução

Se trata de um documento que deve ser lido na íntegra para os participantes.Descreve o que acontecerá durante o teste e define os objetivos o teste para os participantes.Tem como objetivo deixar os participantes à vontade, reforçando a idéia de que é o produto que está sendo testado e não o participante.

O roteiro de introdução auxilia muito os participantes mais nervosos pois introduz a idéia de que eles são as pessoas certas no lugar certo.

O documento deve ser lido para os participantes na área de testes, sala de espera ou sala de reunião antes de se mudar para o local exato o teste.


Roteiro de introdução (continuação)

Orientações importantes aplicadas ao roteiro de introdução: • Mantenha o tom profissional/amigável na apresentação o roteiro:

Não deixe que o tom se torne muito íntimo, como se os participantes fossem seu "camarada" .

• Mantenha o discurso breve: limite-se a alguns parágrafos. Roteiros com mais

de duas páginas significa que você está inserindo informações como cenários e tarefas, material do teste em si como parte da sua introdução, o que é errado!

• Leia o roteiro de introdução para cada participante: Não tente memorizar, parafrasear ou decorar o roteiro de sessão para sessão. Lendo o roteiro completo você garante que as informações serão apresentadas seguindo um padrão. A leitura auxilia também quando você faz testes em que os participantes ficam frustrados e essa frustração contamina você. Lendo o roteiro de introdução, você consegue o suporte necessário para não passar esta frustração para o participante seguinte que provavelmente não obterá sucesso.>>



Orientações importantes aplicadas ao roteiro de introdução: • Leia o roteiro de introdução para cada participante (continuação)

Existe a possibilidade de que mais de um moderador conduza o teste. Lendo o roteiro, diminiu-se as diferenças nos testes.

Membros da equipe e desenvolvimento podem não estar presentes no teste. Com a leitura o roteiro, os ausentes terão a exata noção do que foi informado aos participantes. Demostra profissionalismo e rigor de sua parte.



Escrevendo o roteiro de introdução: • Faça as apresentações:

Apresente-se e todas as pessoas que o participante provavelmente encontrará no teste, sem muitos detalhes, somente funções de cada um.

Nunca cite que determinada pessoa apresentada é desenvolvedora ou trabalha com o produto a ser testado pois pode gerar desconforto no participante ao comentar sobre o produto.

Explique o seu papel como moderador (observado e tomando notas) e que você não possui ligação com o produto, sendo um observador neutro. Explique exatamente o que você vai fazer durante o teste.

• Ofereça algo para "relaxar": Um lanche juntos pode ser ótimo para quebrar o gelo.



Escrevendo o roteiro de introdução: • Explique porque o participante está no teste:

Os participantes não sabem exatamente o que será feito durante o teste. Não há a necessidade de informar o número de participantes, história do produto, etc.Agradeça a vontade de participar do teste e como sua ajuda será importante para a melhoria do produto testado independente de como eles se sairão no teste.

• Descreva o formato o teste:Aponte e descreva os equipamentos que serão utilizados. Informe onde você irá ficar, localize os banheiros e assim por diante. Informe que pessoas o observarão pelo espelho unidirecional e que o teste será gravado. Nunca minta para os participantes pois além de ser anti-ético, após o unício do teste, quase todos os participantes esquecem que estão sendo obsevados e gravados e se focam exclusivamente nas tarefas apresentadas.



Escrevendo o roteiro de introdução: • Explique o que é esperado do participante:

Descreva como o teste irá proceder sem dar muitos detalhes. Cite o assunto do sigilo. Incentive o participante a executar as tarefas como faria normalmente e incentive-os a fazer perguntas e fazer pausas se necessário.Não cite suas expectativas sobre o desempenho e comportamento do participante pois assim, provavelmente você irá colocar os participantes na defensiva. Permaneça absolutamente neutro.

• Assegure o participante de que ele ou ela não está sendo testado:Tenha muito cuidado com seu comportamento e dos observadores, sua linguagem corporal, tom de voz, etc pois estes fatores podem comunicar mais do que apenas palavras.



Escrevendo o roteiro de introdução: • Explique quaisquer situações especiais que possam aparecer:

Demostre como essas situações podem acontecer e garanta ao participante que você estará disponível para lembrá-lo como contornar estas situações.

• Deixe claro que não há probelmas de fazer perguntas a qualquer momento:Explique que você não pode responder as perguntas afim de simular a situação real do participante estar sozinho. Você não está ali para resolver problemas encontrados pelos participantes.

• Pergunte se os participantes compreederam as instruções:Por causa do nervosismo ou acústica ruim da sala os participante podem não ter ouvido ou compreendido completamente as suas instruções.

• Faça referência a todos os formulários a serem completados e continue


Questionário de fundo

• Fornece informações históricas dos participantes.1. Auxilia a compreender o comportamento e atitudes dos participantes.2. Composto de questões que revelam a experiência do participante, atitudes e

preferências em todas as áreas que possam afetar a forma como executam o teste.

3. O questionário de fundo é preenchido antes do "ensaio". Caso seja longo, deve ser enviado para o participante antes do dia do teste.

Existem duas questões importantes para explicar a aplicação o questionário de fundo:1. Confirmar se as pessoas certas apareceram:– Como existem muitos detalhes a serem gerenciados, podem ocorrem "misturas"

de dados. Caso isto aconteça você precisa decidir se irá liberar o participante ou – irá usá-los;– Fornecer um resumo de cada participante para o moderador o teste e para

os membros da equipe de desenvolvimento que observam o teste


Questionário de fundo (continuação)

• Concentre-se nas características informadas que podem influenciar no desempenho do participante

• Faça o questionário fácil de ser preenchido e compilado:Evite perguntas abertas.

• Teste o questionário:Tenha muito cuidado com a apresentação de ambiguidades no questionário

• Decida como aplicar o questionário:Questionários curtos (1 ou 2 páginas) podem ser preenchidos antes do teste. Questionários longos devem ser enviados para os participantes (tenha uma cópia deste questionário respondido com você no teste, caso o participante esqueça de trazê-lo para o dia do teste).


Ferramentas de coleta de dados• Tomar notas durante uma sessão de testes é extremamente exaustivo

dividindo sua atenção entre tomar notas e a observação do participante.• É recomendável solicitar que alguém o ajude tomando notas e registrando dados. • O objetivos dos instrumentos de coleta de dados é acelerar o armazenamento

dos dados pertinentes citados nos objetivos do teste. Assim você terá facilidade em analisar e criar os relatórios também.


Ferramentas de coleta de dados (continuação)

Para a coleta de dados é necessário considerar 6 questões básicas:

• Que dados vão citar os problemas observados no seu plano de teste?• Como os dados serão recolhidos?• Como você vai gravar os dados?• Como você planeja reduzir e analizar os dados?• Como e a quem você vai enviar os dados?• Quais são os recurso disponíveis para lhe ajudar em todo o processo?

A resposta a estas questões irá conuzir o desenvolvimento dos instrumentos, ferramentas e até mesmo o número de pessoas necessárias para coletar dados.

Uma abordagem imprecisa resulta em uma quantidade imensa de dados para reduzir e analisar. Tende a confundir mais do que esclarecer.



Os dados coletados durante o teste dividem-se em duas grades categorias:1. Dados de desempenho:

São medidas objetivas de comportamento (ex.: taxas de erro, tempo, etc).Esses dados são coletados na observação o teste ao vivo ou revendo a gravação.

– Dados de preferência:São dados mais subjetivos medidos pelo sentimento do participante ou opiniões sobre o produto. São coletados de forma escrita, oral, por questionário on-line ou por uma sessão de esclarecimento.



Revendo as questões de pesquisa descritas no plano de teste:Se após rever as questões você continua com dúvidas sobre qual tipo de dados coletar, isso significa que você precisa esclarecer o objetivo da pesquisa para torná-la mais específica, entrevistando novamente os projetistas e desenvolvedores sobre as questões a serem pesquisadas no teste.

Decida que tipo de infomação coletar:Combine os tipos de dados que você vai coletar sobre um problema infomado no planejamento do teste.

Questão de investigação Dados coletados

Quão acessível é a informação na seção"Fale conosco"

Tempo decorrido entre a busca objeto em questão e a sua localização na tela.



Se você não tem certeza por onde começar, simplesmente comece.

Para um teste típico, é comum recolher pelo menos as seguintes informações baseadas na observação dos participantes:• Se cada tarefa foi concluída com êxito• Se o participante perguntou ou pediu ajuda• Os principais problemas / obstáculos asossiados à tarefa• Tempo necessário para executar a tarefa• Observações / comentários sobre as ações de cada participante

Selecione um método e coleta de dados:Sabendo que tipos de dados serão coletados e como eles irão ajudá-lo a alcançar os objetivos do teste, desenvolva os métodos para coletar os dados.Imagine-se criando o relatório de ensaio e ainda fazendo uma apresentação aos membros da equipe. Especifique os tipos de resultados que você irá querer no relatório.



Automatize completamente a entrada de registro:Use programas de registros de dados automáticos como Morae, UserVue, The Observer e Ovo Logger. Coleta de dados Online:Neste caso o computador é usado pelo moderador do teste para registrar ações dos participantes e para inserir observações e comentários diretamente em um arquivo ou banco de dados.

Coleta de dados gerada pelo usuário:É utilizado em organizações com poucos recursos. O próprio participante registra os dados podendo ser feito de forma online ou manual.• Formato online: participante acessa formulário (questionário ou checklist) no

mesmo computador onde foi feito o teste, interrogando-o sobre a tarefa concluída.• Formato manual: cada participante preenche um questionário escrito depois de

completar uma tarefa específica.



Outros métodos para a coleta de dados:A coleta de dados é limitada apenas pela sua imaginação.

Ao projetar um formulário para coleta de dados que você e outros observadoes irão usar, projete para eficiência e facilidade de uso.Antecipe os eventos que irão ocorrer durante o teste para criar formulários que reduzam significativamente o tempo para registrar e coletar dados. Assim, você fica mais livre para prestar atenção às sutilezas do teste e cada tipo de comportamento dos participantes.

Existem dois métodos para reduzir a quantidade de escrita necessária para registrar dados:

• Escrever usando taquigrafia (método abreviado ou simbólico de escrita)• Desenvolver uma ou duas letras ou códigos numéricos que representem

eventos críticos que ocorram durante o teste. (ex.: C = clique, E = excedeu tempo limite, CC = Completou Corretamente)


Termo de consentimento, sigilo e permissão para gravação

• Termo de sigilo: tem como objetivo evitar a divulgação não autorizada de informações sobre o produto que está sendo testado.

• Permissão para gravação: tem por objetivo obter a permissão por escrito dos participantes para gravá-los durante o teste de usabilidade. Tal permissão protge a confidencialidade dos participantes, não aprentando o nome completo na gravação e limitando a sua divulgação somente para as pessoas que necessitam das informações gravadas.

• Termo de consentimento: termo que explica o estudo, descreve os riscos para os participantes (ou informa não existem riscos) e cita uma pessoa para entrar em contato em caso de dúvidas ou problemas.

Por vezes você irá se deparar com pessoas que se recusam a serem gravados e informa que nunca foi informada. Você pode escolher usá-los sem a gravação ou liberá-los.


Questionários pré-teste e entrevistas Tem como foco principal, abordar os objetivos do teste específico, como: • As primeiras impressões de um participante de um produto

(especialmente em um teste exploratório ou teste formal)• Classificar o posicionamento dos participantes em um grupo específico,

ou para estabelecer o seu nível de especialização.

O questionário pré-teste é considerado parte integrante do projeto de teste.


Descobrindo Atitudes e primeiras impressões Procura determinar atitudes e primeiras impressões do participante sobre a facilidade de uso de um produto antes dele efetivamente usá-lo. Essa impressão inicial pode ser um elemento vital no teste de usabilidade.

O produto parece fácil de usar?

O participante entende a terminologia? O produto é similar ou muito diferente de outros produtos ou até mesmo de outras versões deste produto?


Descobrindo Atitudes e primeiras impressões Impressões iniciais preparam o terreno para o uso efetivo do produto, e ajudam a entender os sentimentos do participante e expectativas antes do uso.

Se o produto PARECE ser difícil, isso já cria um obstáculo. Por outro lado, se PARECE simples ou intuitivo, isso se torna uma vantagem, e o usuário tenderá a usá-lo e explorá-lo por mais tempo e até com mais boa vontade. Como é feito: o Moderador mostra ao usuário uma tela, um painel de controle ou conteúdo de um manual e pedirá para ele dar uma nota relativa à facilidade de uso do ítem em questão.


Descobrindo Atitudes e primeiras impressões Esse tipo de teste pode ser expandido posteriormente. Isso é feito aplicando o mesmo questionário pré-teste APÓS o teste de usabilidade. As notas do usuário aumentarão ou diminuirão? O uso efetivo do produto modificou ou não as primeiras impressões do usuário? A imagem que ele tinha do produto melhorou ou piorou após o o uso efetivo?


Descobrindo Atitudes e primeiras impressões Testando elementos e terminologia - com o mesmo método, é possível testar elementos do produto que devem ter seu significado evidente antes mesmo do produto ser utilizado. Por exemplo: símbolos e ícones, rótulos da navegação de um site, etc. É possível descobrir se os usuários estão reconhecendo automaticamente esses elementos. E, se não estiverem, se os compreenderam após usar o produto. Antes ou durante a aplicação desse pré-teste deixe o usuário ver o produto, para que ele entenda o contexto dos termos ou símbolos. Mas não o deixe utilizar o produto.


Qual o valor do produto para o usuário? Outra aplicação é saber a opinião do usuário sobre a utilidade ou o valor do produto. Aqui não se quer medir a usabilidade, mas sim o valor inerente do produto, antes mesmo de se considerar as questões de usabilidade.

Isso é de fundamental importância, pois considerar apenas aspectos de usabilidade num produto, e não seu valor inerente ou a sua utilidade para o usuário, é um erro. Se usuários perceberem que um produto lhe traz benefícios, até se dispõem a enfrentar problemas de usabilidade que o mesmo possa ter. Mas se eles não têm interesse num produto, o contrário pode não acontecer.


Classificando usuários para diferentes grupos de teste Além de fazer um questionário ou entrevista de "background" com usuários para determinar seu nível de conhecimento, existem outras técnicas que podem ser aplicadas:

* Os usuários estimam a frequência com que têm contato com os itens de uma lista. Os usuários com maior frequência são considerados os experts e os com menos, os novatos.

* Participantes dão nota, de 0 a 5, para a sua expertise em várias funções. Aí, o moderador, baseado no que entende da aplicação, cria linhas de corte arbitrárias, dividindo participantes em categorias. EXEMPLO: de 0 a 5 - inciante, de 06 a 15 - Intermediário, de 16 a 20 - expert


Produtos e Protótipos para teste * Tenha o objeto que será testado em mãos o mais cedo possível, mesmo que seja um protótipo inicial. * Torne-se familiar com o objeto antes até do primeiro teste piloto ou pré-teste. Você terá uma idéia melhor do que esperar quando os participantes o testarem. Onde poderão ter dificuldades, onde poderão ter mais dúvidas e questões, o que já está funcional ou não no protótipo. * Use o protótipo para construir cenários de tarefas ("Task Scenarios"). Documente os passos "corretos" para a finalização de cada tarefa para compará-los com a performance dos usuários.


Cenários da tarefa (Task Scenarios) São representações da performance que os usuários teoricamente terão (ou deveriam ter) usando o seu produto. São versões expandidas da lista de tarefas original, com contexto e as razões e motivações do participante. Geralmente, compreende várias tarefas da lista original agrupadas, pois é desta forma que as pessoas realizam um trabalho.

O Cenário de teste deve descrever:O resultado que o usuário deve atingir;Os motivos que o levariam a realizar a tarefa; Dados e nomes efetivos, e não generalidades;O estado do sistema quando a tarefa é iniciada;Descrições de imagens e mostruários que os participantes verão durante a tarefa.


Cenários da tarefa (Task Scenarios) Os cenários da tarefa podem ser lidos ou distribuídos para os usuários. Mas não deve repetir exatamente os termos usados no produto, para não guiar ou facilitar as tarefas. Dicas: Crie cenários realistas, completos, com motivações para uso;Sequencie os cenários em ordem;Regule os cenários com a experiência dos participantes;Evite jargões e termos que possam "entregar" a tarefa;Coloque uma quantidade substancial de trabalho em cada cenário;


Treinamento opcional Em alguns casos é necessário um treinamento do usuário antes do teste de usabilidade, para atendar algum critério específico do teste. Pode ir desde uma descrição de 10 minutos do produto até um workshop de dois dias.

Isso pode ser utilizado em algumas situações: Garantir expertise mínima dos usuários;Testar usuários "experientes" num produto que é novo;Testar apenas as funcionalidades para usuários avançados de um produto;

Quais os benefícios de um treinamento? * Testar mais a facilidade de uso e não apenas facilidade de aprendizado;* Testar funcionalidades avançadas que não seriam abordadas nos testes;* Ao observar um treinamento, desenvolvedores percebem os obstáculos que um novato terá ao aprender o seu produto;


Questionário Pós-teste Serve para coletar informações de preferência do participante para esclarecer e aprofundar o entedimento dos pontos fortes e fracos do produto. Geralmente as informações incluem opniões e sentimentos sobre a facilidade de uso e aprendizado do produto. Nos escritos, perguntas devem ser feitas da mesma exata maneira para todos os participantes. Nos orais, perguntas podem ser ajustadas de acordo com o indivíduo ou com o que ocorreu na sua sessão de teste em particular. Duas principais considerações de um questionário são Conteúdo e Formato. Conteúdo - assuntos e tópicos que você quer abordar nas perguntas. Formato - desenho e redação das questões e seu ordenamento no questionário.


Questionário Pós-teste Dicas:Seu questionário só deve conter o que você PRECISA que o usuário responda; Em testes longos (mais de 1h), distribua um questionário menor ao fim de cada tarefa e não um questionário grande ao fim de tudo; Pergunte sobre aquilo que não pode ser pesquisado na observação do teste, questões subjetivas;

Foque nas áreas e tópicos que você quer cobrir no teste.


Questionário Pós-teste Dicas (continuação): Faça com que o teste tenha perguntas e respostas breves e simples. Evite questões "abertas" que favoreçam os usuários que escrevem melhor; Use o piloto para refinar o questionário. O piloto pode lhe fornecer Idéias para novas perguntas, identificar questões supérfluas e se o questionário está muito longo ou curto. O Questionário piloto deve coincidir com o teste piloto;


"Guia de Debriefing" Se refere ao ato de explorar e analisar as ações do participante. No debriefing deve-se apresentar os resultados da rodada realizada, explicar como cada participante, ou grupo participante alcançou os resultados, e, então, realizar uma conexão entre a experiência vivenciada e o mundo real. Diferentemente do questionário, onde se lista questões específicas que serão perguntadas ao participante,os tópicos do guia de "debriefing" são de assuntos que o pesquisador quer discutir. É uma linha de questões que podem ser feitas ou não dependendo do andamento de cada teste.

handbook usability testing - capitulo 8

Design