testes dispositivos moveis - tese de adriana betiol, ufsc
DESCRIPTION
Mini-seminários da disciplina de Teste Formal de Usabilidade, Pós-graduação em Ergodesign de Interfaces da PUC-Rio / Laboratório de Ergonomia e Usabilidade de Interfaces / LEUI. Prof. Luiz Agner, 2010.TRANSCRIPT
Avaliação de Usabilidade para os Computadores de mão:um estudo comparativo entre três abordagens para ensaios de interação
Tese de DoutoradoAdriana Holtz BetiolFlorianópolis - 2004
Testes de UsabilidadeAna Elisa Tavares | Adoniram Medeiros
Ana Elisa Tavares | Adoniram MedeirosAvaliação de Usabilidade para os Computadores de mão
Hipótese
Testes de campo fornecem melhores resultados que testes realizados em laboratório.
Ana Elisa Tavares | Adoniram MedeirosAvaliação de Usabilidade para os Computadores de Mão
3 Abordagens
Emuladores Em laboratório Em campo
Ana Elisa Tavares | Adoniram MedeirosAvaliação de Usabilidade para os Computadores de Mão
Emuladores
Emulador Nokia Mobile Internet Toolkit v3.1 (2004)
Emulador T-Mobile G1 (2008)
Ana Elisa Tavares | Adoniram MedeirosAvaliação de Usabilidade para os Computadores de Mão
Emuladores
Objetivo do testeVerificar qual a preferência do usuárioe em qual opção ele tinha melhor desempenho para um novo modelo de celularBocker (1999)
Ana Elisa Tavares | Adoniram MedeirosAvaliação de Usabilidade para os Computadores de Mão
Texto
Dois protótipos com dois modelos de interface
Emuladores
Ana Elisa Tavares | Adoniram MedeirosAvaliação de Usabilidade para os Computadores de mão
80 participantes
40 participantes:• Tem experiência no uso de celularese windowns• Testou a interface com ícones• Leu o manual
40 participantes:• Não tem experiência no usode celulares e windowns• Testou a interface com texto• Não leu o manual
+
- -Texto
+Texto
Emuladores
Ana Elisa Tavares | Adoniram MedeirosAvaliação de Usabilidade para os Computadores de mão
Emuladores
• Foram criados cenários com tarefas simples
• No final das tarefas os participantes responderam•a questionários e entrevistas
• Testes feitos com dois avaliadores
• As seções foram gravadas em vídeos e depois foram analisadas
Ana Elisa Tavares | Adoniram MedeirosAvaliação de Usabilidade para os Computadores de Mão
Emuladores
“... a avaliação revelou os problemas mais cruciais de usabilidade identificando também quais os pontos fortes do design da interface”
“os resultados da avaliação foram extremamente satisfatórios e serviram de base para importantes decisões sobre as direções do projeto”.
“… obviamente a avaliação feita com um emulador WAP não dará os mesmos resultados, em termos de usabilidade, que a avaliação realizada com um telefone WAP.Na avaliação com emuladores aspectos como ergonomia física, estilos de interação, mecanismos de entrada de dados, etc. não serão aplicáveis uma vez que no telefone real eles se dão de forma completamente diferente.”
Vyas, 2002
Emuladores
Ana Elisa Tavares | Adoniram MedeirosAvaliação de Usabilidade para os Computadores de Mão
Equipamento Real
-Chittaro (2001) usou um celular real por-“não acreditar que estudos sobre sites WAP utilizando emuladores no computador pudessem fornecer indicações confiáveis da performance do usuário”
Pode ser usada a câmera de documentos, ondeo aparelho não pode ser movimentado e o usuário deve ficar sentado para que o teste seja filmado
- O usuário pode ser filmado apenas ou ser observado diretamente pelo avaliador, fazer questionários e passar por entrevistas
-A posição do usuário e a forma como ele segura-o celular também influenciam o teste de usabilidade
Ana Elisa Tavares | Adoniram MedeirosAvaliação de Usabilidade para os Computadores de Mão
Equipamento Real
Objetivo do testeavaliar usabilidade de um telefone celulare dos serviços disponíveis pela operadora de telefonia móvel
Ana Elisa Tavares | Adoniram MedeirosAvaliação de Usabilidade para os Computadores de Mão
Equipamento Real
Testes feitos em uma sala normal sem espelho falso
Dois avaliadores presentes, um passava as tarefas e o outro observava e anotava as informações
As seções foram filmadas com uma câmera de vídeo normal e uma câmera de documentos
O celular ficou preso com velcro a um tripé fixado em cima da mesa
Ana Elisa Tavares | Adoniram MedeirosAvaliação de Usabilidade para os Computadores de Mão
Em Campo
Objetivo do teste10 participantes utilizaram um PDA para navegar em um site WAP com o objetivode encontrar informações sobre automóveisWaterson (2002)
Ana Elisa Tavares | Adoniram MedeirosAvaliação de Usabilidade para os Computadores de Mão
Em Campo
Teste RemotoTeste tradicional e
Cinco participantes fizeram o teste em laboratório de forma tradicional com câmeras de áudio e vídeo e um avaliador presente
Cindo participanetes fizeram o teste ondee quando quiseram, sem presença de um avaliador ou câmeras.
O PDA tinha ferramenta WebKit intalada para a análise de logs.
“...tanto o WAP quanto a Internet móvel em geral são inerentemente pessoais, portanto uma grande parte do estudo dependeu de como o usuário utilizou o equipamento enquanto estava sozinho... Entretanto o valor de observar o comportamento do usuário em condições controladas era inestimável, pois permitia ter uma visão mais aprofundada sobre o impacto da interface com o usuário no uso do WAP.”
Nielsen, 2000
Em Campo
Ana Elisa Tavares | Adoniram MedeirosAvaliação de Usabilidade para os Computadores de Mão
Experimento
Contexto de UsoContexto de Uso
Contextode Avaliação 1
Equipamento: Emulador
Condições: Dentro do Laboratório / Computador
Critérios para escolha dos participantes
Tarefas
Medidas e métricas de Usabilidade
Contextode Avaliação 2
Equipamento: Telefone celular
Condições: Dentro do Laboratório / Câmera de Documentos
Critérios para escolha dos participantes
Tarefas
Medidas e métricas de Usabilidade
Contextode Avaliação 3
Equipamento: Telefone celular
Condições: Fora do Laboratório / Câmera sem Fio
Critérios para escolha dos participantes
Tarefas
Medidas e métricas de Usabilidade
Ana Elisa Tavares | Adoniram MedeirosAvaliação de Usabilidade para os Computadores de Mão
36 pessoas
• Usuários de celular• Não usar o serviço WAP• Usuário de computador• Não usar o modelo de aparelho dos testes• 21 a 40 anos de idade• Diferentes ocupações e formações
Participantes
12 pessoas
emulador
12 pessoas
12 pessoas
campo
laboratório
Ana Elisa Tavares | Adoniram MedeirosAvaliação de Usabilidade para os Computadores de Mão
Tarefas
Foram 7 tarefas...
“Você está sentado na sala de embarque do aeroporto aguardando seu vôo para o Rio de Janeiro. Você estará livre esta noite e gostaria de aproveitar para ir ao teatro.
Seu objetivoEncontre o nome de todas as peças que estão em cartaznos teatros do Rio de Janeiro.”
Ana Elisa Tavares | Adoniram MedeirosAvaliação de Usabilidade para os Computadores de Mão
Tarefas
“Você está participando de uma importante reuniãode negócios quando um colega seu solicita informações atualizadas sobre o valor do dólar.
Seu objetivoEncontre o valor do dólar comercial, o percentual de altaou baixa e a data e hora de referência.”
Ana Elisa Tavares | Adoniram MedeirosAvaliação de Usabilidade para os Computadores de Mão
Resultados
43 Problemas encontrados
0 3 2
320 4
2
Emulador 35 Laboratório 41
Em campo 38
Ana Elisa Tavares | Adoniram MedeirosAvaliação de Usabilidade para os Computadores de Mão
Conclusão
81,40%com o uso
de emulador
95,35%com o uso da câmera
fixa (laboratório)
88,37% com o uso
da câmera móvel(em campo)
Dos 43 problemas identificados:
Ana Elisa Tavares | Adoniram MedeirosAvaliação de Usabilidade para os Computadores de Mão
Conclusão
A maioria dos problemas foram identificados em
laboratório.
(^ _ ^)
Obrigado!