juliane vargas nunes: sure - uma proposta de questionário e escala para avaliar a usabilidade de...

El evento de Diseño de Interacción y Experiencia de Usuario más importante de Latinoamérica.

SUREuma proposta de questionário e escala para avaliar a usabilidade de aplicações para smartphones pós-teste de usabilidade

Juliane Vargas Nunesjulivn@gmail.com

http://www.gqs.ufsc.br/

Profª. Dr. Christiane Gresse Von Wangenheim

Mathias Reolon

Prof. Dr. Adriano Ferreti Borgatto

Autores

M.ª Juliane Vargas Nunes

Thaisa Cardoso Lacerda

Caroline Krone

B.el Rafael José de Oliveira

Jessica Xafranski

1/33

• Introdução

• Procedimentos metodológicos

• Revisão sistemática da literatura

• Projeto inicial do questionário

• Validação

• Análise dos dados

• Resultados

• Conclusões

Sumário

2/32

• Difusão do uso do smartphone e suas aplicações.

• Usabilidade como um dos mais importantes atributos de

qualidade dessas aplicações, afetando a satisfação do

usuário (Ketola e Röykkee, 2001; Treeratanapon, 2012;

Seffah et al., 2006).

htt

p:/

/ww

w.w

eb

byp

rop

ag

an

da

.co

m.b

r/w

p-

con

ten

t/u

plo

ad

s/2

01

4/0

4/u

sin

g-s

ma

rtp

ho

ne

.jp

g

Introdução

3/32

• Teste de usabilidade como um dos principais métodos de

avaliação sob a perspectiva do usuário.

• É comum usar questionários pós-teste para identificar

aspectos subjetivos não diretamente observáveis durante

o teste.

Introdução

4/32

• Existem vários questionários pós-teste (SUS, QUIS, SUMI,

etc).

• Porém, eles variam quanto aos fatores medidos, número

de itens, escalas de resposta, etc (Hornbæk, 2006).

• Além disso, são voltados, principalmente, para desktop.

Introdução

5/32

• Por isso, este artigo apresenta a concepção de um

questionário pós-teste de usabilidade, sua validação a

partir dos resultados de 305 testes com usuários,

analisados estatisticamente e a criação de uma escala de

usabilidade.

Introdução

6/32

Procedimentos metodológicos

7/32

• Realizada no Google Scholar entre abril e maio de 2013.

• Foram incluídos artigos: completos, publicados em inglês,

entre 1990 e 2013, com acesso livre via Portal Capes, que

apresentassem questionários para medir a usabilidade no

final de testes de usabilidade.

Revisão sistemática da literatura

8/32

• Foram identificados 11 questionários: SUMI (Kirakowski e

Corbett, 1988), QUIS (Chin, 1988), PUEU (Davis, 1989), SUS

(Brooke, 1996), PSSUQ (Lewis, 2002), MPUQ (Ryu, 2005),

MoBiS-Q (Markova, 2007), MoBiS-Q (Vuolle, 2008), CSUQ

(Lewis, 2010), UMUX (Finstad, 2010), UMUX LITE (Lewis,

2013).

Revisão sistemática da literatura

9/32

• Eles focam na satisfação do usuário, sua percepção de

eficiência, eficácia, além de atratividade e utilidade do

sistema.

• Alguns consideram dispositivo móveis como PDAs,

celulares com teclado físico e smartphones mais simples

(Ryu, 2005).

• Isso reforça a importância de um questionário para

smartphone.

Revisão sistemática da literatura

10/32

• Os questionários levantados foram agrupados.

• Foram excluídos itens: repetidos, adequados para

avaliação de especialistas e não referentes à usabilidade.

• Os itens do SUS foram mantidos propositadamente, a fim

de permitir a sua comparação com o questionário

proposto.

Projeto inicial do questionário

11/32

• Assim, foi gerado um questionário com 37 itens, com uma

escala likert de respostas de 4 pontos.

Projeto inicial do questionário

12/32

Testes

• Foram selecionados 5 aplicativos gratuitos.

• Cada um deles dentro de um nível de usabilidade (muito

alta, alta, razoável, baixa e muito baixa), de acordo Witt

(2013).

iOS Android

Validação

13/32

Testes

• Para cada aplicativo foram definidas tarefas específicas.

Ex. Tarefas Buscapé:

1. Faça uma busca pelo livro "Não me faça pensar".

2. Filtre os resultados pelo menor preço.

3. Calcule a oferta para o frete.com menor preço.

Validação

14/32

Testes

• Os testes foram realizados entre set/out 2013, sendo:

134 remotos

51 em ambiente

controlado

120 em sala de aula +

+=305

Validação

15/32

• Depois de organizados, os dados foram analisados pela

TRI.

• A TRI é utilizada para medir traços latentes que não

podem ser medidos diretamente, como a usabilidade, a

partir de modelos matemáticos (TEZZA et al, 2011).

Análise dos dados

16/32

As vantagens da TRI são:

• Atribuição individual de peso para questões com

diferentes complexidades;

• Elaboração de uma escala que permite a inserção de

novos dados ao longo do tempo;

• Inserção dos itens e das respostas dos usuários em uma

mesma escala, permitindo sua interpretação.

Análise dos dados

17/32

• Posteriomente os valores de usabilidade dos aplicativos

atribuidos pelos participantes foi posicionado dentro de

uma escala, conforme mostra a próxima figura.

• Para essa escala foi determinado uma média e um desvio

padrão (50, 10).

Análise dos dados

18/32

Distribuição dos valores de usabilidade dos aplicativos atribuidos pelos participantes dos testes.

Análise dos dados

19/32

• A aplicação da TRI eliminou 6 itens, por terem informações

insuficientes ou não estarem associação a usabilidade.

Análise dos dados

20/32

• Assim, foi gerada a versão (1.0) do SURE (Smartphone

Usability questionnaiRE), com 31 itens.

• E proposta uma versão curta com 11 itens.

• Em seguida, foram comparadas a distribuição das

respostas das duas versões do SURE e dos SUS1, conforme

mostra a próxima figura.

1 Sobre apenas 9 de seus itens.

Resultados

21/32

Curva de informação dos três instrumentos

Resultados

22/32

• Posteriormente a escala de usabilidade foi interpretada,

descrevendo quais fatores de usabilidade os aplicativos

classificados em cada nível possivelmente atendam.

Resultados

23/32

Resultados

24/32

• As notas gerais atribuídas aos aplicativos com os três

instrumentos foram:

• A maioria dos itens "tradicionais" de medição também se

aplica ao contexto do smartphone.

• Contudo, a princípio os 6 itens eliminados não são

mostram adequados para medir a usabilidade desse tipo

de aplicação.

Resultados

25/32

• As duas versões do SURE se mostraram mais eficientes

para avaliar aplicações com usabilidade entre os níveis 20

e 60.

• Mas a versão a extensa teve melhor desempenho que a

resumida por conter maior quantidade de informação.

• A aplicação da versão resumida pode ser uma alternativa.

Resultados

26/32

• Ambas as versões do SURE consistem em ferramentas

válidas para medir a usabilidade de aplicações

smartphone pós-teste de usabilidade.

• Contudo, ainda são necessárias outras formas de

validação como o cruzamento dos resultados dos 305

testes com avaliações heurísticas dos mesmos aplicativos.

Conclusão

27/32

• Esse estudo é um primeiro passo na avaliação da

usabilidade percebida pelos usuários de aplicações

smartphones.

• Com ele pretende-se contribuir com a tomada de

decisões durante o projeto e avaliação de usabilidade de

aplicações smartphone, buscando torná-las mais eficientes

e agradáveis.

Conclusão

28/32

• A todos os participantes do estudo de caso.

• Ao CNPq (Conselho Nacional de Desenvolvimento Científico e Tecnológico) pelo financiamento desta pesquisa.

Agradecimentos

29/32

• Brooke, J. SUS: a “quick and dirty” usability scale. In P. Jordan, W. Thomas, B., Weerdmeester, A. e McClelland, A. L. Usability Evaluation in Industry. London: Taylor and Francis. 1996.

• Chin, J. P. et al. Development of an instrument measuring user satisfaction of the human-computer interface. Proc. Conference on Human Factors in Computing Systems, University of Maryland, 1988, College Park, USA (1988), 213-218.

• Davis, F. D. Perceived Usefulness, Perceived Ease of Use, and User Acceptance of Information Technology. MIS Quarterly, vol. 13, no 3 (1989), 319-340.

• Finstad, K. The usability metric for user experience. Interacting with Computers, vol. 22 (2010), 323-327.

• Hornbæk, K. Current Practice in Measuring Usability: Challenges to Usability Studies and Research, International Journal of Human-Computer Studies, vol. 64, Issue 2, February (2006), 79-102.

• Ketola P.; Roykee, M. The Three Facets of Usability in Mobile Handsets. CHI Workshop, Mobile Commun: Understanding Users, Adoption & Design, Seattle, WA, 2001.

Referências

30/32

• Kirakowski J.; Corbett, M. Measuring user satisfaction. Proc. 4th Conf. of British Computer Society, Manchester, (1988), 329–338.

• Lewis, J. R. Psychometric Evaluation of the PSSUQ Using Data from Five Years of Usability Studies, Int J. of Human-Computer Interaction, (2002), 462– 488.

• Lewis, J. R. Psychometric Evaluation of the CSUQ Using Data from Five Years of Usability Studies (2010).

• Lewis, J.R. et al. UMUX-LITE: when there's no time for the SUS. Proc. CHI, Paris (2013), 2099-2102.

• Markova, M. et al. MoBiS-Q: a tool for evaluating the success of mobile business services. Proc. Mobile HCI, Singapore (2007), 238-245.

• Ryu, Y. S. Development of Usability Questionnaires for Electronic Mobile Products and Decision Making Methods, Ph.D. dissertation, Virginia Polythecnic Institute and State University, Blacksburg, VA (2005).

Referências

31/32

• Seffah, A. Usability measurement and metrics: A consolidated model, Software Quality J., vol. 14, no.2, Jun (2006), 159-178.

• Tezza, R. et al. Measuring web usability using item response theory: Principles, features and opportunities, Interacting with Computers, vol. 23, no. 2, Mar (2011), 167-175.

• Treeratanapon, T. Design of the Usability Measurement Framework for Mobile Applications. Proc. Int. Conf. on Comput. and Inform. Technology, Bangkok (2012), 71-75.

• Vuolle et al. "Developing a questionnaire for measuring mobile business service experience" in Proc. Mobile HCI, Amsterdam, 2008, pp. 53-62.

• WITT, A T. Aplicação da Técnica Estatística Teoria da Resposta ao Item para avaliar um conjunto de Heurísticas de Usabilidade para dispositivos celulares touchscreen. 164f. Trabalho de Conclusão de Curso (Bacharel em Sistemas de Informação) – Departamento de Informática e Estatística. Universidade Federal de Santa Catarina, Florianópolis, 2013.

Referências

32/32

No deje de completar su evaluación online

isa.ixda.org/encuesta¡Muchas gracias!

SURE: uma proposta de questionário e escala para avaliar a usabilidade de aplicações para smartphones pós-teste de usabilidade

Juliane Vargas Nunes