avaliaÇÃo somativa de usabilidade utilizando...
TRANSCRIPT
FACULDADE DE ECONOMIA E FINANÇAS IBMEC PROGRAMA DE PÓS-GRADUAÇÃO E PESQUISA EM
ADMINISTRAÇÃO E ECONOMIA
DDIISSSSEERRTTAAÇÇÃÃOO DDEE MMEESSTTRRAADDOO PPRROOFFIISSSSIIOONNAALLIIZZAANNTTEE EEMM AADDMMIINNIISSTTRRAAÇÇÃÃOO
“AVALIAÇÃO SOMATIVA DE USABILIDADE UTILIZANDO SISTEMAS DE
INFERÊNCIA FUZZY”.
AALLEEXX MMAAGGNNAAGGOO NNOOGGUUEEIIRRAA ORIENTADOR: PROFª. DRª. MARIA AUGUSTA SOARES MACHADO
Rio de Janeiro, 29 de junho de 2011.
“AVALIAÇÃO SOMATIVA DE USABILIDADE UTILIZANDO SISTEMAS DE INFERÊNCIA FUZZY”
ALEX MAGNAGO NOGUEIRA
Dissertação apresentada ao curso de Mestrado Profissionalizante em Administração como requisito parcial para obtenção do Grau de Mestre em Administração. Área de Concentração: Avaliação de Usabilidade
ORIENTADOR: PROFª. DRª. MARIA AUGUSTA SOARES MACHADO
Rio de Janeiro, 29 de junho de 2011.
“AVALIAÇÃO SOMATIVA DE USABILIDADE UTILIZANDO SISTEMAS DE
INFERÊNCIA FUZZY”
ALEX MAGNAGO NOGUEIRA
Dissertação apresentada ao curso de Mestrado Profissionalizante em Administração como requisito parcial para obtenção do Grau de Mestre em Administração. Área de Concentração: Avaliação de Usabilidade.
Avaliação:
BANCA EXAMINADORA:
_____________________________________________________
Professora Drª. Maria Augusta Soares Machado (Orientador) Instituição: IBMEC/RJ _____________________________________________________
Professor Dr. Edson José Dalto Instituição: IBMEC/RJ _____________________________________________________
Professor Dr. Jesús Domech Moré Instituição: Universidade Estácio de Sá
Rio de Janeiro, 29 de junho de 2011.
M
658 N732
Nogueira, Alex Magnago.
Avaliação Somativa de Usabilidade Utilizando Sistemas de Inferência Fuzzy / Alex Magnago Nogueira – Rio de Janeiro: Faculdades Ibmec, 2011.
P. Dissertação apresentada ao curso de Mestrado Profissionalizante em
Administração como requisito parcial para obtenção do Grau de Mestre em Administração.
Área de Concentração: Avaliação de Usabilidade Orientador: Prof. Dr. Maria Augusta Soares Machado 1.Fuzzy – Sistemas - Inferência 2. Sistemas de Inferência Fuzzy. I. Nogueira,Alex
Magnago . II. Prof.Dr. Machado,Maria Augusta Soares (Orientador). III. Avaliação Somativa de Usabilidade Utilizando Sistemas de Inferência Fuzzy
v
DEDICATÓRIA
À minha esposa Alessandra pelo apoio e pela paciência com que tolerou minha ausência nesses últimos anos. Aos meus pais, Amauri e Irene, pelo amor incondicional que sempre me dispensaram. À minha querida irmã, Amanda, pela sincera e eterna amizade. À Deus que está sempre ao meu lado.
vi
AGRADECIMENTOS
À minha orientadora, Professora Maria Augusta Soares Machado, pela paciência e dedicação
com que me ajudou a concluir este trabalho.
Aos professores do Ibmec/RJ, com os quais muito aprendi.
Aos amigos do Comando da Aeronáutica, pelo apoio durante todo o período do curso.
vii
RESUMO
Avaliações somativas de usabilidade objetivam medir a usabilidade, a fim de viabilizar a
comparação entre diferentes sistemas ou versões de sistemas. Medir a usabilidade, no entanto,
é uma atividade que deve contemplar um conjunto de métricas de desempenho e de satisfação
dos usuários, conforme a ISO 9241-11. O objetivo desta pesquisa é propor uma metodologia
de avaliação de usabilidade de sistemas, com base nos sistemas de inferência fuzzy, que
permita representar as informações dessas métricas de desempenho e de satisfação em uma
única e contínua métrica de usabilidade, a qual facilita o processo de comparação entre a
usabilidade de sistemas. A lógica fuzzy é ferramenta fundamental na consolidação dessas
métricas, pois permite agregar informações subjetivas e imprecisas fornecidas pelas pessoas
envolvidas na avaliação sobre como as métricas serão combinadas. A abordagem fuzzy
permite, também, contemplar menor rigidez quando da definição dos objetivos de usabilidade
a serem alcançados. A aplicação do método e a análise dos resultados obtidos são
apresentadas por meio da avaliação de um sistema desenvolvido e utilizado pelo Comando da
Aeronáutica do Brasil.
Palavras Chave: Usabilidade, Avaliação Somativa, Sistema de Inferência Fuzzy.
viii
ABSTRACT
Summative usability evaluations aim to measure the usability in order to facilitate the
comparison between different systems or system versions. Measuring usability, however, is
an activity that should include a set of performance and satisfaction metrics, according to ISO
9241-11. The objective of this research is to propose a methodology for usability evaluation
of systems based on fuzzy inference systems, which allows representing these metrics of
performance and satisfaction in a single and continuous measure of usability, which will
facilitate the process of comparison of the systems usability. Fuzzy logic is a fundamental tool
in the consolidation of these metrics, because it allows adding subjective and inaccurate
information provided by people involved in the validation process of how the metrics will be
combined. The fuzzy approach allows also including more flexibility when defining the goals
of usability to be achieved. The method and analysis of the results are presented through a
validation of a computer system developed and used by the Command of Aeronautics of
Brazil.
Key Words: Usability, Summative Evaluation, Fuzzy Systems
ix
LISTA DE FIGURAS
Figura 1 – Modelo de aceitação de produtos (Shackel, 1991).................................................. 13
Figura 2 – Modelo de aceitação de produtos (Nielsen, 1993) .................................................. 14
Figura 3 – Estrutura da usabilidade, conforme adaptação da ISO 9241-11 ............................. 17
Figura 4 – Exemplo de abordagem fuzzy ................................................................................. 25
Figura 5 – Termos difusos para nível de satisfação ................................................................. 28
Figura 6 – Sistema de Inferência Fuzzy ................................................................................... 30
Figura 7 – Variável lingüística nível de satisfação do usuário ................................................. 30
Figura 8 – Passos para avaliação da usabilidade ...................................................................... 33
Figura 9 – Exemplo de Objetivo de Usabilidade ...................................................................... 39
Figura 10 – Nível de Usabilidade ............................................................................................. 41
Figura 11 – Variáveis de entrada e de saída do sistema de inferência ..................................... 45
Figura 12 – Variável de entrada EFICIÊNCIA para a tarefa 1 ................................................ 51
Figura 13 – Variável de entrada ERRO para a tarefa 1 ............................................................ 52
Figura 14 – Variável de entrada SATISFAÇÃO para a tarefa 1 .............................................. 53
Figura 15 – Variável de entrada COMPLETUDE para a tarefa 1 ............................................ 54
Figura 16 – Variável de saída USABILIDADE ....................................................................... 55
Figura 17 – Sensibilidade do Sistema de Inferência (Exemplo 1) ........................................... 58
Figura 18 – Sensibilidade do Sistema de Inferência (Exemplo 2) ........................................... 59
Figura 19 – Sensibilidade do Sistema de Inferência (Exemplo 3) ........................................... 59
Figura 20 – Valor da Usabilidade da Tarefa 1.......................................................................... 62
Figura 21 – Valor da Usabilidade da Tarefa 2.......................................................................... 63
Figura 22 – Valor da Usabilidade da Tarefa 3.......................................................................... 64
Figura 23 – Valor da Usabilidade da Tarefa 4.......................................................................... 65
Figura 24 – Valor da Usabilidade da Tarefa 5.......................................................................... 66
x
LISTA DE TABELAS
Tabela 1 – Métricas para avaliação global de usabilidade ....................................................... 22
Tabela 2 – Metas de usabilidade............................................................................................... 54
Tabela 3 – Base de Regras ........................................................................................................ 57
Tabela 4 – Média das Métricas por tarefa ................................................................................ 61
Tabela 5 – Comparação Resultado versus Meta da Tarefa 1 ................................................... 63
Tabela 6 – Comparação Resultado versus Meta da Tarefa 2 ................................................... 64
Tabela 7 – Comparação Resultado versus Meta da Tarefa 3 ................................................... 65
Tabela 8 – Comparação Resultado versus Meta da Tarefa 4 ................................................... 66
Tabela 9 – Comparação Resultado versus Meta da Tarefa 5 ................................................... 66
Tabela 10 – Usabilidade do sistema como um todo ................................................................. 67
xi
LISTA DE ABREVIATURAS ASQ After-Scenario Questionaire
ANSI American National Standards Institute
COMAER Comando da Aeronáutica do Brasil
IHC Interação Homem-Computador
ISO Associação Brasileira de Normas Técnicas
xii
SUMÁRIO
1 INTRODUÇÃO ..................................................................................................... 1
1.1 CONTEXTUALIZAÇÃO DO PROBLEMA ........................................................................................ 1
1.2 Formulação do Problema ....................................................................................................................... 4
1.3 Objetivo Geral ......................................................................................................................................... 4
1.4 Objetivo Específico.................................................................................................................................. 4
1.5 Relevância da Pesquisa ........................................................................................................................... 5
1.6 Delimitação da Pesquisa ......................................................................................................................... 6
1.7 Organização do Estudo ........................................................................................................................... 6
2 METODOLOGIA DA PESQUISA CIENTÍFICA ................................................... 8
3 REVISÃO DA LITERATURA ............................................................................. 10
3.1 Usabilidade ............................................................................................................................................ 11 3.1.1 Usabilidade segundo Shackel (1991) ................................................................................................. 12 3.1.2 Usabilidade segundo Nielsen ............................................................................................................. 14 3.1.3 Usabilidade segundo a ISO 9241-11 .................................................................................................. 16
3.2 Métodos de Avaliação ........................................................................................................................... 19
3.3 Métricas de Usabilidade ....................................................................................................................... 21 3.3.1 Consolidação de Métricas .................................................................................................................. 23
3.4 Lógica fuzzy ........................................................................................................................................... 25 3.4.1 Conjuntos Fuzzy ................................................................................................................................. 27 3.4.2 Variáveis Lingüísticas ........................................................................................................................ 28 3.4.3 Sistema de Inferência Fuzzy ............................................................................................................... 29
4 SISTEMA DE INFERÊNCIA FUZZY PARA AVALIAÇÃO DA USABILIDADE . 33
4.1 Selecionar o sistema .............................................................................................................................. 34
4.2 Identificar o Contexto de Uso ............................................................................................................... 34
xiii
4.3 Identificar objetivos de Usabilidade .................................................................................................... 36
4.4 Definir base de regras ........................................................................................................................... 40
4.5 Aplicação do teste de usabilidade ........................................................................................................ 42
4.6 Pontuar a usabilidade ........................................................................................................................... 43
5 APLICAÇÃO DA METODOLOGIA PROPOSTA ............................................... 47
5.1 Selecionar o Sistema .............................................................................................................................. 47
5.2 Identificar o contexto de uso ................................................................................................................ 48 5.2.1 Seleção dos participantes .................................................................................................................... 48 5.2.2 Seleção das tarefas.............................................................................................................................. 48 5.2.3 Equipamentos ..................................................................................................................................... 49 5.2.4 Ambiente ............................................................................................................................................ 50 5.2.5 Definição dos objetivos de usabilidade .............................................................................................. 50 5.2.6 Definir Base de Regras ....................................................................................................................... 55 5.2.7 Pontuar a Usabilidade ......................................................................................................................... 60 5.2.8 Considerações finais sobre os resultados do teste de usabilidade....................................................... 67
6 CONCLUSÃO .................................................................................................... 70
APÊNDICE A – INSTRUMENTO PARA COLETA DE INFORMAÇÕES DO USUÁRIO .................................................................................................................. 76
APÊNDICE B - FUNÇÕES DE PERTINÊNCIA DAS VARIÁVEIS DE ENTRADA ... 80
APÊNDICE C - TABULAÇÃO DOS DADOS COLETADOS E CÁLCULO DAS MÉDIAS .................................................................................................................... 89
APÊNCIDE D - TABULAÇÃO DOS DADOS OBTIDOS PELA APLICAÇÃO DO QUESTIONÁRIO ....................................................................................................... 90
1
1 INTRODUÇÃO
1.1 CONTEXTUALIZAÇÃO DO PROBLEMA
Os computadores há muito tempo deixaram de ser meros coadjuvantes no dia a dia
empresarial e passaram a integrar permanentemente os planos operacional e estratégico de
praticamente todas as companhias. Deseja-se, por meio deles e dos sistemas computacionais,
uma melhora nos resultados empresariais, oriunda, por exemplo, da otimização dos custos, do
aumento de velocidade na execução das tarefas, da melhoria na qualidade dos processos e da
adequação dos procedimentos de controle.
Nesse processo de interação homem-máquina, em que os membros da empresa utilizam
rotineiramente computadores, por meio de seus sistemas (softwares e aplicativos), para
executarem suas tarefas de maneira mais fácil e com o mínimo de desperdício de recursos
possível, cresce a importância de área de conhecimento denominada Avaliação de
Usabilidade.
De maneira bem simplificada, a usabilidade de um produto de software está relacionada à
facilidade com que os usuários desse sistema podem realizar as tarefas nele projetadas,
considerando um contexto de uso específico. Estudos de Usabilidade buscam melhorar a
qualidade dos sistemas, tornando-os mais usáveis, proporcionando às empresas aumento de
2
produtividade e redução de custos, assim como aumentando a satisfação dos usuários
(BEVAN E MACLEOD, 1994).
As Avaliações de Usabilidade estão essencialmente relacionadas a um dos seguintes
objetivos: identificar problemas na interface dos sistemas, a fim de corrigi-los, denominados
estudos formativos (formative evaluation); ou medir a usabilidade do sistema, frente ao
alcance de objetivos anteriormente definidos, para compará-lo com outros produtos, ou com
outras versões do próprio produto, estudos estes denominados somativos (summative
evaluation) (LEWIS, 2006; TULLIS E ALBERT, 2008).
Na realização de estudos somativos, diferentes tipos de métricas de usabilidade devem ser
utilizadas. A ISO 9241-11, padrão internacional que trata de especificações de usabilidade
para avaliação de terminais de visualização, orienta que uma avaliação completa de
usabilidade deve contemplar métricas relacionadas aos critérios de desempenho e de
satisfação dos usuários ao trabalharem com um determinado produto, sendo que o
desempenho deve ser desmembrado em dois outros critérios: eficácia e eficiência. Na
literatura, diversas métricas foram, então, idealizadas para mensurar quantitativa e
qualitativamente esses critérios, como: tempo para concluir uma tarefa, sucesso na execução
da tarefa, número de erros quando da manipulação do sistema, indicadores de satisfação, taxa
de acesso ao sistema, dentre outras.
No entanto, utilizar informações de diferentes métricas para comparar produtos não é uma
atividade muito fácil de ser realizada, pois cada métrica possui sua escala, o que dificulta a
análise conjunta dos dados coletados. Dessa forma, têm sido identificados na literatura
esforços para simplificar o processo de comparação da usabilidade entre produtos, por meio
da consolidação das informações advindas dos diferentes tipos de métricas em uma única e
3
contínua métrica de usabilidade, que reflita a usabilidade de uma determinada tarefa do
sistema ou do sistema como um todo (SAURO E KINDLUND, 2005; CHANG E DILLON,
2006; LEWIS, 1991).
A criação de uma métrica consolidada de usabilidade, porém, com o propósito de permitir
uma rápida e adequada comparação entre produtos, é um processo crítico, pois envolve
julgamentos e critérios atribuídos pelos stakeholders do projeto (especialistas em usabilidade,
patrocinadores do sistema, desenvolvedores, especialistas no negócio, etc), com base em suas
experiências e conhecimentos técnicos adquiridos, sobre como as métricas previamente
escolhidas serão padronizadas e combinadas. Há considerações sobre os graus de importância
relativa entre as métricas e sobre quais os limites aceitáveis para cada uma delas, devendo ser
observadas as características dos usuários, das tarefas, do equipamento e do ambiente onde o
produto é utilizado. Os stakeholders têm que definir, por exemplo, o quão uma métrica de
desempenho é mais importante que uma métrica de satisfação do usuário, para uma
determinada tarefa do sistema. Ou, ainda, dado que a média de tempo para realização de cada
tarefa seja de 50 segundos, eles devem definir com quantos segundos esse tempo passa a ser
ruim ou inaceitável.
Os exemplos acima evidenciam que os critérios utilizados pelos stakeholders, em muitas
ocasiões, são subjetivos, mas que também são indispensáveis no processo de consolidação das
diferentes métricas de usabilidade em uma única métrica. Abordagens que busquem, então,
melhor capturar essas informações imprecisas fornecidas pelos stakeholdes para a realização
de uma avaliação somativa de usabilidade tornam-se necessárias. Para isso, a lógica nebulosa
é um instrumento valioso, pois permite combinar mais facilmente e adequadamente conceitos
imprecisos, utilizando termos lingüísticos para coletar as informações dos stakeholders sobre
o produto, sobre os critérios de análise e sobre o contexto de utilização.
4
1.2 FORMULAÇÃO DO PROBLEMA
Considerando a existência de aspectos imprecisos no processo de criação de uma métrica
única de usabilidade, haja vista a necessidade de se combinar informações advindas de vários
tipos de métricas de usabilidade, com informações oriundas dos julgamentos e dos critérios
dos stakeholders envolvidos com o produto, como definir uma métrica consolidada de
usabilidade que contemple os critérios de eficiência, eficácia e satisfação, conforme
recomendações da ISO 9241-11, e que reflita a usabilidade da tarefa e do sistema como um
todo?
1.3 OBJETIVO GERAL
Propor uma metodologia para a avaliação somativa da usabilidade de sistemas, a qual utiliza o
sistema de inferência fuzzy para consolidar métricas de desempenho e de satisfação em uma
única e contínua métrica de usabilidade, que pode ser utilizada na comparação de produtos
similares ou versões do mesmo produto.
1.4 OBJETIVO ESPECÍFICO
A partir do objetivo geral, buscar-se-á os seguintes objetivos específicos:
• Definir usabilidade e identificar os principais critérios e métricas por meio dos quais
ela pode ser medida;
• Ressaltar os aspectos imprecisos existentes quando da combinação das várias métricas
de usabilidade para a obtenção de uma métrica unificada;
5
• Apresentar a teoria dos conjuntos fuzzy, e evidenciar sua utilidade para a criação de
uma única métrica de usabilidade;
• Aplicar a metodologia proposta para avaliar a usabilidade do sistema de gestão de
diárias em moeda estrangeira do Comando da Aeronáutica do Brasil (COMAER).
1.5 RELEVÂNCIA DA PESQUISA
As empresas frequentemente se interessam em saber como seus produtos se comparam com
outros produtos similares existentes no mercado, ou, ainda, buscam comparar um determinado
produto com outras versões anteriormente desenvolvidas. Pode-se, com esse tipo de análise,
visualizar vantagens e desvantagens dos produtos avaliados frente à concorrência, assim como
saber se houve melhora em uma nova versão do produto, se comparado com versões
anteriores. Por fim, essas informações podem ser utilizadas para embasar decisões de troca do
produto ou para melhorá-lo.
Na comparação da usabilidade de produtos de software, várias métricas, cada uma com sua
própria escala e critérios de medição, precisam ser consideradas, o que pode complicar essa
comparação e, consequentemente, retardar a tomada de decisões. Dessa forma, a consolidação
das informações oriundas das diversas métricas em uma única métrica que reflita a
usabilidade do sistema como um todo, a fim de facilitar a comparação entre a usabilidade de
produtos, constitui um objetivo consistente para pesquisas da área de Avaliação de
Usabilidade.
6
1.6 DELIMITAÇÃO DA PESQUISA
Embora avaliações de usabilidade possam ser realizadas para vários tipos de produtos ou
partes deles, este trabalho analisará somente a usabilidade de produtos de softwares, que será
viabilizada por meio da análise da manipulação da interface do sistema pelos usuários, para a
realização de determinadas tarefas pré-definidas, em um contexto previamente especificado.
São avaliadas neste estudo as dimensões de usabilidade prevista na ISO 9241-11, a saber,
eficiência, eficácia e satisfação.
São utilizadas somente quatro métricas para medir as dimensões de usabilidade propostas na
ISO 9241-11, e elas foram selecionadas por serem algumas das mais freqüentemente
utilizadas nos estudos de avaliações somativas de usabilidade pesquisados.
1.7 ORGANIZAÇÃO DO ESTUDO
A fim de uma adequada compreensão do conteúdo deste trabalho, ele foi dividido em seis
capítulos. O Capítulo 1 trouxe a Introdução do trabalho, na qual foram definidos a
contextualização da pesquisa, o problema de pesquisa e os objetivos gerais e específicos do
estudo, além da relevância e delimitações do trabalho.
No Capítulo 2, é feita a classificação da pesquisa segundo Vergara (2000), a fim de se
permitir uma adequada compreensão dos métodos científicos empregados ao longo do
trabalho.
No Capítulo 3, é apresentada a revisão bibliográfica contemplando as definições de
usabilidade encontradas na literatura, assim como algumas das principais métricas utilizadas
7
para se efetuar uma avaliação somativa da usabilidade de sistemas. São apresentados também
os principais conceitos da lógica fuzzy, a fim de se formar um arcabouço teórico adequado à
compreensão da metodologia de avaliação de usabilidade a ser apresentada.
No capítulo 4, a metodologia para avaliação somativa da usabilidade, utilizando sistemas de
inferência fuzzy, é descrita. Um passo a passo detalhado das operações a serem realizadas
para a aplicação do método é fornecido, de modo que ele possa ser completamente
compreendido e reproduzido.
No capítulo 5 é feita a aplicação da metodologia ao caso concreto, a fim de validá-la e de
demonstrar sua utilidade e utilização. São apresentados e discutidos, também, os resultados
obtidos nos testes realizados.
Por fim, no capítulo 6 são apresentadas as conclusões do estudo, assim como são formuladas
sugestões de temas para trabalhos futuros, considerando a mesma linha de pesquisa adotada
neste trabalho.
8
2 METODOLOGIA DA PESQUISA CIENTÍFICA
Vergara (2000) propõe que uma pesquisa pode ser classificada conforme dois critérios
básicos: quanto aos fins e quanto aos meios.
Quanto aos fins, uma pesquisa pode ser do tipo exploratória, descritiva, explicativa,
metodológica, aplicada ou intervencionista. Já quanto aos meios, a pesquisa pode ser
classificada como sendo de campo, de laboratório, documental, bibliográfica, experimental,
ex post facto, participante, pesquisa-ação ou estudo de caso.
Este estudo, quanto aos fins, pode ser classificado como metodológico e aplicado, e, quanto
aos meios, bibliográfico e pesquisa de laboratório.
Metodológico porque durante o desenrolar do trabalho, foram apresentados passos e
procedimentos muito bem definidos para viabilizar uma avaliação somativa de usabilidade de
sistemas com base na lógica fuzzy, mais especificamente, com base nos sistemas de inferência
fuzzy. E, segundo Vergara (2000), tipos de pesquisa como esse, que propõem caminhos,
formas, maneiras e procedimentos para se atingir um determinado fim, permitindo a
manipulação da realidade, devem ser classificados como do tipo metodológico.
9
A característica aplicada da pesquisa advém do fato de a metodologia proposta ter sido
desenvolvida para aplicação em situações reais, para resolver problemas concretos com
finalidade prática.
Quanto aos meios, a pesquisa é bibliográfica quando se baseia na literatura para identificar e
esclarecer as principais questões relacionadas aos procedimentos de avaliação da usabilidade,
e quando busca fornecer a base teórica para compreensão dos conceitos da lógica fuzzy, os
quais são utilizados na metodologia apresentada.
Observa-se, ainda, que como a metodologia proposta foi aplicada ao caso concreto em
ambiente controlado, do tipo laboratório, a fim de ser validada, a pesquisa também pode ser
classificada, quanto aos meios, como sendo do tipo laboratorial. Para a realização dos testes
de usabilidade em ambiente controlado, foram seguidas as orientações de Nielsen (1993),
Dumas e Redish (1999) e Tullis e Albert (2008), trabalhos que abordam as principais questões
relacionadas à realização desse tipo de avaliação.
10
3 REVISÃO DA LITERATURA
Nas últimas décadas o uso de computadores vem se tornando cada vez significativo dentro
das empresas. Produtos de software permeiam praticamente todas as áreas de uma companhia,
viabilizando e otimizando a realização de uma série de atividades operacionais e estratégicas.
Este avanço da tecnologia exigiu que cada vez mais pessoas com pouco ou nenhum
conhecimento ou afinidade com o uso de computadores passassem a utilizá-los rotineiramente
para a realização de suas tarefas.
Nesse contexto, não bastavam mais aos produtos de software simplesmente executarem as
funcionalidades desejadas, deles esperavam-se também características como facilidade no
manuseio, por meio de comunicação amigável, facilidade de compreensão e de aprendizado.
Tudo isso para proporcionar um uso mais eficiente desses softwares e uma maior aceitação
deles, além de diminuir as necessidades de treinamento e de custos com manutenção.
Surgiram então novas abordagens que direcionaram o processo de desenvolvimento de
softwares para a usabilidade do produto, em que o usuário final passou a ser mais escutado e
observado, assim como seu ambiente de trabalho melhor compreendido. A usabilidade passou
a ser um atributo indispensável para a qualidade final dos produtos de software, ao lado de
11
aspectos técnicos tais como funcionalidade e confiabilidade (DILLON E MIGUIRE, 1993),
devendo ser medida e avaliada durante todo o ciclo de vida do produto, desde a fase de
desenvolvimento até a implementação.
3.1 USABILIDADE
O termo usabilidade (Usability) começou a ser utilizado no início da década de 1980, para
substituir a expressão “user friendly”, que descrevia sistemas de computador fáceis de serem
utilizados por seus usuários, e que proporcionavam certa satisfação quando do uso. Com o
tempo, o termo “user friendly” foi criticado por ter uma conotação excessivamente vaga e
subjetiva (BEVAN et al., 1992; NIELSEN, 1993). Lewis (2006) ressalta que um dos
primeiros autores a incluir a palavra usabilidade no título de uma publicação foi Bennett
(1979).
Usabilidade é um conceito central na área de conhecimento denominada Interação Homem-
Computador (IHC), campo este que se preocupa com o projeto, avaliação e implementação de
sistemas de computador interativos para uso humano, e com o estudo dos principais
fenômenos que os cercam (ACM SIGCHI, 1992).
Diversas disciplinas têm contribuído para o aprimoramento da usabilidade de um produto,
uma vez que o campo da IHC é multidisciplinar (PREECE et al., 1994). Dentre elas podemos
citar a ergonomia, a psicologia cognitiva, a psicologia social e organizacional, a engenharia, a
ciência da computação e a lingüística.
Neste trabalho abordaremos a usabilidade sob a ótica da engenharia, mais especificamente da
Engenharia de Usabilidade, em que o foco é verificar, de maneira mais objetiva, se um
produto atende ou não a características de usabilidade pré-definidas. Good et al. (1986) define
12
Engenharia de Usabilidade como um processo, fundamentado na engenharia clássica, que
consiste em especificar, quantitativa e antecipadamente, quais as características de
usabilidade, e em que proporções, um produto a ser desenvolvido deverá apresentar. Segundo
o autor, sem especificações de usabilidade mensuráveis, não há como determinar as
necessidades de usabilidade de um produto, ou medir se o produto acabado atende ou não
àquelas necessidades.
Mas o que é exatamente usabilidade, e quais critérios devem ser considerados em uma
avaliação mais objetiva? A seguir serão apresentadas três visões clássicas da usabilidade
enquanto atributo mensurável de produtos, são elas: Shackel (1991), Nielsen (1993) e ISO
9241-11 (1998).
3.1.1 Usabilidade segundo Shackel (1991)
Shakel (1991) define a usabilidade de um sistema ou equipamento como sendo a capacidade
de ele ser usado fácil e eficientemente por um universo especificado de usuários, frente a
determinados níveis de treinamentos e suporte fornecidos, de modo que se possa completar
um conjunto especificado de tarefas. O autor ressalta, ainda, que a usabilidade advém do
contexto de utilização do produto, e que devem ser consideradas as características dos
usuários, das tarefas executadas e do ambiente quando da análise da usabilidade. Assim, a
usabilidade de um produto pode ser considerada boa para um determinado grupo de usuários,
e, ao mesmo tempo, ruim ou excelente para outro grupo que possua características diferentes.
O autor desenvolveu um modelo de percepção de produtos em que a usabilidade, juntamente
com os critérios de utilidade, capacidade de agradar e custos, é associada à aceitação desses
produtos, conforme indicado na figura 1.
13
Figura 1 – Modelo de aceitação de produtos (Shackel, 1991)
Utilidade está relacionada ao mapeamento das necessidades dos usuários com as
funcionalidades do produto. Enquanto capacidade de agradar refere-se às avaliações
subjetivas do usuário. Já os custos estão relacionados aos encargos econômicos, sociais e
organizacionais decorrentes da aceitação do produto.
Conforme pode ser observado na Figura 1, o autor sugere alguns critérios de usabilidade
segundo os quais a usabilidade deve ser especificada e medida. Dessa forma, um sistema para
ser considerado usável deve ser avaliado frente aos critérios de:
Eficácia (Effectiveness) – relativa ao tempo gasto e ao número de erros cometidos durante a
execução das tarefas.
Facilidade de Aprendizado (Learnability) – relacionada ao desempenho, à quantidade de
treinamento e à freqüência de uso.
Figura 1 –Modelo de aceitação de produtos (Shackel, 1991)
14
Flexibilidade (Flexibility) – associada à possibilidade de adaptar-se às tarefas e aos
ambientes.
Atitude Mental e Comportamental (Attitude) – relativas a aspectos como fadiga,
desconforto, frustração e empenho.
3.1.2 Usabilidade segundo Nielsen
Nielsen (1993), assim como Shachel (1991), compreende a usabilidade como um critério que
influencia a aceitação do produto. Para ele, usabilidade é uma questão de quão bem um
usuário pode usar as funcionalidades modeladas em um sistema.
Nielsen (1993) considerou que a aceitação de um sistema podia ser mensurada a partir dos
critérios de confiabilidade, custos, compatibilidade e aplicabilidade (usefulness). A
aplicabilidade, por sua vez, foi definida através da utilidade e da usabilidade do produto,
conforme pode ser observado na Figura 2.
Figura 2 – Modelo de aceitação de produtos (Nielsen, 1993)
15
Utilidade está relacionada ao atendimento de todas as necessidades do usuário pelas
funcionalidades do sistema, enquanto que usabilidade refere-se ao quão aproveitável são tais
funcionalidades.
Nielsen descreve usabilidade de um sistema em função de cinco características que devem ser
medidas, são elas:
Facilidade de aprender (Learnability) – deve ser fácil de aprender, de forma que o usuário
possa começar a trabalhar com o sistema rapidamente.
Eficiência (Efficiency) – deve ser eficiente no uso. Uma vez que o usuário aprendeu a utilizar
o sistema, um alto nível de produtividade já deve ser possível.
Memorização (Memorability) – deve ser fácil para relembrar. Deve ser possível voltar a
utilizar o sistema, depois de certo tempo afastado, sem a necessidade de um novo treinamento.
Taxa de erros (Errors) – deve haver baixa taxa de erros, de forma que os usuários cometam
poucos erros ao utilizarem o sistema. E, ainda, quando da ocorrência de algum erro, este deve
ser facilmente contornado ou resolvido.
Satisfação (Satisfaction) – deve ser prazeroso e agradável, de forma que os usuários gostem
de operá-lo, e sintam-se subjetivamente satisfeitos.
Nielsen (1993) também ressalta que a usabilidade depende do contexto no qual ela é avaliada,
devendo ser considerados aspectos como diferenças entre usuários e tipos de tarefas sendo
executadas.
16
3.1.3 Usabilidade segundo a ISO 9241-11
A International Organization for Standardization (ISO) 9241 é o padrão que estabelece
requisitos ergonômicos para o trabalho de escritório com computadores, e sua parte 11
dedica-se exclusivamente a orientações sobre usabilidade. A ISO 9241-11 define amplamente
usabilidade como “a extensão com que um produto pode ser utilizado por determinados
usuários, para atingir determinados objetivos com eficácia (effectiveness), eficiência
(efficiency) e satisfação (satisfaction), em um contexto de uso específico”.
A fim de uma melhor compreensão dos conceitos, temos:
Eficácia – refere-se à precisão e à completeza com que os usuários atingem objetivos
previamente especificados.
Eficiência – está relacionada à quantidade de recursos gastos pelos usuários em relação à
precisão e à completeza com que eles atingem os objetivos especificados.
Satisfação – diz respeito ao conforto e à atitude positiva ao se utilizar o produto.
Contexto de Uso – compreende usuários, tarefas, equipamentos (hardware, software e
materiais) e ambientes físico e social nos quais um produto é utilizado.
A definição proposta pela ISO 9241-11 enfatiza, assim como Shachel (1991) e Nielsen
(1993), que a usabilidade não é um conceito absoluto, mas altamente depende do contexto de
utilização. Dessa forma, um mesmo produto pode ter diferentes níveis de usabilidade quando
usado em diferentes contextos. Alterações no contexto, como fornecimento de treinamento
aos usuários e alterações na iluminação, podem alterar os resultados das avaliações de
17
desempenho e de satisfação, o que conseqüentemente alteram a usabilidade do produto
analisado. A figura 3 descreve o relacionamento entre os conceitos acima apresentados.
Figura 3 – Estrutura da usabilidade, conforme adaptação da ISO 9241-11
Diferentemente de Shackel (1991) e de Nielsen (1993), a ISO 9241-11 não faz
recomendações específicas sobre quais atributos um produto deve possuir para ser
considerado usável. O padrão propõe-se a avaliar a usabilidade de maneira mais ampla, com
base no alcance dos objetivos e das necessidades dos usuários, e para isso sugere e utiliza
medidas de desempenho e de satisfação.
O padrão ressalta que “medidas de desempenho e satisfação dos usuários avaliam o sistema
de trabalho como um todo, e, quando um produto é o foco de interesse, estas medidas
fornecem informações sobre a usabilidade daquele produto no contexto particular de uso
proporcionado pelo restante do sistema de trabalho”.
A definição de usabilidade apresentada pela ISO 9241-11 está alinhada com a abordagem
adotada por BEVAN (1994, 1995), em que a usabilidade do produto como um todo pode ser
18
avaliada frente sua qualidade de uso. Bevan (1994) descreve qualidade de uso como a
extensão com que um produto satisfaz necessidades implícitas e definidas, quando utilizado
sob determinadas condições.
Desse ponto de vista, a usabilidade deve ser avaliada frente às propriedades do sistema como
um todo, o que inclui as práticas de trabalho, a localização e aparência do produto, diferenças
individuais entre usuários e outros aspectos que estão intimamente relacionados com o
contexto de uso do produto. Os atributos específicos de um produto, como facilidade de
aprendizado e flexibilidade, por exemplo, nada mais são do que uma contribuição para a
qualidade de uso do sistema como um todo. E a usabilidade é a própria qualidade de uso do
produto, sendo o resultado da utilização do produto no mundo real, sendo consideradas as
características do ambiente, dos usuários e das tarefas onde o produto é utilizado, e podendo
ser avaliada por meio de métricas de desempenho (eficácia e eficiência) e de satisfação do
usuário.
Observa-se, então, que ora a usabilidade é tratada de maneira menos abrangente, sendo uma
característica do produto e dissociada da utilidade, conforme pode ser observado nas
definições de Shackel (1991) e de Nielsen (1993). Assim como pode ser abordada de maneira
mais abrangente, representando a extensão com que um produto pode ser utilizado para
atingir os propósitos por ele pretendidos, conforme definido na ISO 9241-11.
Queiroz (2001) sinaliza que enquanto Shachel (1991) e Nielsen (1993) consideram a
usabilidade como uma faceta da aceitação do produto pelo consumidor, o padrão ISO 9241-11
concebe a usabilidade de um produto a partir de um foco especialmente direcionado para a
avaliação da qualidade de trabalho.
19
E será a abordagem mais ampla de avaliação de usabilidade proposta pela ISO 9241-11 que
será considerada neste estudo. Primeiro porque ela apresenta uma maneira prática de se medir
a usabilidade global de um produto, por meio de métricas de desempenho e de satisfação que
são sugeridas no próprio corpo da norma. Segundo, devido à relevância que se tem dado na
literatura à norma ISO 9241-11, sendo um dos conceitos mais utilizados atualmente
(ALONSO-RIOS et al., 2010).
3.2 MÉTODOS DE AVALIAÇÃO
Na literatura, uma variedade de abordagens tem sido utilizada para avaliar a usabilidade de
produtos de software. A escolha da técnica de avaliação ou conjunto de técnicas a serem
utilizadas dependerá, primeiramente, do objetivo do estudo de usabilidade a ser realizado.
Avaliações de usabilidade podem concentrar-se em identificar erros na interface de um
produto, a fim de aprimorá-la, denominados estudos formativos. Ou podem objetivar medir a
usabilidade do produto, frente a determinados critérios e metas de usabilidade pré-definidas,
para se obter uma avaliação global da usabilidade do produto, avaliações estas denominadas
somativas (LEWIS, 2006).
Avaliações somativas, foco deste trabalho, são destinadas a responder questões como: os
objetivos de usabilidade foram alcançados? Como nosso produto se compara aos
concorrentes? Houve melhora de uma versão do produto para outra? (TULLIS E ALBERT,
2008).
Esses tipos de avaliações são viabilizados por meio de Testes de Usabilidade (Usability
Testing) (ANSI, 2001), os quais consistem basicamente em se efetuar testes com usuários
reais em um ambiente controlado, em que são simuladas, o quanto possível, as condições reais
20
de uso do sistema. Nesses testes, são solicitados aos usuários realizarem determinadas tarefas,
a fim de se capturar informações sobre o produto, sobre o usuário e sobre o processo de
interação. Podem ser utilizados equipamentos de captura de vídeo ou áudio, ou as
informações podem ser simplesmente anotadas. Também podem ser utilizados questionários
para a coleta de informações durante ou imediatamente após a realização dos testes. Uma das
grandes vantagens desse método é a participação de usuários reais na avaliação, enquanto
uma das desvantagens é a necessidade de grandes amostras de usuário para a obtenção de
dados confiáveis (NIELSEN, 1993; DUMAS, 1999; LEWIS, 2006).
Estudos online também têm sido utilizados para coletar informações em estudos somativos. A
vantagem dessa abordagem é que permite coletar um grande volume de informações em
períodos de tempo relativamente curtos. Como desvantagens podemos citar a necessidade de
ferramentas especializadas e a falta de contato direto como os usuários, o que pode acarretar
em perda de informações importantes sobre o processo de interação (TULLIS E ALBERT,
2008).
Antes, no entanto, da realização de qualquer coleta de informações, especialistas,
desenvolvedores, patrocinadores do sistema, dentre outros interessados na avaliação,
chamados neste estudo de stakeholders do processo de avaliação, devem definir
explicitamente os critérios de usabilidade a serem analisados, as métricas a serem utilizadas e
os objetivos de usabilidade a serem alcançados.
Dessa forma, analisaremos a seguir o conjunto de métricas freqüentemente utilizadas na
literatura para medir os critérios de usabilidade previstos na ISO 9241-11 (eficácia, eficiência
e satisfação), que, como já mencionado, serão utilizados neste trabalho. Veremos, ainda,
questões relacionadas à combinação dessas métricas para a criação de uma métrica única de
21
usabilidade, a qual facilita a comparação entre produtos, assim como aspectos imprecisos
relacionados à fixação dos objetivos de usabilidade a serem alcançados.
Antes de finalizarmos esta subseção, no entanto, cabe ressaltar que testes de usabilidade
também são uns dos métodos mais utilizados e eficientes para se detectar problemas na
interface de produtos (JEFFRIES, 1991), e que quando utilizado para esse propósito o
tamanho da amostra deixa de ser uma desvantagem, pois ela pode ser bem mais reduzida, em
torno de oito pessoas. Outras técnicas de avaliação freqüentemente utilizadas para a detecção
de erros são: avaliação heurística (NIELSEN, 1993), uso de diretrizes (SMITH E MOSIER,
1986) e revisões sistemáticas cognitivas - cognitive walkthroughs (POLSON et al., 1992).
3.3 MÉTRICAS DE USABILIDADE
Uma vez definido que a usabilidade será avaliada neste estudo por meio de métricas
relacionadas aos critérios de desempenho e de satisfação dos usuários, conforme indicado na
ISO 9241-11, devemos identificar em seguida as métricas de usabilidade que melhor
representam esses critérios.
Métricas nada mais são do que uma forma de medir ou avaliar um determinado fenômeno ou
coisa. Por meio delas são apresentados resultados quantitativos relacionados a aspectos de
interesse em um processo avaliatório. Quando aplicadas à usabilidade de produtos de
software, revelam informações sobre o processo de interação entre pessoas e sistemas.
As métricas devem ser selecionadas conforme os objetivos do estudo, as características do
produto e seu contexto de utilização. O objetivo de alguns produtos, por exemplo, podem ser
maximizar a eficiência, como é o caso de sistemas especialistas, enquanto outros podem
exigir uma grande satisfação dos usuários quando do uso, como é o caso de sites de vendas.
22
No caso dos sistemas especialistas, poder-se-ia, então, aumentar a quantidade de métricas de
desempenho. Já para sites de vendas, poderiam ser coletadas mais métricas de satisfação.
Haja vista que o propósito deste trabalho é uma avaliação somativa de usabilidade, com foco
na análise global da usabilidade do produto, visando à comparação entre versões diferentes do
mesmo produto, ou entre produtos similares, foram selecionadas quatro métricas genéricas
propostas no anexo B da ISO 9241-11, as quais são indicadas para avaliações global da
usabilidade de um produto. Duas delas serão utilizadas para medir a eficácia, uma para
eficiência e uma para satisfação, conforme pode ser visualizado na tabela 1. Ressalta-se que
tais métricas são recorrentes em estudos somativos de usabilidade, conforme pode ser
observado nos estudos de Sauro e Kindlund (2005), Chang e Dillon (2006) e na especificação
técnica ANSI (2001).
Critério Métrica Objetivo Eficácia Sucesso na realização da Tarefa
(Completude) Taxa de erros (Erros)
Reflete o percentual de sucesso dos usuários na realização de uma determinada tarefa Reflete a quantidade de erros cometidos durante a realização de uma determinada tarefa
Eficiência Tempo para realizar a tarefa (Eficiência)
Reflete o tempo necessário para completar uma tarefa
Satisfação Nível de satisfação (Satisfação) Reflete o nível de satisfação dos usuários com a realização de uma tarefa
Tabela 1 – Métricas para avaliação global de usabilidade
Apesar de não estar dentro do escopo deste trabalho, cabe ressaltar que na literatura podem
ser encontradas várias outras métricas de desempenho e de satisfação as quais podem ser
utilizadas para medir características mais específicas da usabilidade de um produto, como, por
exemplo, para medir a facilidade de aprendizado. Exemplos de tais métricas podem ser
encontrados em Nielsen (1993), no anexo B da ISO 9241-11, em Dumas e Redish (1999) e
em Tullis e Albert (2008).
23
3.3.1 Consolidação de Métricas
Como já apresentado, para uma avaliação global de usabilidade de um produto de software,
diversas métricas de usabilidade contemplando os critérios de desempenho e de satisfação
precisam ser coletadas. No entanto, em muitas ocasiões, não se deseja trabalhar com os
resultados dessas métricas isoladamente, mais sim com o resultado conjunto das informações
coletadas, para uma visão global da usabilidade do produto.
Após testes de usabilidade, gestores, desenvolvedores e outros membros da equipe de projeto
freqüentemente precisam de informações consolidadas e significativas que permitam a eles
saber, por exemplo, se houve melhora na usabilidade do produto frente a outras versões
anteriormente desenvolvidas, ou qual o resultado da avaliação da usabilidade frente aos
objetivos de usabilidade pré-definidos. Para atender a essa demanda por informações mais
simples de serem interpretadas e utilizadas, são encontradas na literatura esforços para
consolidar os diferentes tipos de métricas de usabilidade em uma única métrica que represente
a usabilidade do sistema como um todo, conforme pode ser observado nos estudos de Sauro e
Kindlund (2005) e Chang e Dillon, (2006).
Combinar métricas, no entanto, não é uma tarefa muito trivial, pois algumas das métricas
apresentam escalas diferentes, por exemplo: métricas de sucesso na realização das tarefas são
apresentadas em percentuais, enquanto métricas de tempo de execução são apresentadas em
segundos. Além disso, há a necessidade de se avaliar o grau de importância entre as métricas.
Métricas de eficácia, por exemplo, podem ser mais importantes do que métricas de eficiência
para alguns produtos, como já foi mencionado anteriormente.
24
Outro aspecto que deve ser observado quando da consolidação é a definição dos objetivos de
usabilidade a serem atingidos para cada métrica, os quais devem ser definidos pelos
stakeholders do projeto. Como exemplos de metas a serem alcançadas, podemos citar:
usuários experientes devem ser capazes de realizar uma determinada tarefa em até 60
segundos, ou a média do número de erros para realização de uma série de tarefas não deve ser
maior que quatro unidades. Pontuar a usabilidade somente é possível mediante a definição de
objetivos de usabilidade, frente aos quais se podem fazer avaliações e julgamentos.
Várias informações imprecisas acabam emergindo nesse processo de consolidação. Utilizando
o exemplo acima, considere que 80% dos usuários conseguiram realizar a tarefa em até 60
segundos. Agora vem a pergunta, como tratar os valores imediatamente superiores a essa meta
de 60 segundos, usuários que realizaram a tarefa em 65 segundos estão totalmente fora da
meta? Como definir esses limites? Considere também que a métrica de eficiência seja
considerada mais importante que a métrica de satisfação para um determinado produto. Como
definir exatamente o quanto é mais importante? As respostas a essas perguntas são imprecisas
e subjetivas, e devem ser fornecidas pelos envolvidos na avaliação.
Antes de apresentarmos um método para avaliação somativa de usabilidade na qual a lógica
fuzzy permitirá coletar e combinar mais facilmente e adequadamente as informações
imprecisas acima mencionadas, advindas dos envolvidos na avaliação, para a criação de uma
métrica consolidada de usabilidade, devemos entender o que lógica fuzzy significa e para que
ela é utilizada.
25
3.4 LÓGICA FUZZY
A teoria dos conjuntos fuzzy foi concebida por L.A. Zadeh, na década de 1960, com o
objetivo de permitir que informações imprecisas ou vagas pudessem ser tratadas por meio de
modelos matemáticos. Zadeh (1965) observou que classes de objetos encontrados no mundo
real não tinham critérios de associação precisamente definidos, por exemplo: é evidente que
uma pessoa com 2,10m de altura pertença à classe das pessoas altas, mas como você
classificaria uma pessoa com 1,79m? Existe certa ambigüidade e subjetividade nessa
classificação. Assim, diferentemente da lógica clássica, em que essa pessoa simplesmente
pertenceria, ou não, ao conjunto dos altos, Zadeh deu origem à lógica difusa, na qual um
elemento pode pertencer ao mesmo tempo a dois conjuntos distintos, mas em proporções
diferentes. Uma pessoa com 1,79m, então, pode ao mesmo tempo pertencer ao conjunto das
pessoas altas e ao conjunto das pessoas medianas.
Um exemplo simples, mas bem elucidativo, da abordagem fuzzy é expresso por Oliveira
(1999), em que ele pede ao leitor para classificar o status de três copos quanto ao grau
preenchimento de cada um deles, conforme ilustrado na figura 4. Devem ser utilizados, no
entanto, somente os predicados CHEIO e VAZIO.
Figura 4 – Exemplo de abordagem fuzzy
26
Como expressar a condição do copo central? Ele está meio CHEIO ou meio VAZIO? Pela
abordagem fuzzy, descrevemos os status da seguinte forma:
1 – O primeiro copo está CHEIO com grau 100% e VAZIO com grau 0%.
2 – O copo central está CHEIO com grau 50% e VAZIO com grau 50%.
3 – O copo da direita está CHEIO com grau 0% e VAZIO com grau 100%.
Diferentemente dos paradigmas tradicionais, em que são exigidas tomadas de decisões
abruptas, a teoria dos conjuntos fuzzy permite a coexistência de termos qualitativos
aparentemente antagônicos, como CHEIO e VAZIO, na classificação de um mesmo elemento.
O copo central, então, está meio CHEIO e meio VAZIO.
A teoria fuzzy teve suas primeiras aplicações em processos de automação e controle
industriais, mas atualmente é empregada nos mais variados campos de estudo, passando pela
engenharia e chegando às áreas das ciências sociais e médicas (OLIVEIRA e AGUIAR,
1999). Na avaliação da usabilidade de sistemas, a lógica fuzzy também tem sido empregada e
seu valor demonstrado, como pode ser observado nos estudos de Dillon e Chang (2006), Hub
e Zatlouvkal (2008) e More et al., (2010).
Nas próximas seções serão evidenciados alguns dos principais conceitos relacionados à teoria
dos conjuntos fuzzy, a fim de se proporcionar uma adequada compreensão da metodologia de
avaliação somativa de usabilidade proposta neste estudo, e que será detalhada no próximo
capítulo.
27
3.4.1 Conjuntos Fuzzy
Um conjunto fuzzy é uma classe de elementos com um grau de pertinência contínuo, no
intervalo [0,1]. Retomando os exemplos da seção anterior, são classes: a classe dos copos
cheios, a classe dos copos vazios, a classe das pessoas altas e a classe das pessoas medianas.
Conforme Caldeiras et al. (1997), na teoria clássica dos conjuntos, o conceito de pertinência
de um elemento a um conjunto é bem definido, pois, dado um conjunto A em um universo X,
os elementos desse universo simplesmente pertencem ou não pertencem àquele conjunto A. O
que pode ser expresso pela função característica f A:
f A (x) = îíì
Ï
Î
A x se somente e se 0
A x se somente e se 1
Ainda segundo Caldeiras et al. (1997), o professor Zadeh generalizou essa função
característica de modo que ela pudesse assumir um número infinito de valores no intervalo
[0,1]. Assim, um conjunto fuzzy A em um universo X é definido por uma função de
pertinência ]1,0[ X :)( ®xAm e representado por um conjunto de pares ordenados
A = { xxA /)(m } X xÎ
Em que )(xAm indica o quanto x é compatível com o conjunto A. Cabe lembrar que um
elemento pode pertencer a mais de um conjunto difuso com diferentes graus de pertinência,
como já indicado na seção anterior.
28
3.4.2 Variáveis Lingüísticas
Uma variável lingüística nada mais é que uma variável cujos valores são expressos por meio
de conjuntos fuzzy, mais especificamente, por intermédio das funções de pertinência desses
conjuntos. Por exemplo, a satisfação de um conjunto de usuários com um determinado
sistema pode ser descrita por meio de uma variável lingüística denominada nível de satisfação
do usuário, que por sua vez pode ser dividida em três conjuntos fuzzy com os seguintes
valores lingüísticos: Ruim, Boa e Excelente, conforme figura 5, a seguir:
Ruim Boa Excelente
Pertinência
Satisfação do Usuário1 4 7
1
Figura 5 – Termos difusos para nível de satisfação
São as funções de pertinência que tornam possível tratar quantitativamente conceitos vagos e
imprecisos, e elas podem assumir diferentes formas. As mais freqüentemente utilizadas são as
triangulares, como exemplificado na Figura 5, as trapezoidais, as gaussianas e as curvas em
forma de “S”. Para a escolha dos formatos das funções de pertinência, devem ser
considerados não só o conceito que se deseja representar, mas também o contexto envolvido
(HUB E ZATLOUVKAL, 2008). Por exemplo: o conceito de satisfação boa tem diferentes
significados para diferentes contextos. Um determinado nível de satisfação considerado bom
para sistemas coorporativos internos pode ser considerado ruim caso estejamos avaliando um
sistema para compras pela internet, como um site de passagens aéreas. Contudo, podemos
dizer que as formas das funções de pertinência e, conseqüentemente, as variáveis lingüísticas
são altamente dependentes do contexto, e devem ser capazes de representá-lo.
29
3.4.3 Sistema de Inferência Fuzzy
Deseja-se neste trabalho, como já descrito no primeiro capítulo, utilizar a lógica fuzzy para
combinar as informações advindas das métricas de desempenho e de satisfação, obtidas em
um teste de usabilidade, de forma a obter uma pontuação única para representar a usabilidade
da tarefa e do sistema como um todo. Isso será viabilizado por meio de um sistema de
inferência fuzzy, o qual permitirá o mapeamento dos dados das métricas de usabilidade
coletadas (completude, erros, eficiência e satisfação) em um valor único de usabilidade, tendo
como base as informações dos envolvidos na avaliação de usabilidade.
Sistemas de inferência fuzzy são capazes de utilizar conhecimentos vagos e imprecisos
obtidos de operadores humanos. Esses conhecimentos são sintetizados em um conjunto de
regras de controle do tipo Se<premissa>Então<conclusão>, permitindo uma descrição
lingüística do problema ou da questão analisada. Um mecanismo de inferência permite
combinar dados de um determinado conjunto de variáveis de entrada com uma base de regras
fuzzy, a fim de se obter conclusões sobre uma especificada variável de saída.
Para uma melhor compreensão, podemos entender um sistema de inferência fuzzy clássico
como um conjunto de quatro componentes principais: (1) Um fuzzificador, o qual visa
transformar as informações de entrada em conjuntos fuzzy; (2) Uma base de regras, com um
determinado número de regras fuzzy do tipo “Se...então”. (3) Um método de inferência, o
qual implica na escolha de um tipo de raciocínio fuzzy para se obter uma saída fuzzy; (4) Um
defuzzyficador, para traduzir a saída por um valor numérico (KLIR AND YUAN, 1995 Apud
HUB E ZATLOUKAL, 2008). A representação gráfica do funcionamento de um sistema de
inferência clássico, do tipo Mamdani (1975), pode ser visualizada na Figura 6.
30
Figura 6 – Sistema de Inferência Fuzzy
Fonte: Caldeiras et al. (1997)
Na fuzzificação, os dados coletados advindos de medições ou observações são mapeados para
conjuntos fuzzy. Considere, por exemplo, que a média de satisfação dos usuários com um
determinado software seja de 5 pontos, em um nível de satisfação que varie de 1 a 7, e que a
variável lingüística representando todos os níveis de satisfação tenha sido definida conforme
apresentado na figura 7. Nesta fase haveria, então, um mapeamento do valor da variável de
entrada, também chamado de valor Crisp, e que neste caso vale 5, para os conjuntos fuzzy
correspondentes, ou seja, BOA e EXCELENTE.
Ruim Boa Excelente
Pertinência
Satisfação do Usuário1 4 7
1
5
Figura 7 – Variável lingüística nível de satisfação do usuário
31
As regras fuzzy a serem utilizadas no procedimento de inferência, como já mencionado, são
fornecidas por operadores humanos, em geral especialistas, que no nosso caso são todos
aqueles envolvidos na avaliação da usabilidade do sistema, como: especialistas em
usabilidade, desenvolvedores do sistema, gerentes de projeto e patrocinadores do projeto.
Essas regras são de vital importância para o funcionamento do sistema de inferência,
representando, juntamente com as curvas de pertinência das variáveis lingüísticas de entrada,
as quais também serão modeladas pelos especialistas, todo o conhecimento humano
transmitido para o sistema de inferência, o qual processará essas informações.
A regras fuzzy, de modo geral, assumem a seguinte estrutura:
Se A então B
A qual significa que se a premissa A for atingida, então a conclusão B será realizada.
Premissas podem estar relacionadas por meio de conectivos lógicos de conjunção (E) e de
disjunção (OU). Um exemplo de regra de controle fuzzy para este estudo, em que temos
múltiplas variáveis de entrada e uma única variável de saída, seria:
Se satifação é Excelente E eficiência é Boa Então usabilidade é alta
Segundo Sandri e Correa (1999) é necessário que sejam elaboradas tantas regras quanto forem
necessárias para que haja sempre uma regra a ser disparada para qualquer entrada existente.
Além disso, devem ser evitadas contradições entre essas regras.
O procedimento de inferência em si utiliza as variáveis de entrada devidamente
“fuzzyficadas” para avaliar as regras de controle armazenadas na base de regras, e ativar as
32
regras que sejam atendidas. Todas as regras satisfeitas são ativadas paralelamente, a fim de
gerar um valor de saída.
Na literatura, as duas principais abordagens de sistemas de inferência fuzzy regularmente
utilizadas são: o modelo de Mamdani (1975) e o modelo de Takagi e Sugeno (1985). Em
ambas as abordagens as condições de entrada são dadas por meio de conjuntos fuzzy, como
até aqui explicado. Porém, enquanto que no modelo de Mamdani a saída está na forma de um
conjunto difuso, o qual precisa ser defuzzificado, conforme apresentado na figura 6, no
modelo Takagi e Sugeno a saída é expressa na forma de uma função linear precisa. No
modelo de Takagi e Sugeno, então, não é necessário a fase de defuzzificação.
Foi utilizado neste estudo o método de inferência proposto por Mamdani, a fim de facilitar o
uso da metodologia por parte dos especialistas de usabilidade, uma vez que o método é bem
intuitivo, e possui ampla aceitação, além de ser bem adequado para entradas fornecidas por
humanos.
Para a defuzzificação do conjunto fuzzy de saída do método Mamdani, a fim de se obter um
número real que representará a usabilidade, podem ser utilizadas várias abordagens, como
método do centróide, método do bissetor, método da média dos máximos, dentre outros. Neste
trabalho, foi utilizado o método da centróide, ou do centro de gravidade, o qual nos fornece
um valor correspondente à abscissa do baricentro do gráfico da função de pertinência. Este
método de defuzzificação é um dos mais freqüentemente utilizados e, segundo Oliveira e
Aguiar (1999), possui uma série de características desejáveis, como: simplicidade de cálculo,
uniformidade de aplicação a conjuntos discretos e contínuos e continuidade em relação à
topologia da função de pertinência.
33
4 SISTEMA DE INFERÊNCIA FUZZY PARA AVALIAÇÃO DA USABILIDADE
Uma vez explicado que a usabilidade global de um produto pode ser avaliada mediante os
critérios de desempenho e de satisfação, e já identificadas as métricas que são freqüentemente
citadas na literatura para avaliar esses critérios, será descrito agora a forma pela qual a lógica
fuzzy pode ser utilizada para criar uma figura de métrica que represente a usabilidade da
tarefa e do produto como um todo. O passo a passo do método proposto está representado na
figura 8, e será detalhado mais adiante.
Figura 8 – Passos para avaliação da usabilidade
34
4.1 SELECIONAR O SISTEMA
O primeiro passo consiste em identificar e descrever sucintamente o sistema a ser avaliado.
Informações básicas devem ser relacionadas, como:
– Nome formal do produto e a versão que está sendo testada, assim como o propósito do
sistema.
– Parte ou partes do sistema sob análise.
– Descrição, de maneira geral, dos usuários que interagem com o sistema.
Como se deseja medir a usabilidade do produto como um todo, é fundamental que já exista
pelo menos uma versão em pleno funcionamento do sistema, a qual já possa ser testada frente
a usuários reais.
4.2 IDENTIFICAR O CONTEXTO DE USO
A usabilidade de um produto do software somente pode ser avaliada mediante detalhada
especificação do contexto de uso. Tanto Shackel (1991), quanto Nielsen (1993) e a ISO
(1998) preocuparam-se em relacionar a usabilidade de um produto ao seu contexto de uso. O
nível de usabilidade é altamente dependente das características dos usuários, das tarefas, dos
equipamentos e dos ambientes. Um sistema pode ser avaliado como de excelente
usabilidade para um determinado conjunto de usuários e, ao mesmo tempo, de baixa
usabilidade para outro grupo com características diferentes. Dessa forma, especial atenção
deve ser dada à especificação do contexto de uso quando da realização de testes de
35
usabilidade, devendo ser a mais completa possível, de forma a garantir uma adequada análise
das informações coletadas, assim como permitir possíveis replicações do estudo.
Inúmeras informações podem ser relacionadas na descrição do contexto de uso de um
produto, devendo os responsáveis pelo teste de usabilidade identificar aquelas que podem
afetar, de maneira significativa, o resultado do teste de usabilidade do produto.
Características do contexto de uso que merecem atenção podem ser encontradas na ISO 9241-
11 e no relatório técnico ANSI (2001). A seguir são relacionadas algumas delas:
Usuários - A descrição dos usuários deve incluir características relevantes relacionadas a seus
conhecimentos e habilidades, como experiência com o sistema, experiência organizacional,
nível de instrução e treinamento, assim como características pessoais, como idade, sexo e
habilidades intelectuais.
Tarefas - A fim de descrever as tarefas selecionadas para o teste de usabilidade, quaisquer
características que podem afetar a usabilidade devem ser relacionadas, como freqüência de
utilização da tarefa, duração da tarefa e tarefas relacionadas. Um conjunto de tarefas
relevantes do sistema deve ser selecionado, para que a usabilidade do sistema como um todo
possa ser adequadamente representada.
Equipamentos - Características dos hardwares e softwares utilizados no teste de usabilidade
também precisam ser descritas, como do sistema operacional, do navegador utilizado
(browser), características da rede e do computador.
36
Ambientes - Informações sobre o ambiente físico e organizacional também podem ser
necessárias, como condições do local de trabalho (barulho, temperatura e espaço), assim como
informações da estrutura organizacional (práticas gerenciais e horas trabalhadas).
4.3 IDENTIFICAR OBJETIVOS DE USABILIDADE
Objetivos de usabilidade descrevem os níveis de usabilidade aceitáveis para cada uma das
métricas escolhidas, e que serão utilizadas na avaliação (Nielsen, 1993). Para o critério de
eficiência, por exemplo, poderíamos ter como objetivo que usuários experientes devem ser
capazes de realizar uma determinada tarefa em torno de 60 segundos. A definição desses
objetivos deve ser realizada antes do teste de usabilidade pelos envolvidos na avaliação, e
deve basear-se na qualidade esperada para o sistema.
Antes, no entanto, de serem definidos os objetivos que serão perseguidos para cada métrica, é
crucial a definição de como as métricas serão padronizadas e coletadas. Dessa forma, para
efeito desta metodologia, as informações das métricas selecionadas neste trabalho (Tabela 1)
serão padronizadas e coletadas conforme a seguir:
Completude – esta métrica reflete o quanto cada tarefa foi completada com sucesso pelos
usuários. Uma vez definidas as tarefas que serão executadas pelos usuários no teste de
usabilidade, esta métrica será medida de maneira binária, ou seja, ou um usuário é capaz de
completar uma determinada tarefa com sucesso ou ele não é. Assim, a cada tarefa realizada
pelo usuário, ou será atribuída uma pontuação de sucesso, representada pelo número 1, ou
uma pontuação de fracasso, representada pelo número 0. Por exemplo, caso fossem utilizados
30 usuários no teste de usabilidade, e 27 deles realizassem com sucesso uma determinada
37
tarefa, a completude desta tarefa seria de 90%, que é a razão entre a quantidade de sucessos
efetivamente conseguida e o número total de tentativas de sucesso.
Para a correta mensuração desta métrica, deve-se especificar com detalhes o que consiste uma
tarefa executada com sucesso, ou seja, o início e o fim de cada tarefa devem estar bem
definidos.
Erros – esta métrica reflete a quantidade de erros realizada pelos usuários quando da
realização de uma tarefa. Serão consideradas como erros ações incorretas que possam levar a
uma falha na execução de uma determinada tarefa, como: seleção errada de um itens de menu,
preenchimento errado de um campos por deficiência no sistema, falta de compreensão do
usuário sobre o caminho a ser seguido para realização de uma tarefa ou executar uma
seqüência errada de ações.
Para poder registrar os erros cometidos pelos usuários é muito importante que os aplicadores
do teste de usabilidade conheçam bem as tarefas que estão sendo executadas, pois somente
assim poderão ser identificados os erros que realmente podem afetar o sucesso da realização
da uma tarefa.
Cada erro cometido pelos usuários deve ser registrado, de forma que se possa calcular a média
de erros para cada tarefa. Tal média será posteriormente confrontada com o objetivo de
usabilidade definido, ou seja, com a média de erros definida como ideal para a tarefa avaliada.
Eficiência – esta métrica representará o tempo gasto para a execução de uma determinada
tarefa pelos usuários. A média de tempo para a realização de cada tarefa será calculada com
38
base nas informações de todos os usuários, e posteriormente será confrontada com o objetivo
de usabilidade para esta métrica, nesta mesma tarefa.
Satisfação – na literatura existem vários tipos de questionários criados especificamente para
obter informações sobre as experiência dos usuários quando da utilização de um determinado
sistema. Dentre os mais utilizados e citados estão o Questionnaire for User Satisfation
(QUIS), o Software Usability Measurement Inventory (SUMI), o Post-Study System Usability
Questionnaire (PSSUQ) e o After-Scenario Questionaire (ASQ).
Como desejamos pontuar a usabilidade para cada tarefa do sistema analisada, utilizaremos o
ASQ. Este questionário foi criado e validado por Jim Lewis (1991), e destina-se a avaliar a
satisfação do usuário logo após a realização de uma determinada tarefa ou conjunto de tarefas
relacionadas. O ASQ foi utilizado inicialmente pelos pesquisadores de usabilidade da IBM, e
avalia três dimensões que influenciam a satisfação do usuário com a usabilidade de um
sistema, são elas: facilidade para executar uma tarefa, tempo para executar uma tarefa e
adequação das informações de suporte (ajuda on-line, mensagens e documentação). Cada uma
dessas dimensões é avaliada em uma escala de 7 (sete) pontos, variando de concordo
totalmente, representada pelo número 1, a discordo totalmente, representada pelo número 7. A
versão do questionário utilizada na pesquisa pode ser visualizada no Apêndice A.
A média da satisfação de cada usuário com uma determinada tarefa variará então de 1 e 7, e a
média da satisfação de todos os usuários com essa tarefa será calculada por meio de média
aritmética simples das avaliações individuais. A média de satisfação com cada tarefa será
posteriormente comparada com a meta de usabilidade definida pelos stakeholders para cada
uma dessas tarefas.
39
Visto como as informações de desempenho e de satisfação deverão ser coletadas, pode-se
agora detalhar como os objetivos de usabilidade serão definidos. Um objetivo deve ser
definido para cada conjunto Tarefa X Métrica. Dessa forma, caso tenhamos 5 tarefas e 4
métricas, 20 objetivos de usabilidade deverão ser especificados.
Para cada objetivo deverá ser definida uma variável lingüística fuzzy para o representar,
contemplando os valores EXCELENTE, META E RUIM, conforme figura 5. META reflete
os valores de desempenho e de satisfação dos usuários ideais a serem atingidos, os quais são
idealizados e esperados pelos stakeholders. META representa valores de boa usabilidade.
EXCELENTE e RUIM, no entanto, representam valores fora da meta, ou seja, fora do
almejado, para mais ou menos, respectivamente.
Figura 9 – Exemplo de Objetivo de Usabilidade
Ao utilizarmos essa forma de representação dos objetivos de usabilidade, observa-se que a
transição entre os níveis de avaliação não é abrupta, representando o grau de subjetividade
envolvido na definição dos objetivos. No exemplo apresentado na figura 5, o centro da meta é
atingido se a média de tempo para realizar a tarefa 1 for de 60 segundos. No entanto, verifica-
se que caso a média atingida seja de 63 segundos, o nível de desempenho não estará
totalmente fora da meta, apenas não será META com pertinência igual a 1.
40
4.4 DEFINIR BASE DE REGRAS
Como já sinalizado em outras seções deste estudo, uma das questões que devem ser
consideradas quando da criação de uma métrica única de usabilidade é o peso que será
atribuído a cada um dos critérios e métricas utilizados no momento da consolidação. Tais
pesos são atribuídos pelos envolvidos na avaliação e dependem, dentre outras coisas, do tipo e
da finalidade de sistema avaliado.
A subjetividade é uma característica inerente a esse processo de ponderar a importância entre
critérios de avaliação, pois é impossível especificar de maneira exata o quanto um critério ou
métrica é mais importante que outro.
Assim, para tratar essa imprecisão mais adequadamente, a base de regras fuzzy será utilizada.
Desenvolvedores e conhecedores do sistema e outras pessoas diretamente envolvidas no
processo de avaliação da usabilidade, referenciados neste trabalho com stakeholders do
projeto, fornecerão as informações necessárias para a formulação dessa base de regras fuzzy,
a qual será posteriormente utilizada para definir o valor da usabilidade de cada tarefa e do
sistema como um todo, por meio de um sistema de inferência fuzzy.
Considerando que cada uma das métricas utilizadas neste estudo pode ser representada por
meio dos conjuntos difusos RUIM, META E EXCELENTE, regras como as descritas abaixo
devem ser elaboradas pelos stakeholders:
SE COMPLETUDE DA TAREFA É RUIM
ENTÃO USABILIDADE É RUIM
SE COMPLETUDE DA TAREFA É META E ERRO É RUIM
ENTÃO USABILIDADE É RUIM
:
:
41
SE COMPLETUDE DA TAREFA É EXCELENTE E ERRO É RUIM E TEMPO É RUIM
ENTÃO USABILILDADE É RUIM
SE COMPLETUDE DA TAREFA É EXCELENTE E ERRO É META E TEMPO É RUIM E SATISFAÇÃO É META
ENTÃO USABILILDADE É META
Consideraremos o mesmo conjunto de regras para todas as tarefas analisadas, no entanto, caso
seja de interesse da equipe envolvida na avaliação, cada tarefa pode ter seu próprio conjunto
de métricas. Ao utilizarmos o mesmo conjunto de regras para todas as tarefas, essa base de
regras pode funcionar como sendo uma espécie de critério ou política de avaliação definida
pela companhia para a avaliação de seus sistemas.
Deve ser observado que a variável de saída, definida como usabilidade, também será
representada por meio dos conjuntos difusos RUIM, META E EXCELENTE. O domínio
dessa variável linguística fuzzy variará de 0 a 10, e os stakeholders devem definir o intervalo
de valores pertencentes a cada um desses conjuntos difusos, assim como o formato das curvas
de pertinência. A figura 10 apresenta um exemplo de como a variável de saída, usabilidade,
pode ser definida. Nela, sistemas com boa usabilidade (META) têm notas em torno de 6,
tendo melhor ou pior usabilidade a medida que se afasta desse valor.
Figura 10 – Nível de Usabilidade
42
4.5 APLICAÇÃO DO TESTE DE USABILIDADE
Esta etapa consiste da realização propriamente dita do teste de usabilidade em ambiente
controlado, conforme já mencionado no item 3.2, no qual usuários previamente selecionados
executarão as tarefas que melhor representam o sistema como um todo ou parte dele.
Antes do início do teste, o aplicador deve apresentar ao usuário um pequeno tutorial com a
explicação de cada tarefa que ele deve executar, a fim de que o usuário possa tirar todas as
suas dúvidas e entender o que ele efetivamente deve fazer.
Para a coleta das informações, o aplicador do teste deve posicionar-se logo atrás do usuário e,
enquanto o observa realizando as tarefas solicitadas, deve registrar em formulário
previamente elaborado os dados das métricas de eficácia e de eficiência. Por exemplo: cada
vez que o usuário cometer um erro, uma unidade de erro deve ser registrada pelo aplicador;
ou, após o término de cada tarefa, o tempo de execução desta deve ser imediatamente
registrado. Após o inicio do teste o aplicador não deve interferir ou ajudar o usuário, e isso
também deve ser explicado.
Cabe destacar que não serão utilizados quaisquer equipamentos de captura de vídeo ou de
áudio, uma vez que para coletar as informações das métricas sugeridas neste estudo esses
equipamentos são dispensáveis. Tais equipamentos podem ser utilizados de maneira
complementar, porém há aumento dos custos atrelados ao teste, pois, além da necessidade de
compra desses equipamentos, a análise de informações gravadas demanda mais tempo dos
avaliadores.
43
Quanto à análise da satisfação do usuário, o questionário deve ser aplicado logo após a
realização da cada tarefa ou seqüência de tarefas correlacionadas, devendo o avaliador
lembrar ao usuário de tal preenchimento, se necessário.
Uma outra questão que merece destaque quando da realização de qualquer teste de
usabilidade é a seleção dos participantes, os quais devem ser representativos da população de
usuários finais (LEWIS, 2006). O número de usuários também influencia diretamente na
confiabilidade das informações coletadas, pois ao se aumentar o tamanho da amostra de
usuários, aumenta-se também a capacidade de se generalizar os resultados para toda a
população de usuários.
Segundo Tullis e Albert (2008) é possível a realização de testes de usabilidade com até 20
usuários, porém neste caso a variância na informação tende a ser alta, o que pode prejudicar a
generalização das informações. Como na definição dos objetivos de usabilidade já são
considerados graus de variância, nos quais podem ser compensadas características como o
tamanho reduzido da amostra, consideraremos uma amostra mínima de 25 usuários como
sendo adequada para a aplicação do método de avaliação aqui proposto. Além disso, Zadeh
(1965) comprovou experimentalmente que bastam de 15 a 20 opiniões para que a lógica fuzzy
já possa ser utilizada com sucesso.
4.6 PONTUAR A USABILIDADE
Nas seções anteriores foi explicado como construir um modelo fuzzy para representar cada
um dos objetivos de usabilidade definidos para cada tarefa, assim como foi definido como as
informações de cada métrica devem ser coletadas. O que é necessário agora é uma forma de
se combinar os resultados das métricas de cada tarefa, a fim de se obter uma pontuação única
44
da usabilidade por tarefa e, posteriormente, uma pontuação única para o sistema como um
todo.
Podemos, então, dividir essa fase do processo de avaliação em duas etapas consecutivas. Na
primeira delas, define-se o valor da usabilidade para cada tarefa avaliada. Na segunda,
calcula-se o valor da usabilidade para o sistema como um todo.
Para pontuarmos a usabilidade de cada tarefa, utilizaremos o sistema de inferência fuzzy do
tipo Mamdani, conforme explicado na seção 2.4.3, com base nas regras fuzzy definidas pelos
envolvidos na avaliação da usabilidade do sistema. As variáveis de entrada de cada tarefa são
os níveis de usabilidade atingidos nas métricas de completude, erros, eficiência e satisfação,
e a variável fuzzy de saída, nomeada usabilidade, representará a usabilidade atingida em cada
tarefa.
Para modelar o sistema da inferência acima proposto, utilizaremos a toolbox Fuzzy logic do
MATLAB, ferramenta esta que ajudará numa melhor compreensão desta metodologia de
avaliação quando aplicada ao caso concreto, conforme será observado no próximo capítulo. A
figura 11 apresenta um exemplo de sistema de inferência de Mamdani modelado no
MATLAB, no qual são representadas as variáveis de entrada e a variável de saída.
Deve ser observado que cada tarefa terá um sistema de inferência fuzzy diferente modelado
no MATLAB, pois as variáveis linguísticas de entrada devem ser customizadas conforme as
características de cada tarefa avaliada, principalmente no que se refere aos critérios de
eficiência e de quantidade de erros cometidos. Por exemplo, o tempo de realização de uma
tarefa depende de sua complexidade, o que por sua vez pode influenciar a quantidade de erros
de cada tarefa.
45
Figura 11 – Variáveis de entrada e de saída do sistema de inferência
Para se obter o valor da usabilidade de uma tarefa, o sistema de inferência modelado para essa
tarefa deve ser alimentado com o valor do nível de usabilidade atingido em cada uma das
métricas. Esse nível de usabilidade, por sua vez, deve ser calculado por meio da média
aritmética dos valores individuais obtidos pelos usuários em cada métrica avaliada. Nesta
fase, os objetivos de usabilidade para cada uma das métricas, representados por suas
respectivas funções de pertinência, assim como a base de regras já devem fazer parte do
sistema de inferência.
Considere que uma determinada tarefa, após ser avaliada por todos os usuários do teste de
usabilidade, tenha alcançado os seguintes níveis de usabilidade: Completude – 80%; erros –
1,5 unidades; eficiência – 300 segundos; satisfação – 2. Esses valores devem, então, ser
alimentados no MATLAB para que esta ferramenta possa encarregar-se dos processos de
fuzzyficação, ativação da base de regras e inferência fuzzy, assim como da defuzzificação da
variável de saída, fornecendo o valor da usabilidade da tarefa.
46
Uma vez calculado o valor da usabilidade de cada tarefa, se essas tarefas são capazes de
representar as principais funções do sistema, podemos então calcular a usabilidade para esse
sistema como um todo. Considerando que as tarefas possuem o mesmo grau de importância
para o sucesso do sistema, a valor da usabilidade será calculada por meio da média aritmética
simples entre todos os valores de usabilidade das tarefas avaliadas.
A utilização desta metodologia pode ser utilizada para avaliar também somente uma parte ou
módulo de um determinado sistema, bastando para isso que sejam selecionadas as tarefas que
melhor representam essa parte do sistema a ser avaliada.
No próximo capítulo, será abordada a aplicação desta metodologia no caso concreto, a fim de
evidenciar o seu funcionamento, e de elucidar eventuais dúvidas que possam ter surgido
durante a leitura deste capítulo.
47
5 APLICAÇÃO DA METODOLOGIA PROPOSTA
5.1 SELECIONAR O SISTEMA
O sistema avaliado destina-se a gerenciar o processo de pagamento de diárias, em moeda
estrangeira, a militares e funcionários civis do Comando da Aeronáutica (COMAER) que
executam missões fora do Brasil. O Sistema foi desenvolvido internamente, e funciona em
ambiente WEB, sendo acessado exclusivamente pela rede privada do COMAER.
Tal sistema, denominado GEDEX, está em funcionamento desde 2007, em sua primeira
versão, e é utilizado por unidades pagadoras de pessoal do COMAER espalhadas por todo o
Brasil.
O GEDEX possui diversos níveis de acesso, no entanto foram testadas as funcionalidades que
melhor representam o nível operacional desse sistema, o qual realiza as principais atividades
de entrada de dados. Nem todos os usuários de nível operacional utilizam o sistema
diariamente, por isso o sistema foi desenvolvido para ser o mais intuitivo possível.
48
5.2 IDENTIFICAR O CONTEXTO DE USO
5.2.1 Seleção dos participantes
Deseja-se avaliar a usabilidade do sistema frente a usuários principiantes, pois, como já
mencionado, o sistema foi desenvolvido para ser facilmente compreendido e manipulado,
necessitando de pouco ou de nenhum treinamento para utilizá-lo. Dessa forma, foram
convidados para participar do teste de usabilidade usuários de ambos os sexos e com pouca ou
nenhuma experiência com o sistema avaliado. Além disso, eles enquadraram-se no seguinte
perfil:
- Faixa etária de 20 a 45 anos;
- Pelo menos com ensino médio de escolaridade;
- Com experiência em navegação e uso de aplicações WEB;
Tais características são similares àquelas dos futuros usuários do sistema no nível operacional.
5.2.2 Seleção das tarefas
Foram selecionadas cinco tarefas para serem realizadas pelos participantes durante o teste de
usabilidade. Essas tarefas foram escolhidas porque são representativas de todo o trabalho
executado pelos usuários no nível operacional. Assim, por meio da avaliação de usabilidade
dessas tarefas, pode-se pontuar de maneira fidedigna a usabilidade do sistema como um todo
para esse tipo de perfil.
49
Foi analisada a usabilidade das seguintes tarefas:
Tarefa 1 - Cadastrar Portaria de Designação para uma Missão
- Gerar um Documento de Despesa
- Gerar um segundo Documento de Despesa
Tarefa 2 - Cadastrar Portaria de Homologação
- Gerar um Documento de Despesa
Tarefa 3 - Cadastrar Apostilamento
- Gerar um Documento de Despesa
Tarefa 4 - Cadastrar Portaria de Insubsistência
- Gerar uma Guia de Recolhimento
Tarefa 5 - Cadastrar Relatório de Término de Visão
Um tutorial explicando cada uma das tarefas a serem executas foi apresentado ao usuário
antes da realização dos testes. Por questões de privacidade exigidas pelo COMAER, não
puderam ser disponibilizados no corpo deste trabalho o detalhamento das tarefas realizadas e
o tutorial apresentado aos usuários.
5.2.3 Equipamentos
No ambiente de testes foi utilizado um computador com configurações técnicas similares
àquelas encontradas nas unidades do COMAER que atualmente utilizam uma versão do
sistema avaliado, são elas:
Processador: Intel Pentium 4 2.80 GHz
Sistema Operacional: Microsoft Windows SP2
50
Memória RAM: 2 G
Navegador WEB: Firefox 3.6.10
Para efeito da velocidade do tráfego de informações pela rede interna do COMAER, cabe
destacar que os testes foram realizados na mesma localidade geográfica de onde o sistema
está fisicamente instalado.
5.2.4 Ambiente
O ambiente de testes buscou representar as condições físicas e ergonômicas básicas
encontradas nas organizações do COMAER, como ambiente refrigerado, iluminação e mesas
e cadeiras adequadas. Durante a realização dos testes os usuários não foram expostos a
barulhos ou a interrupções indiscriminadas.
5.2.5 Definição dos objetivos de usabilidade
A fim de auxiliar a definição dos objetivos de usabilidade para cada conjunto Tarefa X
Métrica, foram feitos dois pré-testes com dois usuários muito experientes na utilização do
sistema, os quais realizaram as mesmas tarefas selecionadas para o teste definitivo, assim
como foram avaliados frente às mesmas métricas. Os níveis de eficiência e de erros atingidos
foram analisados e utilizados pela equipe de avaliação como base para a definição dos
objetivos de usabilidade dessas métricas. Cabe destacar, no entanto, que os níveis de
eficiência e de erros definidos foram adaptados ao contexto do teste, que foi de usuários
pouco ou nada experientes. Dessa forma, houve uma flexibilização para menores níveis de
desempenho esperados, se comparado com aqueles obtidos pelos usuários experientes.
51
A equipe de avaliação que definiu todas as metas de usabilidade e as formas das funções de
pertinência apresentadas neste capítulo, e que também definiu a base de regras fuzzy
apresentada mais adiante, foi composta por dois analistas de sistemas, os quais participaram
do desenvolvimento do sistema, e por um gerente responsável pelo negócio modelado
(pagamento de diárias).
As figuras 12 e 13 apresentam as variáveis linguísticas de entrada que representam os
objetivos de usabilidade definidos para a tarefa 1, nas métricas de eficiência e de erros
cometidos, respectivamente.
Figura 12 – Variável de entrada EFICIÊNCIA para a tarefa 1
Tendo como base o tempo gasto pelos especialistas para realizarem a tarefa 1, o intervalo para
a métrica eficiência foi definido como variando de 100 segundos a 900 segundos. Para que o
nível de eficiência na tarefa 1 seja considerado bom, ou seja, para que a meta de usabilidade
desta métrica, nesta tarefa, seja alcançada, o nível de eficiência dos usuários ao realizarem
essa tarefa deve ficar em torno de 360 segundos, conforme modelado no conjunto fuzzy
52
META. A leitura das funções de pertinência acima construídas também permite inferir que
quanto mais o nível de eficiência se afasta do centro da meta, 360 segundos, melhor ou pior
será a avaliação no nível de eficiência na tarefa 1. Deve ser observado, no entanto, que nos
intervalos de 100 a 240 segundos e de 480 a 900 segundos, o nível de eficiência da tarefa 1 foi
considerado 100% excelente e 100% ruim, respectivamente.
Figura 13 – Variável de entrada ERRO para a tarefa 1
A leitura da variável de entrada erro, para a tarefa 1, conforme mostrado acima, deve ser
realizada de maneira análoga à leitura feita para a variável eficiência já apresentada. Definiu-
se um intervalo de 0 a 8 erros, em que a meta de usabilidade para o nível de erro, nesta tarefa,
está em torno de 2 erros. Quanto mais o nível de erro afasta-se do centro da meta, 2 erros,
melhor ou pior será a avaliação dessa métrica na tarefa 1. E, ainda, o nível de erro é
considerado excelente, com grau 100%, para valores abaixo de 0,8, e ruim, com grau 100%,
para valores acima de 3.2.
53
Para a definição da meta de satisfação foram consideradas as observações feitas por Souro e
Kindlund (2005). Com base em estudos anteriores de usabilidade, os autores sustentam que
um sistema com grau de satisfação em torno de 5.6, em um escala de 1 a 7, em que 7
corresponde a melhor avaliação, pode ser considerado de boa satisfação. Como o questionário
utilizado neste trabalho também utiliza uma escala de 7 pontos, mas com os melhores
resultados mais próximos de 1, a pontuação correspondente a 5.6 é 2.4. Dessa forma, foi
definido como meta de satisfação para cada uma das tarefas a serem avaliadas valores em
torno de 2.4, conforme pode ser observado na figura 14.
Figura 14 – Variável de entrada SATISFAÇÃO para a tarefa 1
Já a definição das metas de completude foi feita de maneira subjetiva pelos envolvidos na
avaliação. Como o sistema foi desenvolvido para ser utilizado de maneira intuitiva, com o
mínimo de treinamento proporcionado aos usuários, após a apresentação do sistema para os
usuários de teste, com a leitura dos tutoriais de cada tarefa e do manual do sistema, definiu-se
um nível de completude em torno de 80% para cada uma das tarefas a serem avaliadas,
conforme pode ser observado na figura 15.
54
Figura 15 – Variável de entrada COMPLETUDE para a tarefa 1
A tabela 2 apresenta o centro das metas de usabilidade para cada um dos conjuntos Tarefa X
Métrica. Todas as demais funções de pertinência representando as variáveis de entrada
completude, erros, eficiência e satisfação, para as tarefas 2, 3, 4 e 5, podem ser encontradas no
Apêndice B.
Métricas CENTRO DAS METAS DE USABILIDADE
Tarefa 1 Tarefa 2 Tarefa 3 Tarefa 4 Tarefa 5
Completude 80% 80% 80% 80% 80%
Erros 2 1,5 1,5 1 1
Eficiência 360'' 120'' 195'' 120'' 148''
Satisfação 2,4 2,4 2,4 2,4 2,4
Tabela 2 – Metas de usabilidade
Finalizando esta seção, descrevemos na figura 16 a variável de saída Usabilidade. O domínio
dessa variável linguística fuzzy variará de 0 a 10, e tarefas com boa usabilidade (META)
foram definidas com notas em torno de 6, tendo melhor ou pior usabilidade a medida que se
afasta desse valor. Esta variável terá o mesmo formato para todas as tarefas.
55
Figura 16 – Variável de saída USABILIDADE
5.2.6 Definir Base de Regras
Como indicado na descrição da metodologia, a mesma base de regras foi utilizada para a
definição do nível de usabilidade de todas as tarefas. A fim de garantir uma boa sensibilidade
ao sistema de inferência, foram utilizadas 81 regras fuzzy, as quais foram definidas pelos
stakeholes do sistema, e podem ser observadas na tabela 3. A leitura das regras constantes da
tabela 3 deve ser feita da seguinte forma:
Linha 20 – SE Completude é Excelente E Erro é Ruim E Eficiência é Excelente e
Satisfação é Meta ENTÃO Usabilidade é Meta
Para a confecção dessas regras, foram utilizadas as seguintes diretrizes definidas pela equipe
de avaliação:
56
– A meta de completude é a mais importante para o sistema, logo deve ser considerada
como a de maior peso na variável de saída, definida como USABILIDADE;
– A métricas de erro e de eficiência devem possuir pesos similares, sendo consideradas
de importância mediana.
– A métrica de satisfação é a de menor importância no grau final da USABILIDADE,
visto que se trata de um sistema coorporativo e o desempenho é considerado mais importante.
57
Regras Completude Erro Eficiência Satisfação Usabilidade1 Excelente Excelente Excelente Excelente Excelente2 Excelente Excelente Excelente Meta Excelente3 Excelente Excelente Excelente Ruim Excelente4 Excelente Excelente Meta Excelente Excelente5 Excelente Excelente Meta Meta Excelente6 Excelente Excelente Meta Ruim Meta7 Excelente Excelente Ruim Excelente Excelente8 Excelente Excelente Ruim Meta Meta9 Excelente Excelente Ruim Ruim Meta10 Excelente Meta Excelente Excelente Excelente11 Excelente Meta Excelente Meta Excelente12 Excelente Meta Excelente Ruim Meta13 Excelente Meta Meta Excelente Meta14 Excelente Meta Meta Meta Meta15 Excelente Meta Meta Ruim Meta16 Excelente Meta Ruim Excelente Meta17 Excelente Meta Ruim Meta Meta18 Excelente Meta Ruim Ruim Meta19 Excelente Ruim Excelente Excelente Meta20 Excelente Ruim Excelente Meta Meta21 Excelente Ruim Excelente Ruim Meta22 Excelente Ruim Meta Excelente Meta23 Excelente Ruim Meta Meta Meta24 Excelente Ruim Meta Ruim Meta25 Excelente Ruim Ruim Excelente Ruim26 Excelente Ruim Ruim Meta Ruim27 Excelente Ruim Ruim Ruim Ruim28 Meta Excelente Excelente Excelente Excelente29 Meta Excelente Excelente Meta Excelente30 Meta Excelente Excelente Ruim Meta31 Meta Excelente Meta Excelente Excelente32 Meta Excelente Meta Meta Meta33 Meta Excelente Meta Ruim Meta34 Meta Excelente Ruim Excelente Meta35 Meta Excelente Ruim Meta Meta36 Meta Excelente Ruim Ruim Ruim37 Meta Meta Excelente Excelente Excelente38 Meta Meta Excelente Meta Meta39 Meta Meta Excelente Ruim Meta40 Meta Meta Meta Excelente Meta41 Meta Meta Meta Meta Meta42 Meta Meta Meta Ruim Meta43 Meta Meta Ruim Excelente Meta44 Meta Meta Ruim Meta Ruim45 Meta Meta Ruim Ruim Ruim46 Meta Ruim Excelente Excelente Meta47 Meta Ruim Excelente Meta Meta48 Meta Ruim Excelente Ruim Ruim49 Meta Ruim Meta Excelente Meta50 Meta Ruim Meta Meta Meta51 Meta Ruim Meta Ruim Ruim52 Meta Ruim Ruim Excelente Ruim53 Meta Ruim Ruim Meta Ruim54 Meta Ruim Ruim Ruim Ruim55 Ruim Excelente Excelente Excelente Meta56 Ruim Excelente Excelente Meta Meta57 Ruim Excelente Excelente Ruim Ruim58 Ruim Excelente Meta Excelente Meta59 Ruim Excelente Meta Meta Meta60 Ruim Excelente Meta Ruim Ruim61 Ruim Excelente Ruim Excelente Ruim62 Ruim Excelente Ruim Meta Ruim63 Ruim Excelente Ruim Ruim Ruim64 Ruim Meta Excelente Excelente Meta65 Ruim Meta Excelente Meta Meta66 Ruim Meta Excelente Ruim Ruim67 Ruim Meta Meta Excelente Meta68 Ruim Meta Meta Meta Ruim69 Ruim Meta Meta Ruim Ruim70 Ruim Meta Ruim Excelente Ruim71 Ruim Meta Ruim Meta Ruim72 Ruim Meta Ruim Ruim Ruim73 Ruim Ruim Excelente Excelente Ruim74 Ruim Ruim Excelente Meta Ruim75 Ruim Ruim Excelente Ruim Ruim76 Ruim Ruim Meta Excelente Ruim77 Ruim Ruim Meta Meta Ruim78 Ruim Ruim Meta Ruim Ruim79 Ruim Ruim Ruim Excelente Ruim80 Ruim Ruim Ruim Meta Ruim81 Ruim Ruim Ruim Ruim Ruim
Tabela 3 – Base de Regras
58
Exemplos evidenciando a sensibilidade dos sistemas de inferência modelados são encontrados
nas figuras 17, 18 e 19. Nesses exemplos foram atribuímos diferentes valores crisp às
variáveis de entrada da tarefa 1, e o sistema de inferência foi ativado em cada uma dessas
ocasiões. Pode-se observar que diferentes valores de usabilidade foram obtidos para a tarefa 1.
Figura 17 – Sensibilidade do Sistema de Inferência (Exemplo 1)
Como pode ser observado a seguir, ao diminuir o valor da completude para a tarefa 1 de 95%
para 85%, e mantendo os demais valores das variáveis de entrada inalterados, observa-se uma
redução no valor da usabilidade da tarefa 1, que passa de 6.97 pontos para 6.56.
59
Figura 18 – Sensibilidade do Sistema de Inferência (Exemplo 2)
Aumentando novamente o nível de completude da tarefa 1 para 95%, ao reduzirmos o valor
do nível de erros dessa tarefa, passando-o de 1.5 para 1.2, e mantermos inalterados os valores
das demais variáveis, verifica-se que há um aumento no valor da usabilidade da tarefa 1, se
comparado com os valores definidos no exemplo da figura 17. O valor da usabilidade passa,
então, de 6.97 para 7.38, conforme observado na figura a seguir.
Figura 19 – Sensibilidade do Sistema de Inferência (Exemplo 3)
60
5.2.7 Pontuar a Usabilidade
Inicialmente, foram realizados testes como três usuários, a fim de corrigir eventuais
problemas que pudessem aparecer durante a realização das avaliações. Os testes foram
individualizados, e cada uma das tarefas avaliadas foi detalhadamente explicada ao usuário
com base no manual do sistema. Durante essa explicação, não foi permitido ao usuário
navegar pelo sistema. Nesta fase da avaliação, o usuário pôde tirar todas as suas dúvidas,
principalmente sobre alguns termos técnicos encontrados no sistema, e não houve restrição de
informações a serem passadas. Como as tarefas do teste exigiam a entrada de dados pelos
usuários, com base em documentos impressos, modelos desses documentos foram também
apresentados e suas informações detalhadas.
Uma vez familiarizado com o sistema e com os documentos de entrada de dados, foram
apresentados a cada usuário a ordem das tarefas a serem executadas e os documentos que
seriam efetivamente utilizados no teste. A partir de então, o teste iniciou-se, e o usuário não
mais interagiu com o avaliador enquanto este coletou as informações de cada métrica. Cabe
destacar que uma versão impressa do manual do sistema ficou
à disposição do usuário para consultas durante toda a realização do teste.
Após esses três primeiros testes, algumas modificações na padronização do teste foram
realizadas, dentre elas: foi alterada a ordem de realização das tarefas para uma melhor
compreensão do sistema pelo usuário, e foi estipulado um limite de tempo para a realização
de cada tarefa, para que o usuário não ficasse indefinidamente tentando executar uma mesma
tarefa. Assim, atingido o tempo máximo, o usuário passaria a ser convidado para realizar a
próxima tarefa selecionada, e a tarefa em questão seria considerada como não completada.
Nesses casos, a métrica de eficiência será desconsiderada para efeito do cálculo da média do
61
nível de eficiência atingido, pois a deficiência na realização da tarefa já será sinalizada na
métrica de completude.
Foram, então, realizados testes com 25 usuários com o perfil já indicado na descrição dos
usuários. Esses usuários foram selecionados de maneira não probabilística e por conveniência,
de modo que os elementos aos quais houve maior acesso foram privilegiados.
Os testes foram realizados no período de 16 de maio de 2011 a 05 de junho de 2011, e cada
um deles durou aproximadamente 70 minutos. Desse montante, aproximadamente quarenta
minutos eram gastos para explicar o funcionamento do sistema ao usuário, e para explicar
como o teste seria conduzido. Enquanto os trinta minutos restantes eram utilizados para a
realização das tarefas selecionadas, e para o preenchimento do questionário pelo usuário após
a realização de cada tarefa.
Os dados coletados de cada métrica foram tabulados em planilha eletrônica, e os valores das
médias aritméticas de cada métrica, para cada uma das tarefas, foram devidamente calculados,
conforme Apêndice C. Os valores dessas médias podem ser visualizados na tabela 4,
apresentada a seguir.
CompletudeErrosEficiênciaSatisfação
100%0,60
169,721,52
92%0,92
229,801,55
92%0,76
161,671,56
84%
441,481,16
1,37
92%0,80
162,041,27
MétricasMÉDIAS DAS MÉTRICAS POR TAREFA
Tarefa 1 Tarefa 2 Tarefa 3 Tarefa 4 Tarefa 5
Tabela 4 – Média das Métricas por tarefa
Os valores das médias de cada tarefa foram, então, utilizados para alimentar as variáveis de
entrada do sistema de inferência fuzzy, modelado no MATLAB, conforme indicado na seção
anterior, a fim de se obter o valor da usabilidade para cada tarefa avaliada. O valor da
62
usabilidade obtida em cada uma das tarefas pode ser observado nas figuras a seguir
relacionadas.
Figura 20 – Valor da Usabilidade da Tarefa 1
Como já sinalizado anteriormente, foi modelado pelos stakeholders que uma tarefa para ter
boa usabilidade deve ter notas em torno de 6 pontos, com limites representados pelo intervalo
[4,8], como já indicado na figura 16. Com usabilidade de 6.99 pontos, a tarefa 1 está com
usabilidade acima do centro da meta em quase um ponto, tendendo para uma usabilidade
EXCELENTE. A tabela 5 faz uma comparação entre as metas de usabilidade definidas pelos
stakeholders para cada métrica de usabilidade na tarefa 1, e os resultados efetivamente
conseguidos nos testes. Pode ser observado que, com exceção da métrica de eficiência, todos
os demais resultados obtidos superaram as metas definidas pelos stakeholders, o que justifica
a nota de usabilidade atingida, a qual ficou acima da meta.
63
TAREFA 1 Métricas Média da Métrica Centro da Meta
Completude 84% 80% Erros 1,16 2 Eficiência 441,48 360'' Satisfação 1,37 2,4
Tabela 5 – Comparação Resultado versus Meta da Tarefa 1
Conforme demonstrado na figura 21, a usabilidade da tarefa 2 atingiu 7.98 pontos, estando
praticamente no limite superior da boa usabilidade, que é de 8 pontos, tendendo muito mais
para uma tarefa de usabilidade EXCELENTE.
Figura 21 – Valor da Usabilidade da Tarefa 2
Pode ser observado na tabela 6 que, com exceção da métrica de eficiência, todos os demais
resultados obtidos superaram as metas definidas pelos stakeholders, o que justifica a nota de
usabilidade atingida, a qual pode ser considerada EXCELENTE. Ao compararmos as notas de
usabilidade obtidas nas tarefas 1 e 2, fica evidenciado que variações na métrica de completude
são mais significativas para a nota final de usabilidade na tarefa do que variações nas demais
64
métricas, e isso foi realmente almejado quando da confecção da base de regras, o que
demonstra que o sistema de inferência fuzzy foi modelado adequadamente.
TAREFA 2
Métricas Média da Métrica Centro da Meta Completude 92% 80% Erros 0,80 1,5 Eficiência 162,04 120'' Satisfação 1,27 2,4
Tabela 6 – Comparação Resultado versus Meta da Tarefa 2
Já a usabilidade da tarefa 3, que atingiu 7.58 pontos, também está bem próxima do limite
superior da boa usabilidade. Apesar de ter tido uma avaliação um pouco pior do que a tarefa
2, também está tendendo mais para uma usabilidade considerada EXCELENTE pelos
stakeholders.
Figura 22 – Valor da Usabilidade da Tarefa 3
65
A tabela 7, a seguir, detalha as metas de usabilidade definidas pelos stakeholders para cada
métrica de usabilidade na tarefa 3, assim com os resultados efetivamente conseguidos nos
testes de usabilidade.
TAREFA 3
Métricas Média da Métrica Centro da Meta Completude 92% 80% Erros 0,92 1,5 Eficiência 229,80 195'' Satisfação 1,55 2,4
Tabela 7 – Comparação Resultado versus Meta da Tarefa 3
A tarefa 4 obteve a menor avaliação de usabilidade, 6.83 pontos, conforme pode ser
observado na figura 23, no entanto, ainda assim é uma nota superior ao centro da meta
almejada de 6 pontos. Tal nota foi influenciada, principalmente, pelo nível de erros ocorrido
durante a tarefa, o qual foi o maior, proporcionalmente, se comparado com as demais tarefas
avaliadas, conforme demonstrado na tabela 8.
Figura 23 – Valor da Usabilidade da Tarefa 4
66
TAREFA 4 Métricas Média da Métrica Centro da Meta
Completude 92% 80% Erros 0,76 1 Eficiência 161,67 120'' Satisfação 1,56 2,7
Tabela 8 – Comparação Resultado versus Meta da Tarefa 4
Assim como a avaliação da tarefa 3, a avaliação de usabilidade da tarefa 5, de 7.6 pontos,
também está bem próxima do limite superior da boa usabilidade, que é de 8 pontos. Dessa
forma, a usabilidade usabilidade da tarefa 5 pode ser considerada EXCELENTE,
considerando os critérios definidos pelos envolvidos na avaliação. A tabela 9 detalha os
resultados das métricas avaliadas na tarefa 5, frente às metas de usabilidade definidas.
Figura 24 – Valor da Usabilidade da Tarefa 5
TAREFA 5 Métricas Média da Métrica Centro da Meta
Completude 100% 80% Erros 0,60 1 Eficiência 169,72 148'' Satisfação 1,52 2,4
Tabela 9 – Comparação Resultado versus Meta da Tarefa 5
67
Seguindo a metodologia, o valor global da usabilidade para o nível operacional do sistema
GEDEX pode ser calculado por meio da média aritmética simples dos valores da usabilidade
de cada tarefa avaliada, uma vez que foi atribuído o mesmo grau de importância às tarefas.
Dessa forma, conforme indicado na tabela 5, o valor da usabilidade atingido para o sistema
como um todo, representado pelo nível operacional foi de 7,40 pontos.
TAREFA USABILIDADE DA TAREFATarefa 1 6,99Tarefa 2 7,98Tarefa 3 7,58Tarefa 4 6,83Tarefa 5 7,60
Usabilidade do sistema como um todo 7,40
Tabela 10 – Usabilidade do sistema como um todo
Como já mencionado, foi definido que um sistema com nota em torno de 6 pontos representa
o centro da meta perseguida pelos stakeholders, ou seja, é um sistema com usabilidade
considerada boa. Pode-se concluir, portanto, que as pretensões de usabilidade para o sistema
foram a atingidas, ou melhor, superadas, uma vez que todas as notas obtidas obtiveram
pontuação bem acima dos 6 pontos. A usabilidade final obtida de 7.40 pontos está mais
próxima de uma classificação EXCELENTE.
5.2.8 Considerações finais sobre os resultados do teste de usabilidade
O tempo médio para a realização de cada uma das tarefas avaliadas ficou acima da meta
desejada. No entanto, verificou-se que este resultado foi frequentemente influenciado pela
insegurança de alguns usuários em cometer erros, e não pela existência em si de erros quando
da manipulação do sistema. Isso fica evidenciado pela análise do nível de erros obtidos em
cada tarefa, o qual ficou sempre acima da meta almejada, tendendo, no geral, a uma avaliação
EXCELENTE, ou seja, os usuários cometeram menos erros que o esperado.
68
O alto nível de satisfação dos usuários com a realização das tarefas, o qual em todas as
ocasiões ficou bem acima da meta, também contribui para a afirmação feita no parágrafo
anterior, pois os usuários avaliaram como sendo apropriados o tempo gasto para executar cada
uma das tarefas do sistema, assim como a facilidade de manuseio e o nível de suporte
fornecido.
Quanto aos erros cometidos pelos usuários durante a realização das tarefas, verificou-se que
eles, em sua maioria, estão relacionados ao não entendimento do negócio modelado pelo
sistema. Como os usuários nunca haviam manipulado o sistema anteriormente, e não
conheciam muitos dos termos apresentados a eles na fase de conhecimento do sistema e de
detalhamentos das tarefas a serem executadas, selecionar opções erradas de itens de menu e
referenciar documentos quando da realização das tarefas foram os principais erros cometidos.
Ocorreram também alguns erros na formatação dos dados de entrada, como em máscaras de
datas e de números, os quais foram devidamente registrados. Para todos os casos, no entanto,
o sistema mostrou-se robusto quanto ao controle de erros, permitindo ao usuário contorná-los
sem maiores problemas. Em último caso, os usuários consultavam o manual do sistema para a
resolução de seus problemas e para sanar suas dúvidas. Essa robustez fica evidenciada nos
níveis de completude atingidos nas tarefas, cujo menor valor foi de 84%, em uma amostra de
25 usuários.
Por fim, apesar de o sistema ter recebido uma nota de usabilidade considerada EXCELENTE,
frente aos objetivos de usabilidade pré-difinidos, melhorias ainda podem ser realizadas, a fim
de evitar os erros acima relacionados, assim como para melhorar os resultados da métrica de
eficiência. Recomendações específicas para esse fim, no entanto, são objetos de avaliações
formativas de usabilidade, como explicitado no primeiro capítulo, fugindo do escopo deste
trabalho. Caso sejam realizadas alterações no sistema, uma segunda avaliação somativa pode
69
ser realizada, para verificar se essas modificações realmente surtiram o efeito desejado,
melhorando a usabilidade do produto. Para tal, as mesmas condições do teste ora realizado
devem ser mantidas, ou seja, os objetivos de usabilidade, a base de regras e as tarefas devem
ser preservados.
70
6 CONCLUSÃO
Quando se deseja comparar a usabilidade de produtos similares ou comparar a usabilidade de
diferentes versões de um produto, avaliações estas denominadas somativas, está claro na
literatura que diferentes métricas de usabilidade precisam ser utilizadas, contemplando os
critérios de desempenho e de satisfação dos usuários. Consolidar as informações oriundas
dessas métricas em uma única e contínua métrica de usabilidade proporciona grandes
vantagens: (1) sumariza as variações ocorridas nas diferentes métricas, facilitando o processo
de comparação dos produtos; (2) fornece uma idéia de quão usável um produto é, sem a
necessidade de se ter o referencial de informações históricas, utilizando como parâmetros
metas de usabilidade pré-definidas; (3) fornece uma métrica contínua que pode ser utilizada
em testes de hipótese, enquanto as informações coletadas de cada métrica ainda podem ser
analisadas isoladamente.
Combinar informações de diferentes métricas, no entanto, envolve critérios imprecisos os
quais devem ser definidos pelos envolvidos na avaliação, dentre os quais podemos destacar:
definição do grau de importância relativa entre as métricas de usabilidade de interesse, e
definição dos objetivos de usabilidade a serem alcançados, os quais são dependentes do
contexto de utilização do sistema.
71
Este trabalho, então, propôs uma metodologia de avaliação somativa de usabilidade, baseada
nos sistemas de inferência fuzzy, que permitiu capturar de maneira mais natural essa
subjetividade envolvida no processo de criação de uma métrica única de usabilidade, uma vez
que foram utilizados termos lingüísticos para coletar as informações das pessoas envolvidas
na sistemática de avaliação. A abordagem fuzzy permitiu que essas informações sujeitas a
incertezas fossem tratadas de forma matematicamente sólida.
Pautada nos critérios de avaliação de usabilidade definidos na ISO 9241-11, quando aplicada
ao caso concreto, a metodologia mostrou-se eficiente em quantificar a usabilidade de cada
uma das tarefas do sistema selecionadas para a avaliação, diferenciando as tarefas de maior e
menor usabilidade, com base em metas pré-definidas de usabilidade. A metodologia permitiu,
ainda, a visualização, de maneira bem simplificada, da usabilidade do sistema como um todo.
Pode-se questionar que as quatro métricas selecionadas e utilizadas neste estudo não são
suficientes para representar a usabilidade global do produto. Portanto, cabe destacar que,
como avaliações de usabilidade de sistemas são altamente dependentes do contexto de
utilização do produto, métricas adicionais, adequadas a cada caso, podem ser adicionadas ao
método proposto, a fim de se ter uma leitura mais fidedigna de uma realidade específica.
Por questões de limitações de tempo, o escopo desta pesquisa limitou-se a propor a
metodologia e demonstrar sua utilização no caso concreto, o que evidenciou o quanto o
sistema testado está em consonância com objetivos de usabilidade pré-definidos e com a
política de avaliação da empresa. No entanto, pesquisas futuras podem evidenciar o uso da
metodologia para efetivamente avaliar duas versões de um mesmo sistema, ou sistemas
similares, como por exemplo editores de texto, contribuindo para o aprimoramento do
método.
72
Estudos futuros podem, ainda, comparar resultados advindos da utilização de diferentes tipos
de sistemas de inferência fuzzy, como o de Takagi e Sugeno, além de poderem explorar
avaliações nas quais pesos diferentes precisam ser atribuídos às tarefas avaliadas.
73
REFERÊNCIAS BIBLIOGRÁFICAS
ASSOCIAÇÃO BRASILEIRA DE NORMAS TÉCNICAS (ABNT). NBR 9241-11 Requisitos ergonômicos para trabalho de escritório com computadores: Parte 11: orientação sobre usabilidade. Rio de Janeiro: ABNT, 2000.
ALONSO-RIOS, D.; VÁSQUEZ-GARCIA, A.; MOSQUEIRA-REY, E.; MORET-BONILLO, V. Usability: A Critical Analysis and a Taxonomy. Intl. Journal of human–computer interaction, v. 26, n. 1, p. 53 - 74, 2010; ANSI. Common industry format for usability test reports (ANSI-NCITS 354-2001). New York: American National Standards Institute, 2001. BEVAN, N.; KIRAKOWSKI, J; MAISSEL, J. What is usability. In: International Conference on HCI, 4., 1991, Stuttgart. Proceedings... [S.l], [S.N], 1991. Disponível em: http://www.nigelbevan.com/papers/whatis92.pdf. Acesso em 30/05/2011. BEVAN, N. Measuring usability as quality of use. Software Quality Journal, v. 4, p. 115-150, 1995. BEVAN, N.; MACLEOD, M. Usability measurement in context. Behaviour and Information Technology, v. 13, p. 132-145, 1994. CALDEIRAS, A. M. et al. Inteligência Computacional, Aplicada à Administração, Economia e Engenharia em Matlab, Rio de Janeiro: Thompson, 2007. CHANG, E; DILLON, T. S. A Usability-Evaluation Metric Based on a Soft-Computing Approach, IEEE Transactions on Systems, Man and Cybernetic – Part A Systems and Humans, v. 36, n. 2, p. 356-372, Mar. 2006. COOPER, D. R.; SCHINDLER, P. S. Métodos de Pesquisa em Administração. 7. ed. Porto Alegre: Bookman, 2003.
DILLON, A.; MAQUIRE M. Usability measurement - Its practical value to the computer industry In: ACM/IFIP Human Factors Computer System (INTERCHI), 1993, Amsterdam, The Netherlands. Proceedings… New York: ACM Press, 1993, p. 145–148. DUMAS, J.; REDISH, J. A practical guide to usability testing. London: Intellect Books, 1999. GOOD, M. et al. User-derived impact analysis as a tool for usability engineering. In: Human factors in computing systems (CHI’86 Proceedings), 1986, Boston, Massachusetts. Proceedings… New York: ACM Press, 1986, p. 241-246. HUB, M.; ZATLOUKAL, M.; Methodology of fuzzy usability evaluation of Information systems in Public administration. Wseas Transactions on Information Science and Applications, v. 5, n. 11, Nov. 2008.
74
INTERNATIONAL STANDARD ORGANIZATION – ISO. ISO 9241 Ergonomics requirements for office work with visual displays terminals (VDTs) - Part 11: Guidance on usability. Switzerland: International Standard, 1998. KLIR, G. J.; YUAN, B. Fuzzy Sets and Fuzzy Logic: Theory and Applications. Upper Saddle River: Prentice Hall, 1995. p. 592. LEWIS, J. R. A rank-based method for the usability comparison of competing products. In: Proceedings of the Human Factors Society 35th Annual Meeting, 1991, Francisco, CA. Proceedings…[S.I]: Human Factors Society, 1991, p. 1312 -1316. LEWIS, J. R. Usability Testing. In: SALVENDY, G. (ed.) Handbook of Human Factors and Ergonomics, New York: John Wiley, 2006, p. 1275–1316. QUEIROZ, J. E. R. Abordagem híbrida para a avaliação da usabilidade de interfaces com o usuário. 2001. 410 f. Tese (Doutorado em Engenharia Elétrica) – Pós-graduação em Engenharia Elétrica, Universidade Federal da Paraíba, Campina Grande, 2001. MAMDANI, E.H.; ASSILIAN, S. An experiment in Linguistic synthesis with a Fuzzy Logic Controller. IEE trans. Internat. J. Man-Machine Studies, v. 7, n. 1, p. 1-13, 1975. MORE, J. D.; MATTOSO, L. F.; ALTAF, J. G.; XEXÉO, G. B. Avaliação da Eficiência do Portal Globo.com: Um estudo de caso à luz da teoria dos conjuntos fuzzy, Journal of Information systems and Technology Management, v. 7, n. 2, p. 353-374, 2010. NIELSEN, J. Usability Engineering. Cambridge: Academic Press, 1993, 362 p. OLIVEIRA, H.A. Lógica Difusa: aspectos práticos e aplicações. 1. ed. Rio de Janeiro: Interciência, 1999. 192 p. POLSON, P. et al. Cognitive walkthroughs: A Method for Theory-Based Evaluation of User Interfaces. International Journal of Man-Machine Studies, v. 36, p. 741-773, 1992. PREECE, J. et al. Human-computer interaction. Reading, MA: Addison-Wesley, 1994. SANDRI, S. Lógica nebulosa. São Paulo: INPE, 1999. Disponível em: <http://www.gta.ufrj.br/ensino/cpe717-2011/curso_ERN99_fuzzy.pdf >. Acesso em: 15 fev. 2011. SAURO, J.; KINDLUND, E. A method to standardize usability metrics into a single score. In: Conference on Human Factors in Computing Systems (CHI 2005), 2005, Portland, Oregon. Proceedings… New York: ACM Press, 2005, p. 401-409. SMITH, S. L.; MOSIER, J. N. Guidelines for designing user interface software. Bedford: Mitre Corp, 1986. SHACKEL, B. Human Factors for Informatics Usability. University Press, Cambridge, 1991.
75
TAKAGI, T.; SUGENO, M. Fuzzy identification of systems and its applications to modelling and control, IEEE Transations on Systems, Man and Cybernetics, v. 15, n. 1, p. 116-131, 1985. TULLIS T.; ALBERT B. Measuring The User Experience. Burlimgton, MA: Morgan Kaufmamn, 2008.
ZADEH, L. A. Fuzzy Sets. Information and Control, v. 8, n. 3, p. 338-353, Jun. 1965.
76
APÊNDICE A – INSTRUMENTO PARA COLETA DE INFORMAÇÕES DO USUÁRIO
Identificação do Usuário
Nome: ________________________________________
Idade: ___________ Sexo: ( ) Masculino ( ) Feminino
Escolaridade: ___________
Resultado das Métricas
77
Tarefa 1 Para cada uma das afirmações abaixo, marque a avaliação de sua escolha. 1 – No geral, eu estou satisfeito com a facilidade de completar esta tarefa. Concordo
Totalmente 1 2 3 4 5 6 7 Discordo
Totalmente 2 – No geral, eu estou satisfeito com a quantidade de tempo gasta para completar esta tarefa. Concordo
Totalmente 1 2 3 4 5 6 7 Discordo
Totalmente 3 – No geral, eu estou satisfeito com as informações de suporte fornecidas (Manual, Mensagens de Erro e Informações de ajuda) durante a realização desta tarefa. Concordo
Totalmente 1 2 3 4 5 6 7 Discordo
Totalmente
Tarefa 2 Para cada uma das afirmações abaixo, marque a avaliação de sua escolha. 1 – No geral, eu estou satisfeito com a facilidade de completar esta tarefa. Concordo
Totalmente 1 2 3 4 5 6 7
Discordo Totalmente
2 – No geral, eu estou satisfeito com a quantidade de tempo gasta para completar esta tarefa. Concordo
Totalmente 1 2 3 4 5 6 7
Discordo Totalmente
3 – No geral, eu estou satisfeito com as informações de suporte fornecidas (Manual, Mensagens de Erro e Informações de ajuda) durante a realização desta tarefa. Concordo
Totalmente 1 2 3 4 5 6 7
Discordo Totalmente
78
Tarefa 3 Para cada uma das afirmações abaixo, marque a avaliação de sua escolha. 1 – No geral, eu estou satisfeito com a facilidade de completar esta tarefa. Concordo
Totalmente 1 2 3 4 5 6 7 Discordo
Totalmente 2 – No geral, eu estou satisfeito com a quantidade de tempo gasta para completar esta tarefa. Concordo
Totalmente 1 2 3 4 5 6 7 Discordo
Totalmente 3 – No geral, eu estou satisfeito com as informações de suporte fornecidas (Manual, Mensagens de Erro e Informações de ajuda) durante a realização desta tarefa. Concordo
Totalmente 1 2 3 4 5 6 7 Discordo
Totalmente
Tarefa 4 Para cada uma das afirmações abaixo, marque a avaliação de sua escolha. 1 – No geral, eu estou satisfeito com a facilidade de completar esta tarefa. Concordo
Totalmente 1 2 3 4 5 6 7
Discordo Totalmente
2 – No geral, eu estou satisfeito com a quantidade de tempo gasta para completar esta tarefa. Concordo
Totalmente 1 2 3 4 5 6 7
Discordo Totalmente
3 – No geral, eu estou satisfeito com as informações de suporte fornecidas (Manual, Mensagens de Erro e Informações de ajuda) durante a realização desta tarefa. Concordo
Totalmente 1 2 3 4 5 6 7
Discordo Totalmente
79
Tarefa 5
Para cada uma das afirmações abaixo, marque a avaliação de sua escolha. 1 – No geral, eu estou satisfeito com a facilidade de completar esta tarefa. Concordo
Totalmente 1 2 3 4 5 6 7 Discordo
Totalmente 2 – No geral, eu estou satisfeito com a quantidade de tempo gasta para completar esta tarefa. Concordo
Totalmente 1 2 3 4 5 6 7 Discordo
Totalmente 3 – No geral, eu estou satisfeito com as informações de suporte fornecidas (Manual, Mensagens de Erro e Informações de ajuda) durante a realização desta tarefa. Concordo
Totalmente 1 2 3 4 5 6 7 Discordo
Totalmente
80
APÊNDICE B - FUNÇÕES DE PERTINÊNCIA DAS VARIÁVEIS DE ENTRADA TAREFA 2
Variável de Entrada Completude (Tarefa 2)
81
Variável de Entrada Erro (Tarefa 2)
Variável de Entrada Eficiência (Tarefa 2)
82
Variável de Entrada Satisfação (Tarefa 2)
TAREFA 3
Variável de Entrada Completude (Tarefa 3)
83
Variável de Entrada Erro (Tarefa 3)
Variável de Entrada Eficiência (Tarefa 3)
84
Variável de Entrada Satisfação (Tarefa 3) TAREFA 4
Variável de Entrada Completude (Tarefa 4)
85
Variável de Entrada Erro (Tarefa 4)
Variável de Entrada Eficiência (Tarefa 4)
86
Variável de Entrada Satisfação (Tarefa 4) TAREFA 5
Variável de Entrada Completude (Tarefa 5)
87
Variável de Entrada Erro (Tarefa 5)
Variável de Entrada Eficiência (Tarefa 5)
88
Variável de Entrada Satisfação (Tarefa 5)
89
APÊNDICE C - TABULAÇÃO DOS DADOS COLETADOS E CÁLCULO DAS MÉDIAS
Usu
ário
01
Usu
ário
02
Usu
ário
03
Usu
ário
04
Usu
ário
05
Usu
ário
06
Usu
ário
07
Usu
ário
08
Usu
ário
09
Usu
ário
10
Usu
ário
11
Usu
ário
12
Usu
ário
13
Usu
ário
14
Usu
ário
15
Usu
ário
16
Usu
ário
17
Usu
ário
18
Usu
ário
19
Usu
ário
20
Usu
ário
21
Usu
ário
22
Usu
ário
23
Usu
ário
24
Usu
ário
25
Média
Completude 1 1 1 1 1 0 0 1 1 1 0 1 1 1 1 1 1 1 0 1 1 1 1 1 1 0,84
Erros 2 0 2 1 1 2 3 0 1 0 3 1 0 0 0 1 1 0 2 1 1 4 1 2 0 1,16
Eficiência 442 342 640 344 352 0 0 419 373 318 0 380 389 327 366 485 500 399 0 459 718 773 372 450 423 441,48
Satisfação 1,33 1 1 1,33 1 1 2,67 1,33 1,67 1,33 2,33 1,67 1,33 1 1 1 1,33 1 1,33 1,33 1 1,33 1,33 2 1,67 1,37
Completude 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 0 1 1 1 1 0,92
Erros 2 0 0 1 1 3 0 0 0 2 1 0 0 0 0 1 2 1 1 1 2 0 1 0 1 0,80
Eficiência 149 71 152 102 149 295 91 151 196 256 90 131 104 81 125 318 0 189 255 144 0 229 101 199 149 162,04
Satisfação 1 1 1 1 1 1 1 1 1,33 2 1 1,33 1 1 1 1,67 3 1 1,33 1 1 1 2 1,67 1,33 1,27
Completude 1 1 1 1 1 0 1 1 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0,92
Erros 2 1 1 1 0 1 0 1 2 0 1 2 1 0 1 0 1 0 0 0 1 3 2 0 2 0,92
Eficiência 360 156 373 160 158 0 179 185 0 131 241 153 220 203 343 241 216 185 345 239 334 666 185 263 209 249,78
Satisfação 2 1,67 1 1,67 1 1 1,33 2,33 2,33 1 1,67 1 1 1,33 1,67 1,67 1 1 2,67 2,33 1 2 1,67 1 2,33 1,55
Completude 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1 0 1 1 0,92
Erros 1 0 1 1 0 1 0 2 0 0 0 0 1 1 0 1 1 2 1 0 2 1 3 0 0 0,76
Eficiência 132 74 230 87 98 222 185 183 106 76 95 134 152 121 171 165 128 229 200 222 249 267 0 121 233 168,70
Satisfação 1 1 1 1 1 1 1 3 1 1 1 1.33 1 2 1,67 2 1 3,67 1,67 3 1 2 1,67 1 2,67 1,56
Completude 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1,00
Erros 0 0 0 0 1 1 1 2 1 0 0 1 2 0 0 1 0 0 2 1 0 0 1 0 1 0,60
Eficiência 124 117 303 98 188 358 133 196 100 132 138 105 180 96 175 150 171 241 118 225 174 292 95 120 214 169,72
Satisfação 1 1 1 1 1,33 2 1 1,33 1 2 1 2 2 1 1 2 1 1 2 5,67 1 2 1 1,33 1,33 1,52
Tar
efa
5T
aref
a 1
Tar
efa
2T
aref
a 3
Tar
efa
4
Nota: Todas as vezes que o usuário não foi capaz de concluir uma tarefa, foi atribuído valor zero à métrica de eficiência. Esta métrica, portanto, reflete o nível de eficiência atingido pelos usuários que efetivamente conseguiram realizar as tarefas.
90
APÊNCIDE D - TABULAÇÃO DOS DADOS OBTIDOS PELA APLICAÇÃO DO QUESTIONÁRIO
Usu
ário
01
Usu
ário
02
Usu
ário
03
Usu
ário
04
Usu
ário
05
Usu
ário
06
Usu
ário
07
Usu
ário
08
Usu
ário
09
Usu
ário
10
Usu
ário
11
Usu
ário
12
Usu
ário
13
Usu
ário
14
Usu
ário
15
Usu
ário
16
Usu
ário
17
Usu
ário
18
Usu
ário
19
Usu
ário
20
Usu
ário
21
Usu
ário
22
Usu
ário
23
Usu
ário
24
Usu
ário
25
Questão 1 1 1 1 1 1 1 3 1 2 1 3 2 1 1 1 1 1 1 1 2 1 2 2 2 1
Questão 2 2 1 1 2 1 1 3 2 1 2 2 2 1 1 1 1 2 1 1 1 1 1 1 2 2
Questão 3 1 1 1 1 1 1 2 1 2 1 2 1 2 1 1 1 1 1 2 1 1 1 1 2 2
1,33 1 1 1,33 1 1 2,67 1,33 1,67 1,33 2,33 1,67 1,33 1 1 1 1,33 1 1,33 1,33 1 1,33 1,33 2 1,67
Questão 1 1 1 1 1 1 1 1 1 2 3 1 2 1 1 1 2 3 1 1 1 1 1 2 1 1
Questão 2 1 1 1 1 1 1 1 1 1 2 1 1 1 1 1 2 3 1 2 1 1 1 2 2 1
Questão 3 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 3 1 1 1 1 1 2 2 2
1 1 1 1 1 1 1 1 1,33 2 1 1,33 1 1 1 1,67 3 1 1,33 1 1 1 2 1,67 1,33
Questão 1 2 2 1 2 1 1 1 3 3 1 2 1 1 1 2 2 1 1 1 3 1 2 2 1 3
Questão 2 3 2 1 2 1 1 1 1 2 1 2 1 1 1 2 2 1 1 4 2 1 2 1 1 2
Questão 3 1 1 1 1 1 1 2 3 2 1 1 1 1 2 1 1 1 1 3 2 1 2 2 1 2
2 1,67 1 1,67 1 1 1,33 2,33 2,33 1 1,67 1 1 1,33 1,67 1,67 1 1 2,67 2,33 1 2 1,67 1 2,33
Questão 1 1 1 1 1 1 1 1 4 1 1 1 2 1 1 2 2 1 5 3 4 1 2 1 1 2
Questão 2 1 1 1 1 1 1 1 3 1 1 1 1 1 3 2 2 1 1 1 4 1 2 2 1 3
Questão 3 1 1 1 1 1 1 1 2 1 1 1 1 1 2 1 2 1 5 1 1 1 2 2 1 3
1 1 1 1 1 1 1 3 1 1 1 1,33 1 2 1,67 2 1 3,67 1,67 3 1 2 1,67 1 2,67
Questão 1 1 1 1 1 1 4 1 2 1 1 1 2 3 1 1 2 1 1 3 6 1 2 1 1 1
Questão 2 1 1 1 1 1 1 1 1 1 1 1 2 2 1 1 2 1 1 2 6 1 2 1 2 2
Questão 3 1 1 1 1 2 1 1 1 1 1 1 2 1 1 1 2 1 1 1 5 1 2 1 1 1
1 1 1 1 1,33 2 1 1,33 1 1 1 2 2 1 1 2 1 1 2 5,67 1 2 1 1,33 1,33Média Satisfação
Tar
efa
1T
aref
a 2
Tar
efa
3T
aref
a 4
Tar
efa
5
Média Satisfação
Média Satisfação
Média Satisfação
Média Satisfação