“desenvolvimento de uma metodologia para avaliaÇÃo de...
TRANSCRIPT
1
FACULDADE DE ECONOMIA E FINANÇAS IBMEC PROGRAMA DE PÓS-GRADUAÇÃO E PESQUISA EM ADMINISTRAÇÃO E ECONOMIA
DDIISSSSEERRTTAAÇÇÃÃOO DDEE MMEESSTTRRAADDOO PPRROOFFIISSSSIIOONNAALLIIZZAANNTTEE EEMM AADDMMIINNIISSTTRRAAÇÇÃÃOO
“DESENVOLVIMENTO DE UMA METODOLOGIA PARA AVALIAÇÃO DE
USABILIDADE DE SISTEMAS UTILIZANDO A LÓGICA FUZZY BASEADO NA ISO”
RROODDRRIIGGOO CCOOSSTTAA DDOOSS SSAANNTTOOSS
OORRIIEENNTTAADDOORR:: PPrrooffaa.. DDrraa.. MMaarriiaa AAuugguussttaa SSooaarreess MMaacchhaaddoo
Rio de Janeiro, 04 de Janeiro de 2007
Livros Grátis
http://www.livrosgratis.com.br
Milhares de livros grátis para download.
2
“DESENVOLVIMENTO DE UMA METODOLOGIA PARA AVALIAÇÃO DE USABILIDADE DE SISTEMAS UTILIZANDO A LÓGICA FUZZY BASEADO NA
ISO”
RODRIGO COSTA DOS SANTOS
Dissertação apresentada ao curso de Mestrado Profissionalizante em Administração como requisito para obtenção do Grau de Mestre em Administração. Área de Concentração: Sistemas de Apoio à Decisão.
ORIENTADOR: Profa. Dra. Maria Augusta Soares Machado
Rio de Janeiro, 04 de Janeiro de 2007.
3
“DESENVOLVIMENTO DE UMA METODOLOGIA PARA AVALIAÇÃO DE USABILIDADE DE SISTEMAS UTILIZANDO A LÓGICA FUZZY BASEADO NA
ISO”
RODRIGO COSTA DOS SANTOS
Dissertação apresentada ao curso de Mestrado Profissionalizante em Administração como requisito para obtenção do Grau de Mestre em Administração. Área de Concentração: Sistemas de Apoio à Decisão.
Avaliação:
BANCA EXAMINADORA:
_____________________________________________________
Professora Dra. MARIA AUGUSTA SOARES MACHADO (Orientadora) Instituição: IBMEC/RJ _____________________________________________________
Professor Dr. LUIZ ALBERTO NASCIMENTO CAMPOS FILHO Instituição: IBMEC/RJ _____________________________________________________
Professor Dr. ANILTON SALLES GARCIA Instituição: UFES – Universidade Federal do Espírito Santo
Rio de Janeiro, 04 de Janeiro de 2007.
4
658.4038011 S237
Santos, Rodrigo Costa dos. Desenvolvimento de uma metodologia para avaliação de usabilidade de sistemas utilizando a lógica Fuzzy baseado na ISO / Rodrigo Costa dos Santos. Rio de Janeiro: Faculdades Ibmec. 2006. Dissertação de Mestrado Profissionalizante apresentada ao Programa de Pós-Graduação em Administração das Faculdades Ibmec, como requisito parcial necessário para a obtenção do título de Mestre em Administração. Área de concentração: Administração Geral. 1. Sistemas de informação - Administração. 2. Usabilidade de sistemas. 3. Interfaces Homem-Máquina. 4. Ergonomia. 5. Lógica Fuzzy.
v
DEDICATÓRIA
À minha querida esposa Flávia pela paciência, apoio e por
me iluminar em mais essa etapa da minha vida.
Aos meus pais, Antonio e Marli, pela dedicação e amor
que investiram na minha caminhada.
À DEUS que está sempre presente em todos os momentos
da minha vida.
vi
AGRADECIMENTOS
À minha orientadora Maria Augusta, por todos os conhecimentos transmitidos, pelo
incentivo e por estar sempre à disposição para ajudar e tirar dúvidas.
Aos professores e funcionários do Ibmec/RJ, por tudo que aprendi nesse período que
estudei aqui.
Ao “Grupo de Usabilidade” formado por alunos do curso de graduação de
administração do Ibmec/RJ, que se prontificaram a estudar o assunto usabilidade e cooperar
com a pesquisa.
Aos amigos da Eletrobrás e à Eletrobrás pelo apoio na realização deste curso de
mestrado.
vii
RESUMO
A usabilidade de sistemas é um conceito que vai além da facilidade de uso ou de
aprendizagem, é conceito mais abrangente do que isso e compreende vários critérios para
medi-la. Diversos estudos relevantes foram desenvolvidos, cada qual com seu conjunto de
métricas com o propósito de avaliar a usabilidade de sistemas. O objetivo dessa pesquisa é
apresentar essas métricas e unificá-las em critérios mensuráveis em conformidade com as
normas da ISO e propor uma metodologia para avaliação de usabilidade de sistema, seja ele
executado em computadores ou em equipamentos diversos. A lógica fuzzy é a ferramenta
fundamental para consolidação e análise dos dados que são obtidos através das opiniões dos
seus usuários. A pesquisa se mostra exploratória quando é feita a revisão dos critérios de
usabilidade e experimental e aplicada quando se propõe a metodologia de avaliação de
usabilidade de sistemas. Por fim essa metodologia é aplicada para um sistema real e os
resultados são apresentados e validados.
Palavras Chave: Usabilidade de Sistemas, Interfaces Homem-Máquina, Ergonomia, Lógica
Fuzzy.
viii
ABSTRACT
The systems usability is a concept that goes besides the easiness of use or of
learnability it is more complex than that and it understands several metrics to measure it.
Several relevant studies were developed, each one with his set of metrics with the purpose of
evaluate the systems usability. The objective of this thesis is to present these metrics and to
unify them in measurable metrics in accordance with the standards of the ISO’s standards and
to propose a methodology for evaluation of systems usability, be it executed in computers or
in different equipments. The fuzzy logic is the basic tool for consolidation and analysis of the
data that are obtained through the opinions of his users. The research is shown exploratory
when the revision of the metrics is done and experimental and applied when the methodology
of evaluation is proposed for systems usability. Finally this methodology is applied for a real
system and the results are presented and validated.
Key Words: Systems Usability, Human Computer Interface, Ergonomics, Fuzzy Logic.
ix
LISTA DE FIGURAS Figura 1 – Pertinência de um elemento a um conjunto.............................................................24
Figura 2 – Gráfico de pertinência de um conjunto fuzzy..........................................................26
Figura 3 – Representação gráfica de um número triangular nebuloso......................................29
Figura 4 – Quadro com a unificação dos critérios de usabilidade de sistemas.........................37
Figura 5 - Atividades de usabilidade, adaptado de (ISO 9241)................................................39
Figura 6 – Passos para avaliação da usabilidade, segundo a metodologia proposta.................42
Figura 7 – Gráfico da Questão 1 da métrica Facilidade de Aprender.......................................60
Figura 8 – Gráfico da Questão 2 da métrica Facilidade de Aprender.......................................60
Figura 9 – Gráfico da Questão 3 da métrica Facilidade de Aprender ......................................61
Figura 10 – Gráfico da Questão 4 da métrica Facilidade de Aprender.....................................62
Figura 11 – Gráfico da Questão 5 da métrica Facilidade de Aprender.....................................62
Figura 12 – Gráfico da Questão 6 da métrica Facilidade de Aprender.....................................63
Figura 13 – Gráfico da Questão 7 da métrica Facilidade de Aprender.....................................64
Figura 14 – Gráfico da Questão 8 da métrica Facilidade de Aprender.....................................65
Figura 15 – Gráfico da Questão 9 da métrica Facilidade de Aprender.....................................65
Figura 16 – Gráfico da Questão 10 da métrica Facilidade de Aprender...................................66
Figura 17 – Gráfico do resultado final para a métrica Facilidade de Aprender........................66
Figura 18 – Gráfico da Questão 1 da métrica Facilidade de Relembrar...................................67
Figura 19 – Gráfico da Questão 2 da métrica Facilidade de Relembrar...................................68
x
Figura 20 – Gráfico da Questão 3 da métrica Facilidade de Relembrar...................................68
Figura 21 – Gráfico do resultado final para a métrica Facilidade de Relembrar......................69
Figura 22 – Gráfico da Questão 1 da métrica Controle de Erros..............................................70
Figura 23 – Gráfico da Questão 2 da métrica Controle de Erros..............................................70
Figura 24 – Gráfico da Questão 3 da métrica Controle de Erros..............................................71
Figura 25 – Gráfico da Questão 4 da métrica Controle de Erros..............................................72
Figura 26 – Gráfico da Questão 5 da métrica Controle de Erros..............................................72
Figura 27 – Gráfico da Questão 6 da métrica Controle de Erros..............................................73
Figura 28 – Gráfico da Questão 7 da métrica Controle de Erros..............................................73
Figura 29 – Gráfico do resultado final para a métrica Controle de Erros.................................74
Figura 30 – Gráfico da Questão 1 da métrica Eficiência..........................................................75
Figura 31 – Gráfico da Questão 2 da métrica Eficiência..........................................................75
Figura 32 – Gráfico da Questão 3 da métrica Eficiência..........................................................76
Figura 33 – Gráfico da Questão 4 da métrica Eficiência..........................................................76
Figura 34 – Gráfico do resultado final para a métrica Eficiência.............................................77
Figura 35 – Gráfico da Questão 1 da métrica Eficácia.............................................................78
Figura 36 – Gráfico da Questão 2 da métrica Eficácia.............................................................78
Figura 37 – Gráfico da Questão 3 da métrica Eficácia.............................................................79
Figura 38 – Gráfico do resultado final para a métrica Eficácia................................................80
Figura 39 – Gráfico da Questão 1 da métrica Satisfação..........................................................80
Figura 40 – Gráfico da Questão 2 da métrica Satisfação..........................................................81
Figura 41 – Gráfico da Questão 3 da métrica Satisfação..........................................................81
Figura 42 – Gráfico do resultado final para a métrica Satisfação.............................................82
xi
LISTA DE TABELAS Tabela 1 – Resultado dos autores citados na revisão da literatura sobre usabilidade...............14
Tabela 2 – Quadro dos critérios de usabilidade X medidas da ISO 9241.................................46
Tabela 3 – Quadro das métricas, número e a quantidade de questões elaboradas....................47
Tabela 4 – Resultado dos cálculos de semelhanças entre conjuntos.........................................59
Tabela 5 – Resultado final da avaliação da usabilidade da Intranet da Eletrobrás...................83
xii
LISTA DE ABREVIATURAS ISO – International Organization for Standardization
FOU – Freqüência das Opiniões dos Usuários
FOUN – Freqüência das Opiniões dos Usuários Normalizada
NN – Número Nebuloso
NNM – Número Nebuloso Médio
NNMN – Número Nebuloso Médio Normalizado
xiii
SUMÁRIO
RESUMO ............................................................................................................................ vii
ABSTRACT ....................................................................................................................... viii
LISTA DE FIGURAS........................................................................................................... ix
LISTA DE TABELAS.......................................................................................................... xi
LISTA DE ABREVIATURAS ............................................................................................ xii
SUMÁRIO ......................................................................................................................... xiii
1. INTRODUÇÃO................................................................................................................. 1
1.1. DEFINIÇÃO DO PROBLEMA .................................................................................. 1
1.2. OBJETIVOS DA PESQUISA ..................................................................................... 2
1.2.1. OBJETIVOS GERAIS ............................................................................................. 2
1.2.2. OBJETIVOS ESPECÍFICOS ................................................................................... 2
1.3. JUSTIFICATIVA DA PESQUISA.............................................................................. 3
1.4. RELEVÂNCIA DA PESQUISA................................................................................. 4
1.5. DELIMITAÇÃO DO ESTUDO .................................................................................. 5
1.6. ORGANIZAÇÃO DO ESTUDO................................................................................. 5
2. METODOLOGIA DA PESQUISA CIENTÍFICA.............................................................. 7
3. REVISÃO DA LITERATURA........................................................................................ 10
3.1. USABILIDADE........................................................................................................ 10
3.1.1. Histórico da Usabilidade ........................................................................................ 10
3.1.2. Critérios de Avaliação de Usabilidade .................................................................... 13
3.1.2.1. Critérios de Avaliação Segundo a ISO 9126 ........................................................ 14
3.1.2.2. Critérios de Avaliação Segundo Shackel.............................................................. 16
3.1.2.3. Critérios de Avaliação Segundo Nielsen .............................................................. 17
3.1.2.4. Critérios de Avaliação Segundo Bastien & Scapin............................................... 17
3.1.2.5. Critérios de Avaliação Segundo Jordan................................................................ 19
xiv
3.1.2.6. Critérios de Avaliação Segundo Shneiderman ..................................................... 20
3.1.2.7 Critérios de Avaliação Segundo Quesenbery ........................................................ 21
3.2. LÓGICA FUZZY...................................................................................................... 22
3.2.2. Conjuntos Fuzzy .................................................................................................... 23
3.2.3. Normalização de Conjuntos Fuzzy ......................................................................... 26
3.2.4. Operações Com Conjuntos Fuzzy........................................................................... 27
3.2.4.1. União .................................................................................................................. 27
3.2.4.2. Interseção............................................................................................................ 27
3.2.4.3. Complemento...................................................................................................... 28
3.2.5. Números Triangulares Nebulosos ........................................................................... 28
4. PROPOSTA DE METODOLOGIA PARA AVALIAÇÃO DE USABILIDADE ............. 31
4.1. UNIFICAÇÃO DOS CRITÉRIOS DE AVALIAÇÃO DE USABILIDADE ............. 31
4.1.1. Facilidade de Aprender........................................................................................... 32
4.1.2. Facilidade de Relembrar......................................................................................... 33
4.1.3. Controle de Erros ................................................................................................... 33
4.1.4. Eficiência ............................................................................................................... 34
4.1.5. Eficácia .................................................................................................................. 34
4.1.6. Satisfação............................................................................................................... 35
4.2. A NORMA ISO 9241................................................................................................ 38
4.3. METODOLOGIA PROPOSTA ................................................................................ 41
4.3.1. Selecionar o Sistema a ser Avaliado ....................................................................... 42
4.3.2. Identificar o Contexto de Uso................................................................................. 43
4.3.3. Aplicar o Questionário aos Usuários....................................................................... 45
4.3.3.1. Procedimento para Coleta de Dados .................................................................... 48
4.3.4. Avaliar a Usabilidade do Sistema ........................................................................... 49
4.3.4.1. Tratamento dos Dados......................................................................................... 49
5. APLICAÇÃO E VALIDAÇÃO DA METODOLOGIA PROPOSTA............................... 53
5.1. PRÉ-TESTE.............................................................................................................. 53
5.2. VALIDAÇÃO........................................................................................................... 54
5.3. COLETA DE DADOS .............................................................................................. 57
5.4. AVALIAÇÃO DOS RESULTADOS ........................................................................ 58
6. CONCLUSÕES............................................................................................................... 84
REFERÊNCIAS BIBLIOGRÁFICAS ................................................................................. 87
BIBLIOGRAFIA COMPLEMENTAR ................................................................................ 89
xv
APÊNDICE A – QUESTIONÁRIO PARA USABILIDADE DE SISTEMAS ..................... 91
APÊNDICE B – NÚMEROS TRIANGULARES NEBULOSOS......................................... 94
APÊNDICE C – PLANILHA COM A TABULAÇÃO DOS RESULTADOS...................... 99
APÊNDICE D – PLANILHA COM A CORELAÇÃO ENTRE AS QUESTÕES E AS
MÉTRICAS....................................................................................................................... 100
1
1. INTRODUÇÃO
1.1. DEFINIÇÃO DO PROBLEMA
O termo usabilidade é freqüentemente usado para se referir à capacidade de um
produto ser fácil de usar. Porém, somente essa definição é muito simples para um conceito tão
abrangente, que envolve atender as expectativas do usuário de forma completa.
Mais especificamente com relação à usabilidade de sistemas, vários trabalhos
científicos foram escritos sobre o assunto, além de algumas normas da ISO (International
Organization for Standardization) que é uma organização internacional para a definição de
normas em mais de 148 países, contudo não se tem um consenso sobre todos esses trabalhos.
Dentre as normas existentes que abordam o tema da usabilidade, tem-se a ISO 9126
que versa sobre qualidade de sistema e define usabilidade sob o ponto de vista da “qualidade
de uso” como sendo “a capacidade do produto de software permitir à usuários específicos
atingir metas específicas com eficácia, produtividade, segurança e satisfação em um contexto
de uso específico” (ISO 9126).
2
Outra norma é a ISO 9241 que trata sobre visão do usuário e seu contexto bem como
características ergonômicas do produto e entende que a usabilidade pode ser compreendida
como a capacidade que um sistema oferece ao seu usuário, em um determinado contexto de
operação, para a realização de tarefas de maneira eficaz, eficiente e agradável (ISO 9241).
Várias técnicas de avaliação de usabilidade de sistemas também foram
desenvolvidas: baseadas em questionários aplicados aos usuários, baseadas em modelos
formais, base de conhecimento, checklists, ensaios de interação ou sistemas de
monitoramento (CYBIS, 2003), todas elas apresentando suas limitações, vantagens e
desvantagens.
Uma revisão da literatura existente incluindo as normas da ISO e a criação de uma
metodologia formal para avaliação de usabilidade de sistemas que fosse fortemente construído
e testado constitui uma necessidade eminente.
1.2. OBJETIVOS DA PESQUISA
1.2.1. OBJETIVOS GERAIS
O objetivo principal da presente pesquisa é desenvolver uma metodologia de
avaliação de usabilidade de sistemas baseado nas normas da ISO com uso da Lógica Fuzzy
como meio de extrair as opiniões dos usuários.
1.2.2. OBJETIVOS ESPECÍFICOS
3
• Realizar uma revisão dos critérios de avaliação de usabilidade de sistemas, dentre
os diversos critérios propostos por diversos autores.
• Propor uma metodologia de avaliação de usabilidade de sistemas abrangente, não
só para sistemas de computador, mas também para sistemas que são executados
em equipamentos diversos.
• Validar a metodologia proposta para avaliar a Intranet da Eletrobrás.
1.3. JUSTIFICATIVA DA PESQUISA
A maioria dos estudos na área de avaliação de usabilidade de sistema se baseia em
uma única técnica ou em um conjunto de métricas estipuladas por um único autor. Tem-se
uma necessidade na busca de padrões formais e nas definições de métricas para esta
finalidade.
Mesmo com a existência de várias técnicas para avaliação da usabilidade de
sistemas, ninguém melhor do que os próprios usuários para opinarem a respeito da
usabilidade do sistema. Eles estão em contato com o sistema no seu dia-a-dia.
A ISO abrange boa parte da definição de usabilidade de sistemas, porém os conceitos
estão espalhados por diversas normas. Uma boa revisão das normas no que se refere à
usabilidade de sistemas é uma necessidade aparente, bem como uma metodologia de
avaliação aderente às normas da ISO, uma vez que a ISO só apresenta orientações de como a
usabilidade de um produto pode ser especificada e avaliada.
4
A lógica Fuzzy apresenta-se como um facilitador para se atingir o objetivo da
pesquisa. Desde que a lógica Fuzzy foi criada, em 1965 por Lofti A. Zadhe, ela vem sendo
utilizada em inúmeras áreas do conhecimento como na engenharia, medicina e robótica
(COSTA et al, 2005) e é utilizada como técnica para processar e analisar o resultado obtido
das opiniões dos usuários do sistema estudado, uma vez que ela permite transformar opiniões
subjetivas em indicadores mensuráveis.
1.4. RELEVÂNCIA DA PESQUISA
A usabilidade é um fator que determina o sucesso de um sistema. Interfaces mal
projetadas, principalmente para sistemas que trabalham com informação, podem ser
responsáveis pelo desinteresse ou descrédito do usuário, causando prejuízos, perdas entre
outros fatores (SHNEIDERMAN, 1998).
No caso de sistemas na internet, principalmente em sites de compras, a usabilidade
influencia diretamente o sucesso das vendas. Em um equipamento, a usabilidade
proporcionada pelo sistema embarcado proporciona o sucesso da aceitação do equipamento
no mercado.
Por isso, uma metodologia robusta e eficaz para se medir a usabilidade de um
sistema qualquer é uma aparente necessidade e esse motivo torna relevante a presente
pesquisa.
5
1.5. DELIMITAÇÃO DO ESTUDO
O presente estudo se limita a estudar aspectos de usabilidade para sistemas, ou
equipamentos que possuam algum sistema que controle a interface com o usuário.
Os critérios sobre usabilidade de sistemas selecionados nessa pesquisa se limitaram
nos estudos apresentados na revisão da literatura.
1.6. ORGANIZAÇÃO DO ESTUDO
Além desta introdução, o presente trabalho está divido nas seguintes partes:
• Metodologia da Pesquisa Científica: descreve o tipo de pesquisa que está
sendo realizada, bem como sua conceituação.
• Revisão da Literatura: tem como objetivo apresentar conceitos das teorias que
serviram de base para o desenvolvimento desse trabalho, ou seja, aspectos
relacionados à usabilidade de sistemas e sobre a lógica fuzzy.
• Proposta de Metodologia para Avaliação da Usabilidade: nesse capítulo é
apresentada detalhadamente a metodologia proposta para a avaliação da
usabilidade de sistemas utilizando a lógica fuzzy e se baseando na norma da
ISO.
6
• Aplicação e Validação da Metodologia Proposta: Aplica a metodologia
proposta no trabalho em um caso real a fim de validá-la, permitindo
visualizar sua aplicação prática.
• Conclusões: Expõe a avaliação geral do trabalho desenvolvido, os ganhos
conseguidos, as facilidades e as dificuldades encontradas na realização desse
estudo.
7
2. METODOLOGIA DA PESQUISA CIENTÍFICA
Vergara (2000) propõe dois critérios de classificação para o tipo de pesquisa:
quanto aos fins e quanto aos meios. Quanto aos fins a pesquisa pode ser classificada como:
exploratória, descritiva, explicativa, metodológica, aplicada e intervencionista. Quanto aos
meios a pesquisa pode ser classificada como: pesquisa de campo, pesquisa de laboratório,
documental, bibliográfica, ex post facto, participante, pesquisa-ação e estudo de caso.
Para efeitos da metodologia científica utilizada, pode-se dividir a pesquisa em
duas partes: Quando é feita a revisão da literatura e a unificação dos critérios de
usabilidade de sistemas; e Quando é proposta uma metodologia para avaliação de
usabilidade de sistemas.
Quando é feita a revisão da literatura e a unificação dos critérios de usabilidade de
sistemas, a pesquisa se apresenta quanto aos fins como exploratória e quanto aos meios
como bibliográfica.
Os estudos exploratórios geram estruturas soltas com o objetivo de descobrir
tarefas de pesquisa em áreas novas (COOPER & SCHINDLER, 2003). Quando se
8
investigou na literatura autores que propunham critérios para avaliação de usabilidade não
se sabia ao certo quantos autores e quantos critérios seriam encontrados, pois havia pouco
conhecimento consolidado nesta área. Os meios foram bibliográficos, pois foi pesquisado
em revistas e anais de congressos fontes sobre o assunto.
Quando é proposta uma metodologia para avaliação de usabilidade de sistemas e
sua validação baseada em um caso prático, a pesquisa se apresenta quanto aos fins como
metodológica e aplicada e quanto aos meios como experimental.
A pesquisa metodológica apresenta instrumentos ou propostas para
manipulação da realidade e está associada a caminhos, formas, maneiras, procedimentos
para atingir determinado fim (VERGARA, 2000). Nesta pesquisa é apresentada uma
metodologia para avaliação de usabilidade de sistemas com passos e procedimentos
formais e bem definidos para atingir um resultado final.
Além do estudo apresentar características da pesquisa metodológica, ela também é
uma pesquisa aplicada, pois tem por objetivo ser utilizada em casos reais. A pesquisa
aplicada é motivada pela necessidade de se resolver problemas concretos com finalidade
prática (VERGARA, 2000).
Nesta etapa da pesquisa os meios foram experimentais. Conforme define Gil
(1996) a pesquisa experimental “consiste em determinar um objeto de estudo, selecionar as
variáveis que seriam capazes de influenciá-lo, definir as formas de controle e de
observação dos efeitos que a variável produz no objeto”. No momento em que é feita a
9
validação da metodologia proposta em um caso prático, é realizado um ensaio científico
para a verificação e consolidação dos resultados, o que caracteriza a experimentação.
10
3. REVISÃO DA LITERATURA
3.1. USABILIDADE
A usabilidade é uma característica de um determinado produto ser fácil de usar, fácil
e rápido de aprender, não provocar erros ou caso ocorram sejam facilmente resolvidos,
solucionar as tarefas que ele se propõe a resolver com eficiência e eficácia e oferecer um alto
grau de satisfação para seus usuários (ISO 9241, 1998; NIELSEN, 1993; JORDAN, 1998).
A usabilidade tem como objetivo elaborar interfaces capazes de permitir uma
interação fácil, agradável, com eficácia e eficiência. Ela deve capacitar a criação de interfaces
transparentes de maneira a não dificultar o seu uso, permitindo ao usuário pleno controle do
ambiente sem se tornar um obstáculo durante a interação.
Neste capítulo são apresentados um breve histórico sobre a usabilidade e alguns
conjuntos de critérios utilizados para avaliação de usabilidade de sistemas apresentados por
diversos autores.
3.1.1. Histórico da Usabilidade
11
Foi durante a Segunda Guerra Mundial que começaram as primeiras preocupações
com a interação entre seres humanos e máquinas. A tecnologia cada vez mais avançada,
novos aviões, submarinos, radares, mísseis, demandavam respostas cada vez mais rápidas dos
operadores desses equipamentos, e o manuseio desses equipamentos precisava estar cada vez
mais adequado às características físicas, psíquicas e cognitivas humanas. Nascia aí a
Ergonomia, área da ciência que estuda a correta adequação de produtos ao trabalho humano
(MORAES, 2006).
Com o fim da Segunda Guerra, a ergonomia focou-se nas máquinas do nosso dia-a-
dia, como eletrodomésticos, automóveis, equipamentos eletrônicos, entre outros. Mais tarde a
indústria dos computadores veio revolucionar essa área, pois também veio a se beneficiar
desses estudos.
A partir da década de 1970, a Ergonomia passou a contribuir também para o
desenvolvimento de sistemas interativos. Para reduzir custos de produção e manutenção, os
ergonomistas criaram novas metodologias que identificassem problemas relativos ao contexto
de uso dos sistemas. Esse conjunto de métodos e técnicas estruturadas passou a ser conhecido
como Engenharia de Usabilidade ou simplesmente Usabilidade (NASCIMENTO, 2006).
De acordo com Shackel (1986), a definição de usabilidade foi introduzida por Miller
em 1971 através de métricas relacionadas a “facilidade de uso”. Miller identificou vários
critérios para mensurar a facilidade de uso, como por exemplo: tempo de aprendizado,
número de erros e tolerância à falhas (MILLER, 1971).
12
Em 1979, Bennett deu início a questão da usabilidade no contexto da Interação
Humano-Computador (IHC), que é a área de pesquisa que estuda a comunicação entre
pessoas e sistemas, apontando que a usabilidade sugere interação e indicando a possibilidade
de mensuração da satisfação do usuário (BENNETT, 1979).
Mais tarde, Shackel (1986) ampliou o conceito de usabilidade incluindo uma visão
centrada no usuário e no ambiente em que o sistema está sendo utilizado, e apresentou quatro
critérios para medir usabilidade: Eficácia, Aprendizagem, Flexibilidade e Atitude.
Outro estudioso no assunto e que foi considerado o “guru da usabilidade” é Jakob
Nielsen (1993) que defende que a usabilidade tem como objetivo proporcionar interfaces
agradáveis para o usuário e que permitam fácil interação, com eficácia e eficiência.
Após a apresentação de vários desses trabalhos relacionados à usabilidade, em 1998
a ISO criou a norma 9241 que trata de qualidade de pacotes de sistemas e também considera
questões sobre usabilidade tratada sobre a visão do usuário e seu contexto, bem como
características ergonômicas do produto e defende que a usabilidade pode ser compreendida
como sendo a capacidade que apresenta um sistema interativo de ser operado, de maneira
eficaz, eficiente e agradável, em um determinado contexto de operação, para a realização das
tarefas de seus usuários (ISO 9241, 1998).
A maioria dos estudos na área de avaliação de usabilidade de sistemas se baseia em
uma única técnica ou em um conjunto de métricas estipuladas por um único autor. Tem-se
uma necessidade na busca de padrões formais e nas definições de métricas para esta
finalidade.
13
3.1.2. Critérios de Avaliação de Usabilidade
Existem vários trabalhos publicados sobre avaliação de usabilidade, cada um com
seus critérios, desenvolvidos por autores pesquisadores da usabilidade. Nesta seção pretende-
se analisar a similaridade entre os trabalhos apresentados. Além das normas da ISO, foram
selecionados os seguintes autores: Shackel, Jakob Nielsen, Bastien & Scapin, Jordan,
Shneiderman e Quesenbery.
Esses autores foram selecionados após uma revisão da literatura realizada através de
uma busca em base de dados brasileiras classificadas no Qualis da CAPES (Coordenação de
Aperfeiçoamento de Pessoal de Nível Superior).
Foram selecionadas seis revistas científicas: RAE – Revista de Administração de
empresas (ISSN 0034-7593), RAE-Eletrônica (ISSN 1676-5648), RAC – Revista de
Administração Contemporânea (ISSN 1415-6555), RAUSP – Revista de Administração
(ISSN 0080-2107), RESI – Revista Eletrônica de Sistemas de Informação (ISSN 1677-3071)
e Revista Ciência da Informação (ISSN 0100-1965), além dos Anais de dois congressos:
EnANPAD – Encontro da Associação Nacional dos Programas de Pós-Graduação em
Administração e o CATI – Congresso Anual de Tecnologia da Informação.
A palavra utilizada para busca foi simplesmente “usabilidade”, o período analisado
variava de acordo com a data de disponibilidade de pesquisa de cada revista ou congresso. O
resultado desta compilação encontra-se na Tabela 1.
14
Entre os autores selecionados, o mais referenciado foi Jakob Nielsen citado onze
vezes, seguido de Shneiderman citado três vezes, Bastien & Scapin citados duas vezes, a ISO
9126 foi citada duas vezes e Jordan, Shackel e Quesenbery foram citados uma vez cada um.
Fonte Período analisado Quantidade de
artigos encontrados
Autores Citados (Quantidade de vezes)
RAE – Revista de Administração de empresas
1961 a 2006 0 -
RAE-Eletrônica 2002 a 2006 1 Bastien & Scapin(1)
RAC – Revista de Administração Contemporânea
1997 – 2006 1 Nielsen (1)
RAUSP – Revista de Administração 1977 a 2006 0 -
RESI 2002 a 2006 2 Shackel(1) e Nielsen(1)
Ciência da Informação 1999 a 2006 5 Nielsen(4), Shneiderman(2), ISO 9126(1) e Jordan(1)
EnANPAD 1998 a 2005 6 ISO 9126(1), Nielsen(3), Shneiderman(1) e Bastien & Scapin(1)
CATI 2004 a 2006 2 Nielsen(2) e Quesenbery(1)
Total 17 Tabela 1 – Resultado dos autores citados na revisão da literatura sobre usabilidade
3.1.2.1. Critérios de Avaliação Segundo a ISO 9126
A norma ISO 9126 – Engenharia de sistema – Qualidade de Produto, foi
desenvolvida com objetivo de criar um modelo de avaliação de qualidade para de produto de
sistema. A finalidade é chegar a um nível de qualidade para atingir as reais necessidades do
usuário. A metodologia não se propõe a chegar à “qualidade perfeita”, mas sim aquela que
seja suficiente para cada contexto de uso específico para seus usuários.
15
A Qualidade em Uso definida por esta norma é a “capacidade do produto de sistema
de permitir que usuários especificados atinjam metas especificadas com eficácia,
produtividade, segurança e satisfação em contextos de uso especificados” (ISO 9126).
O modelo proposto para avaliação de qualidade de um produto de sistema é
composto de seis características (funcionalidade, confiabilidade, usabilidade, eficiência,
manutenibilidade e portabilidade) cada um com suas subcaracterísticas. Neste caso, para o
presente trabalho, detalham-se as subcaracterísticas referentes à usabilidade, que são:
Inteligibilidade: É a capacidade do sistema possibilitar ao usuário identificar se o
sistema é apropriado para executar determinada tarefa.
Apreensibilidade: É a capacidade do sistema possibilitar ao usuário aprender a
manuseá-lo.
Operacionalidade: É a capacidade do sistema possibilitar ao usuário operá-lo e
controlá-lo.
Atratividade: É a capacidade do sistema atrair o usuário, ser agradável.
Conformidade relacionada à usabilidade: É a capacidade do sistema estar de
acordo com as normas e convenções relacionadas à usabilidade.
16
3.1.2.2. Critérios de Avaliação Segundo Shackel
Shackel (1986) entende que a usabilidade é o meio pelo qual o usuário constrói sua
percepção em relação ao produto. O autor ainda coloca quatro componentes que devem ser
observados antes da avaliação da usabilidade: usuário, tarefa, sistema e ambiente, e que um
projeto bem focado na usabilidade deve possuir uma interação harmônica e dinâmica entre
esses quatros componentes.
Para avaliação das tarefas sobe o ponto de vista da usabilidade, o autor apresenta em
quatro critérios (SHACKEL, 1986):
Eficácia: Avalia o desempenho de uma tarefa focado a um usuário ou a um ambiente
específico. Por exemplo, em função da velocidade de execução e da quantidade de erros.
Aprendizagem: Avalia o desempenho desde a instalação do produto até o início do
uso, tempo de treinamento e reaprendizagem com relação à freqüência de uso.
Flexibilidade: Avalia o desempenho de adaptação a tarefas além daquelas que já
vêm especificadas “de fábrica”, personalização.
Atitude: Avalia o desempenho com relação ao conforto ou satisfação do usuário
associado aos níveis aceitáveis de desgaste, fadiga, desconforto, frustração e esforço pessoal.
17
3.1.2.3. Critérios de Avaliação Segundo Nielsen
Jakob Nielsen (1993), assim como Shackel (1986), considera a usabilidade como
sendo um dos aspectos que podem influenciar a aceitabilidade de um produto. Nielsen (1993)
define usabilidade sob cinco atributos:
Facilidade de aprender: O sistema deve ser fácil de aprender, para que um usuário
possa concluir uma tarefa rapidamente e sem dificuldades. A interface deve ser clara e
objetiva.
Eficiência de uso: O sistema deve ser eficiente na tarefa que se propõe a realizar. O
usuário deve atingir um alto nível de produtividade.
Memorização: As funcionalidades do sistema devem ser fácil de relembrar, mesmo
após o usuário ficar um certo período de tempo sem usá-lo, sem necessidade de um novo
treinamento.
Poucos Erros: O sistema deve produzir um número de erros reduzido e se um erro
ocorrer, o usuário deve poder resolvê-lo ou ignorá-lo de forma rápida e simples.
Satisfação: É a percepção do usuário diante da interface do sistema. A interface deve
ser agradável e o usuário deve se sentir satisfeito e gostar de usar o sistema. Essa medida é
totalmente subjetiva.
3.1.2.4. Critérios de Avaliação Segundo Bastien & Scapin
18
Bastien & Scapin (1993), pesquisadores franceses do INRA (Institut National de
Recherche en Informatique et en Automatique), desenvolveram um conjunto de critérios
ergonômicos para construção de interfaces de sistemas. Os autores propuseram oito critérios
principais, sendo que alguns desses possuem subcritérios que complementam o conceito. Os
oito critérios principais são:
Condução: É a característica do sistema em orientar o usuário através da interface e
do uso do sistema, através de dicas, informações e respostas simples às ações do usuário. A
organização das informações de forma clara e legível para o usuário não se sentir “perdido”
ao executar uma tarefa no sistema também faz parte deste critério.
Carga de Trabalho: É a capacidade do sistema em solicitar um mínimo de ações
para execução de uma tarefa. Quanto menos passos o usuário deva tomar, melhor, pois reduz
a memorização e reduz a possibilidade de cometer erros. Diz respeito a eficiência no diálogo
entre o usuário e a interface.
Controle Explícito: É quando o usuário está sob o controle das ações do sistema e
este se mostra “obediente” as ações do usuário. O processamento do sistema deve ser
explicito ao usuário e terá maior controle sobre o sistema.
Adaptabilidade: É a capacidade do sistema em se comportar conforme as
necessidades e preferências do usuário. A interface do sistema deve reagir conforme o
contexto.
19
Gestão de Erros: É o conjunto de mecanismos capazes de prevenir e reduzir erros
causados pelo sistema, além de facilitar sua recuperação quando os mesmos ocorrerem.
Consistência: É a coerência no modo que os aspectos de interface são mantidos em
contextos semelhantes, e são diferentes quando aplicado a contextos diferentes.
Significância do código: É a clareza com que os códigos e denominações são
apresentados para o usuário. Deve haver uma relação semântica forte entre tais códigos e os
itens ou ações às que eles se referem.
Compatibilidade: É relação entre as características dos usuários (percepção, idade,
expectativas) e as tarefas, saídas e entradas do sistema.
3.1.2.5. Critérios de Avaliação Segundo Jordan
Jordan (1998) apresenta através dos seus estudos, segundo sua denominação, os
cinco “componentes de usabilidade”:
Aprendizagem: é o custo para o usuário em atingir um determinado nível de
competência na realização de uma tarefa, excluindo as dificuldades encontradas para realizá-
la pela primeira vez.
Performance do usuário experiente (PUE): é o nível da performance atingido por
determinado usuário ao realizar muitas vezes determinadas tarefas com um determinado
produto.
20
Potencial do sistema: representa o nível máximo de performance que pode ser
atingido ao realizar uma determinada tarefa com um produto. É o limite máximo do PUE.
Re-usabilidade: indica uma possível diminuição da performance que pode ocorrer
após o usuário não utilizar o produto, ou não executar uma determinada tarefa, por um
determinado período de tempo.
3.1.2.6. Critérios de Avaliação Segundo Shneiderman
Shneiderman (1998) nos apresenta cinco “regras de ouro” que são fatores
mensuráveis para avaliação da usabilidade e qualidade de uma interface de sistema. Essas
regras são bem semelhantes às descritas por Nielsen (1993), porém apresentadas de uma
forma mais objetiva.
Tempo de Aprendizagem: Tempo necessário para um usuário iniciante aprender a
executar os comandos com objetivo de executar determinada tarefa.
Velocidade de Realização: Tempo necessário para um usuário concluir uma tarefa
chave do sistema.
Taxa de Erros do Usuário: Número e tipo de erros cometidos pelos usuários.
21
Retenção ao longo do tempo: Forma pela qual os usuários utilizam o sistema depois
de passado determinado tempo (horas, dias ou semanas). Esta medida está relacionada com o
tempo de aprendizagem e com a freqüência de utilização.
Satisfação Subjetiva: Grau de satisfação do usuário ao utilizar diversas
funcionalidades do sistema.
3.1.2.7 Critérios de Avaliação Segundo Quesenbery
Por fim, Quesenbery (2001) apresenta as cinco características da usabilidade,
conhecida como 5E’s (effective, efficient, engaging, error tolerant, easy to learn). Segundo a
autora as interfaces devem ser avaliadas confrontando-se com essas características, a fim de
garantir sucesso e satisfação do usuário final.
Eficiência: Avalia o tempo (quantidade de cliques ou páginas visitadas) gasto para
realizar determinada tarefa.
Eficácia: Avalia como as tarefas foram exatamente concluídas, e com que freqüência
elas produzem erros.
Atração: Avalia o conforto ou satisfação do usuário ao utilizar o sistema. Mede a
aceitação de usuário em relação ao sistema.
22
Tolerância a erros: Avalia a taxa de erros gerados pelo sistema. Presume-se que os
erros sejam apresentados claramente para o usuário e resolvidos facilmente.
Facilidade de aprender: Avalia a facilidade de uso para usuários de diversos níveis
de experiência com o sistema. O usuário deve concluir uma tarefa com o mínimo de uso de
assistentes ou ajuda possível.
3.2. LÓGICA FUZZY
A Lógica Fuzzy ou matemática nebulosa foi criada em 1965 a partir da publicação
do artigo intitulado "Fuzzy Sets" por Lofti A. Zadhe, engenheiro eletrônico e professor da
Universidade da Califórnia, Berkeley (COSTA et al, 2005).
Ao contrário da lógica proposta por Aristóteles, filósofo grego (384 - 322 a.C.), que
define uma regra rígida, atribuindo às afirmações valores “verdadeiro” ou “falso”, a lógica
fuzzy é baseada no uso de aproximações e consegue traduzir expressões verbais, imprecisas e
vagas, comuns na comunicação humana, em valores numéricos (SIMÕES & SHAW, 1999).
A lógica fuzzy apresenta o princípio da dualidade, estabelecendo que dois eventos
opostos podem coexistir, ou seja, um elemento pode pertencer, em um certo grau, a um
conjunto e, em um outro grau, a um outro conjunto. Aplicação desse conceito pode ser
23
identificada no nosso dia-a-dia, principalmente quando se trata de conceitos abstratos. Por
exemplo, achar que uma pessoa é alta ou baixa. Neste caso fica difícil delimitar a fronteira
exata entre os conjuntos das altas e das baixas. Se uma pessoa com altura menor ou igual a
1,70 m seja uma pessoa baixa e outra com mais de 1,70 m seja alta, será que só pelo fato da
pessoa ter 1,71 m de altura ela já possa ser considerada como uma pessoa alta da mesma
maneira que uma pessoa de 1,95 m?
Neste caso as variáveis podem assumir valores fuzzyficados, isto é, um grau de
verdade não precisar assumir totalmente a verdade absoluta nem a falsidade absoluta, ou
numericamente falando: zero ou um.
Um bom exemplo colocado por Oliveira Jr (1999) é o de três copos: o primeiro
totalmente cheio de um líquido, o segundo totalmente vazio e o terceiro contendo o líquido
pela metade, e a pergunta era a seguinte: o terceiro copo está meio cheio ou meio vazio? Pela
lógica fuzzy a resposta seria:
• O primeiro copo está cheio com grau de 100% e vazio com grau de 0%;
• O segundo copo está cheio com grau de 0% e vazio com grau de 100%;
• O terceiro copo está cheio com grau de 50% e vazio com grau de 50%;
Esse grau de pertinência de 100% é representado pelo número 1 (um) e o grau de
pertinência 0% é representado pelo numero 0 (zero), e a chamada fuzzyficação consiste em
atribuir um grau de pertinência intermediária dentro do intervalo [0,1] a uma variável.
3.2.2. Conjuntos Fuzzy
24
Como já visto, segundo a lógica booleana, concebida por Aristóteles, uma afirmação
assume valores verdadeiro ou falso. Trazendo esse conceito para a teoria dos conjuntos, um
objeto pertence ou não a um determinado conjunto, por exemplo, considerando que os alunos
de uma turma (a1, a2, ... an) formem o universo “U”. Seja o conjunto “A” formado pelos
alunos que entenderam a lição do dia apresentada pelo professor, conforme indica a figura 1.
Tem-se então que quem não pertence ao conjunto “A” (dos que entenderam a lição) fazem
parte do conjunto dos que não entenderam a lição, não existindo a possibilidade de se
representar aqueles que entenderam alguma coisa, ou parte da lição, ou seja, na realidade
vivenciada no dia-a-dia.
Figura 1 – Pertinência de um elemento a um conjunto
O objetivo de utilizar conjuntos fuzzy vem da necessidade de trabalhar com
conjuntos do mundo real que não possuem limites precisos. Um conjunto fuzzy é um
agrupamento impreciso ou indefinido, ou seja, um elemento pode ser membro de um conjunto
de forma parcial, representado por um valor fracionário dentro de um intervalo numérico
(SIMÕES & SHAW, 1999). Esse valor fracionário é representado por uma função de
pertinência, geralmente representada por )(XAµ .
Logo, um Conjunto Fuzzy A é caracterizado pelo par (X, )(XAµ ), onde:
A
a1 a3 a4
a2
U
25
• ‘X’é a variável do universo em estudo, podendo ser contínua ou discreta
(BRAGA, BARRETO & MACHADO, 1995);
• )(XAµ é uma função de pertinência, cuja imagem pertence ao intervalo
[0,1], onde ‘1’ representa o conceito de pertinência total e ‘0’ o de não
pertinência (BRAGA, BARRETO & MACHADO, 1995).
No caso de variável discreta, um exemplo de conjunto fuzzy ‘A’ poderia ser:
A (X) = 0,5|0 + 0|2 + 1|4 + 0,25|6 + 0|8
Que é lido da seguinte forma: a variável “x” mede zero com grau de pertinência 0,5,
a variável “x” mede 2 com grau de pertinência zero, a variável “x” mede 4 com grau de
pertinência 1, a variável “x” mede 6 com grau de pertinência 0,25, a variável “x” mede 8 com
grau de pertinência zero.
Algumas observações devem ser consideradas:
• Os sinais de “+” indicam união e não a soma aritmética; e
• As barras verticais servem apenas para separar os valores da variável “x” dos
seus graus de pertinência.
No caso de variável contínua, um conjunto fuzzy ‘A’ para expressar o
conceito‘ALTO’ para a estatura de uma pessoa, poderia ser:
0=Xµ para X ≤ 1,70 m
30,070,1−
=X
Xµ para 1,70 m < X < 2,00 m
1=Xµ para X ≥ 2,00 m
26
O gráfico apresentado na figura 2 representa a pertinência ao conjunto fuzzy ‘ALTO’.
Figura 2 – Gráfico de pertinência de um conjunto fuzzy
3.2.3. Normalização de Conjuntos Fuzzy
A normalização de um conjunto fuzzy é encontrada ao dividir cada número do
conjunto pelo maior número, tornando-se o maior número igual a 1. Por exemplo:
A (X) = 0.8|0 + 0.5|2 + 0.7|4
O conjunto fuzzy normalizado é:
à (X) = (0.8/0.8) |0 + (0.5/0.8) |2 + (0.7/0.8) |4
à (X) = 1|0 + 0.625|2 + 0.875|4
Portanto, um conjunto fuzzy é considerado normalizado quando pelo menos um de
seus elementos atinge o máximo grau de pertinência possível. Como os graus de pertinência
de um conjunto fuzzy pertencem ao intervalo entre 0 e 1, então pelo menos um elemento deve
ter um grau de pertinência igual a 1 para o conjunto fuzzy ser considerado normalizado
(SIMÕES & SHAW, 1999).
1
1,70 2,00 Altura (m)
Pertinência ( Xµ )
0
27
3.2.4. Operações Com Conjuntos Fuzzy
Nesta seção serão apresentadas algumas das operações básicas com conjuntos fuzzy.
3.2.4.1. União
A união de dois conjuntos fuzzy A(X) e B(X), é dada por:
A (X) ∪ B(X) = max (µA (X) , µ B (X)) (01)
onde: µA, µB são as respectivas funções de pertinência dos conjuntos fuzzy A e
B.
Para exemplificar, sejam os conjuntos fuzzy:
A (X) = 0.9|0 + 0.1|2 + 0.3|4
B (X) = 0.6|0 + 0.5|2 + 0.7|4
O conjunto fuzzy resultante é:
C (X) = 0.9|0 + 0.5|2 + 0.7|4
3.2.4.2. Interseção
A interseção de dois conjuntos fuzzy A (X) e B(X), é dada por:
A (X) ∩ B (X) = min(µA(X), µB(X)) (02)
onde:µA, µB são as respectivas funções de pertinência dos conjuntos fuzzy A e B.
Para exemplificar, sejam os seguintes conjuntos fuzzy:
A (X) = 0.4|0 + 0.8|2 + 0.6|4
B (X) = 0.5|0 + 0.5|2 + 0.4|4
28
O conjunto fuzzy resultante é:
C (X) = 0.4|0 + 0.5|2 + 0.4|4
3.2.4.3. Complemento
O complemento do um conjunto fuzzy A(X), é dado por:
A X XA( ) ( )= −1 µ (03)
onde: µ A é a função de pertinência do conjunto fuzzy A.
Para exemplificar, seja o conjunto fuzzy dado por:
A (X) = 1|0 + 0.8|2 + 0.6|4, seu complemento é:
1 - A (X) = 0|0 + 0.2|2 + 0.4|4
3.2.5. Números Triangulares Nebulosos
Os números triangulares nebulosos são números nebulosos especiais e seguem o
modelo matemático a seguir (BRAGA, BARRETO & MACHADO, 1995):
f (x: a,b,c) {0; x < a (x-a)/(b-a); a ≤ x < b (c-x)/(c-b); b ≤ x < c 0; c ≤ x restrição; a < b < c
A representação gráfica de um número triangular nebuloso com a = 2, b = 4 e c = 6
pode ser observada na figura 3.
29
Figura 3 – Representação gráfica de um número triangular nebuloso
Dois conceitos muito importantes acerca dos números triangulares nebulosos são:
MODA e AMPLITUDE. A Moda representa o valor do número nebuloso cuja pertinência é
igual a 1 (um) e a Amplitude é a metade da base do número nebuloso e representa o intervalo
de confiança do número. A Amplitude é inversamente proporcional à confiança que se tem no
valor da função de pertinência: Quanto menor amplitude, maior a confiança nos dados;
Quando maior a amplitude, menor a confiança nos dados (BRAGA, BARRETO &
MACHADO, 1995).
Dado um número nebuloso triangular (4|2), têm-se Moda 4 e Amplitude 2. Em uma
escala [0;2;4;6;8], o conjunto nebuloso resultante é:
A (X) = 0|0 + 0.5|2 + 1|4 + 0.5|6 + 0|8
Sua representação gráfica é idêntica ao da figura 3.
1
0 2 4 6 8
30
Todos os números triangulares nebulosos na escala [0;2;4;6;8] de moda variando de 0
a 8 e amplitude variando de 0 a 4, estão representados no APÊNDICE B.
31
4. PROPOSTA DE METODOLOGIA PARA AVALIAÇÃO DE USABILIDADE
Esse capítulo apresenta a metodologia proposta para avaliação de usabilidade
de sistemas. Inicialmente é feito um levantamento na literatura dos critérios ou métricas para
se avaliar a usabilidade com o propósito de definir as variáveis a serem utilizadas na sua
medição. Em seguida apresenta-se a proposta da norma ISO 9241 que traz um conjunto de
atividades também com o objetivo de avaliar a usabilidade e por fim é detalhada toda
metodologia proposta bem como os cálculos da matemática fuzzy.
4.1. UNIFICAÇÃO DOS CRITÉRIOS DE AVALIAÇÃO DE USABILIDADE
Todos os autores citados, Shackel (1986), Nielsen (1993), Bastien & Scapin (1993),
Jordan (1998), Shneiderman (1998) e Quesenbery (2001) além da ISO 9126, procuraram, ao
longo do tempo, encontrar o conjunto ideal de regras ou métricas para medir o grau de
usabilidade de sistemas. Muitas dessas regras são bem semelhantes entre si, outras
divergentes.
Com o propósito de criar um conjunto de critérios que abrangessem todos os
trabalhos dos autores apresentados na seção 3.1.2, buscou-se analisar e construir uma lista de
32
critérios convergentes (significado semelhante), para que se possa medi-los na avaliação da
usabilidade de sistema.
Esta lista criada é constituída de seis critérios: Facilidade de aprender, Facilidade de
Relembrar, Controle de Erros, Eficiência, Eficácia e Satisfação, conforme o esquema
apresentado na Figura 4, e serão explicados a seguir.
4.1.1. Facilidade de Aprender
O primeiro critério que é unanimidade entre os trabalhos apresentados é a facilidade
de aprender, todos os autores, Shackel (1986), Nielsen (1993), Bastien & Scapin (1993),
Jordan (1998), Shneiderman (1998) e Quesenbery (2001) e a norma da ISO 9126, apresentam
de alguma forma um critério que contemplem a idéia do sistema ser fácil de aprender, o que é
o princípio básico da usabilidade. O sistema deve ser fácil de aprender e de manusear, a
interface deve ser clara e objetiva.
Shackel (1986) apresenta ainda um critério denominado “Flexibilidade” que avalia se
o sistema permite realizar personalizações para facilitar seu uso, para que o mesmo seja
aderente às tarefas que o usuário realize.
Bastien & Scapin (1993) segue a mesma linha e apresenta um critério chamado
“Adaptabilidade” que pressupõe que o sistema deve reagir conforme o contexto de uso.
Bastien & Scapin (1993) também apresentam mais dois critérios que ajudam a enriquecer o
conceito da facilidade de uso que são: “Consistência” que também prevê um grau de
33
adaptação da interface de acordo com o contexto de uso do usuário e “Significância do
código” que está ligado à clareza na apresentação dos códigos e expressões para manter uma
boa condução do usuário pelo sistema.
4.1.2. Facilidade de Relembrar
O segundo critério, presente em nos estudos de Nielsen (1993), Jordan (1998) e
Shneiderman (1998), diz respeito à facilidade de relembrar as ações realizadas no sistema,
mesmo que essa ação seja executada esporadicamente ou depois de longos intervalos de
tempo. Jordan (1998) coloca ainda, através do seu critério “re-usabilidade”, que a reutilização
dessa ação depois de um tempo sem usar não deve reduzir a desempenho ou o tempo para
realização da tarefa. Se a ação for facilmente relembrada esse tipo de perda não ocorrerá.
4.1.3. Controle de Erros
O terceiro critério, presente na ISO 9126 e nos trabalhos de Nielsen (1993), Bastien
& Scapin (1993), Shneiderman (1998) e Quesenbery (2001), trata do controle de erros pelo
sistema. Os critérios analisados não se resumem em esperar do sistema apenas a ocorrência de
poucos erros, mas sim que o usuário seja claramente informado do que ocasionou o erro e
permitir que o mesmo consiga resolvê-lo facilmente.
A ISO 9126 apresenta um critério denominado “Operacionalidade” que compreende
o conceito de que o usuário tenha o controle do sistema e compreende que esse controle
engloba também a tolerância a erros.
34
4.1.4. Eficiência
A “Eficiência”, presente na ISO 9126 e ns estudos de Nielsen (1993), Bastien &
Scapin (1993), Jordan (1998), Shneiderman (1998) e Quesenbery (2001), diz respeito ao
sistema fazer a coisa certa e deixar que o usuário consiga operá-lo de modo a atingir um alto
grau de produtividade e desempenho na realização das tarefas.
Bastien & Scapin (1993) através do seu critério “Controle explícito” adiciona que o
usuário deve ter o controle do sistema e este deve executar o que for solicitado pelo usuário.
Jordan (1998) coloca que um alto nível de performance deve ser atingido a medida que o
usuário utiliza o sistema, ou seja, pelo quantidade de vezes que ele executa a mesma tarefa.
Shneiderman (1998) acrescenta que a velocidade que o usuário conclui uma tarefa também é
ponto fundamental para se medir a eficiência do sistema.
4.1.5. Eficácia
O critério “Eficácia”, identificado em três estudos: Shackel (1986), Bastien & Scapin
(1993) e Quesenbery (2001), remete a idéia de o sistema fazer a coisa certa e da melhor
forma possível. Para Shackel (1986) e Quesenbery (2001) a eficácia é atingida, por exemplo,
medindo o desempenho do sistema em função da velocidade de operação e da quantidade de
erros produzidos, além da forma pelo qual a tarefa foi executada pelo sistema.
Bastien & Scapin (1993) enriquece o critério da Eficácia introduzindo através do seu
critério “Carga de Trabalho” que o sistema deve executar a tarefa com o mínimo de passos, ou
seja, proporcionar a menor interação com usuário para concluir uma determinada tarefa,
consequentemente, reduzindo a ocorrência de erros.
35
4.1.6. Satisfação
Por fim, presente na ISO 9126 e em mais quatro estudos analisados: Shackel (1986),
Nielsen (1993), Shneiderman (1998) e Quesenbery (2001), identificou-se o critério
“Satisfação” que diz respeito da percepção do usuário com o uso do sistema. Este critério é
totalmente subjetivo, e está diretamente ligado à opinião do usuário com relação às
características como agradabilidade e conforto no uso. Shackel (1986) diz que seu critério
“Atitude” deve ser medido através dos “níveis aceitáveis de desgaste, fadiga, desconforto,
frustração e esforço pessoal” o que nada mais é do que a inversão da satisfação, que pode ser
medida através da agradabildade e do conforto do usuário, conforme já mencionado.
Alguns critérios analisados não foram considerados como critérios mensuráveis para
ser aplicado na avaliação da usabilidade de sistema e por isso foram desconsiderados, como
por exemplo, o critério “Conformidade relacionada à usabilidade” da ISO 9216 que se refere
mais a uma regra, que na etapa do desenvolvimento do sistema deve ser seguida, ou seja, é
necessário que os desenvolvedores sigam as determinações de usabilidade especificadas na
fase do projeto do sistema.
Outro critério da ISO 9216 é a “Inteligibilidade” que diz que o usuário deve perceber
se o sistema irá atender suas expectativas, por isso entende-se que é uma etapa que antecede a
compra ou solicitação de desenvolvimento do sistema em si, o que não poderia ser medido
através da avaliação de usabilidade.
Bastien & Scapin (1993) também traz um critério chamado “Compatibilidade” que
prega a contextualização dos usuários versus resultado esperado. A Compatibilidade apontada
36
pelo autor corresponde a uma característica que deve ser levada em consideração quando do
planejamento da avaliação da usabilidade de um sistema.
37
Figura 4 – Quadro com a unificação dos critérios de usabilidade de sistemas
38
4.2. A NORMA ISO 9241
Na avaliação de usabilidade de sistemas interativos, o padrão internacional mais
comumente considerado é a norma ISO 9241 “Requisitos Ergonômicos para Trabalho de
Escritórios com Computadores”. Esta norma considera o ponto de vista do usuário e seu
contexto de uso.
As recomendações constantes na norma ISO 9241 foram definidas a partir de uma
revisão da literatura existente e através e evidências empíricas, sendo então utilizadas pelos
projetistas e avaliadores de interfaces (CYBIS, 2003). A norma ISO 9241 está dividida em 17
partes:
Parte 1: Introdução geral.
Parte 2: Condução quanto aos requisitos das tarefas.
Parte 3: Requisitos dos terminais de vídeo.
Parte 4: Requisitos dos teclados.
Parte 5: Requisitos posturais e do posto de trabalho.
Parte 6: Requisitos do ambiente.
Parte 7: Requisitos dos terminais de vídeo quanto as reflexões.
Parte 8: Requisitos dos terminais de vídeo quanto as cores.
Parte 9: Requisitos de dispositivos de entrada, exceto os teclados.
Parte 10: Princípios de diálogo.
Parte 11: Especificação da usabilidade.
Parte 12: Apresentação da informação.
Parte 13: Condução ao usuário.
39
Parte 14: Diálogo por menu.
Parte 15: Diálogo por linguagem de comandos.
Parte 16: Diálogo por manipulação direta.
Parte 17: Diálogo por preenchimento de formulários.
A parte 11 dessa norma especifica a usabilidade como sendo a medida pelo qual um
sistema pode ser usado por usuários específicos para alcançar objetivos específicos e em um
contexto de uso específico, com eficácia, eficiência e satisfação (ISO 9241).
Entendendo melhor esta definição, tem-se como primeiro passo identificar o contexto
de uso do sistema de uma forma detalhada de modo a guiar a avaliação da usabilidade para o
objetivo pretendido, conforme figura 5 que apresenta o passo-a-passo para avaliação da
usabilidade. Segundo a ISO 9241, o contexto do sistema é compreendido pela descrição dos
seguintes itens: Usuários, Tarefas, Equipamentos e Ambientes.
Identificar o contexto de uso Especificação do contexto de uso
Selecionar os critérios e medidas de usabilidade
Especificação da usabilidade
Avaliação de usabilidade Relatório de conformidade aos
critérios
Figura 5 - Atividades de usabilidade, adaptado de (ISO 9241)
A descrição dos usuários inclui conhecimento, habilidade, experiência, características
físicas, sensoriais e motoras. Até mesmo a idade dos usuários pode ser fator determinante para
se construir um contexto de uso de um sistema específico.
40
A descrição das tarefas compreende um conjunto de atividades que são executadas
para atingir um objetivo. É importante que se tenham as atividades detalhadas para que se
possa fazer a avaliação da usabilidade do sistema corretamente e que esta represente a tarefa
a ser analisada como um todo.
A descrição dos equipamentos corresponde apenas àquelas características que sejam
relevantes e que venham a influenciar na avaliação da usabilidade, como, por exemplo, a
velocidade do computador ou o tipo de conexão a internet. O mesmo ocorre na descrição do
ambiente, deve-se descrever aspectos do ambiente físico (mobiliário, temperatura, etc.) e do
ambiente cultural e social (processos de trabalho, organograma, etc.).
Uma vez especificado o contexto de uso, a próxima atividade é selecionar os critérios
e métricas. Para esta metodologia proposta são utilizados os seis critérios constantes na Figura
4 e apresentados neste capítulo, que são: facilidade de aprender, facilidade de relembrar,
controle de erros, eficiência, eficácia e satisfação. Os seis critérios não precisam ser usados
sempre, como a própria norma 9241 propõe, pode-se usar o conjunto de métricas que melhor
se adapte ao sistema a ser analisado e também ao objetivo da avaliação.
Uma vez escolhido o conjunto de métricas para avaliação de usabilidade de sistema,
elas devem ser confrontadas sobre três medidas propostas pela ISO 9241 que são: eficácia,
eficiência e satisfação. Embora tenha a mesma denominação de alguns dos seis critérios, a
maneira de medi-las é diferente.
41
Eficácia – a eficácia está relacionada em medir os objetivos do usuário sob os
aspectos de acurácia e completude em que esses objetivos específicos são alcançados.
Geralmente esta é uma medida quantitativa, onde se apresenta em forma de total ou
porcentagem.
Eficiência – a eficiência está relacionada a eficácia atingida para uma determinada
tarefa sobre a quantidade gasta de recursos para realizá-la, recurso esse que pode ser esforço
humano, tempo ou custo.
Satisfação – a satisfação está relacionada diretamente à opinião do usuário em relação
ao conforto na realização das tarefas e no uso do sistema. Os valores aqui apresentados são
obtidos através de escalas de desconforto, gosto pelo produto e satisfação. O registro de
comentários positivos e negativos registrados no decorrer do uso do sistema também pode
servir de base para esta medida.
4.3. METODOLOGIA PROPOSTA
Segundo Demo (2000), metodologia significa, etimologicamente, “o estudo dos
caminhos, dos instrumentos usados para se fazer ciência”. Uma metodologia propõe elaborar
um modelo e revisar os estudos visando ilustrar a sua utilização.
Uma metodologia, mais do que uma descrição formal de técnicas e métodos, indica a
uma solução prática para resolver um problema objeto de pesquisa. A metodologia é o estudo
dos instrumentos com objetivo de construir uma teoria ou um estudo teórico para atender a
certas necessidades (TEIXEIRA, 2006).
42
Como apresentado na seção anterior, a norma ISO 9241 apenas apresenta
recomendações que devem ser observadas no desenvolvimento de um sistema, mas não
especifica uma metodologia para avaliar o grau de usabilidade.
Baseado nas recomendações da ISO 9241, a metodologia proposta pelo presente
estudo é constituída dos passos apresentados na figura 6.
Selecionar o sistema a ser avaliado
↓ Identificar o contexto de uso
↓ Aplicar o questionário aos usuários
↓ Avaliar a usabilidade do sistema
Figura 6 – Passos para avaliação da usabilidade, segundo a metodologia proposta
4.3.1. Selecionar o Sistema a ser Avaliado
O primeiro passo para a avaliação da usabilidade de um sistema é justamente defini-lo.
Para efeitos desta metodologia, entende-se por sistema todo software que apresente
uma interação Homem X Máquina através de alguma interface, não se restringindo apenas aos
software comumente utilizados em microcomputadores, como sistemas operacionais, editores
de texto ou planilhas eletrônicas.
43
Softwares embarcados em equipamentos, como os que são executados em celulares,
máquinas fotográficas digitais, calculadoras, handhelds, entre outros, também fazem parte do
escopo de sistemas elegíveis para serem avaliados por esta metodologia.
Essa metodologia se propõe a avaliar sistemas já desenvolvidos e que estejam
funcionando em determinado contexto de uso por um determinado período de tempo, não
contemplando etapas como a de projeto ou desenvolvimento de software, por exemplo.
4.3.2. Identificar o Contexto de Uso
Conforme especificado na ISO 9241, deve-se identificar o contexto de uso sob três
aspectos: Usuários, Tarefas, Equipamentos e Ambientes.
Essa especificação consiste em descrever, de forma sucinta, cada um dos aspectos de
modo que se possa identificar cada contexto em que o sistema será analisado.
A identificação dos usuários serve para especificar o objetivo que se pretende atingir
na avaliação de usabilidade com relação ao aspecto usuário e por fim determinar sua amostra.
Pode-se elencar alguns aspectos importantes que devem ser levados em consideração
ao especificar os usuários alvos da sua avaliação:
• Idade;
• Gênero;
• Experiência no uso do sistema estudado;
44
• Limitações físicas;
• Habilidade intelectual;
• Motivação;
A identificação das tarefas serve para especificar o conjunto de passos que esses
usuários realizam no sistema analisado, ou seja, com qual objetivo eles usam o sistema.
Alguns aspectos podem ser levados em consideração nessa identificação como:
• Nome da tarefa;
• Freqüência de uso da tarefa;
• Duração da tarefa;
• Resultados esperados;
• Conhecimento necessário;
A identificação dos equipamentos serve para especificar a configuração dos
equipamentos utilizados para executar o sistema analisado. O objetivo dessa descrição é
contextualizar em que nível de performance, entre outros fatores, está submetido o sistema.
Alguns aspectos podem ser levados em consideração nessa identificação como:
• Identificação do produto;
• Descrição do Hardware;
• Marca e Modelo do equipamento;
Por fim, a identificação do ambiente serve para identificar o ambiente em que os
usuários estão inseridos para o uso do sistema analisado. Essa descrição pode contemplar
aspectos comportamentais e físicos:
Aspectos Comportamentais:
45
• Normas de utilização de equipamentos;
• Restrições de uso de equipamentos;
• Atitudes de manuseio;
• Cultura;
Aspectos Físicos:
• Ruídos;
• Luminosidade;
• Postura do usuário;
• Condições térmicas;
• Ambiente visual;
4.3.3. Aplicar o Questionário aos Usuários
Esse passo consiste em aplicar o questionário aos usuários selecionados na amostra, a
fim de determinar o grau de usabilidade do sistema.
Conforme comprovado experimentalmente por Zadeh, bastam de 15 a 20 opiniões
para que a matemática fuzzy possa ser utilizada com sucesso (BRAGA, BARRETO &
MACHADO, 1995). Por isso o tamanho da amostra recomendado para essa metodologia é de
20 usuários, podendo a chegar a no máximo 30 usuários, uma vez que depois de 20 opiniões o
resultado final tende a se manter constante.
O questionário a ser utilizado encontra-se no APÊNDICE A e foi elaborado reunindo
os seis critérios unificados de usabilidade, conforme a Figura 4, com as três medidas da ISO
46
9241: Eficácia, Eficiência e Satisfação, apresentadas na seção 4.2, resultando na Tabela 2
contendo, para cada interseção entre essas duas medidas, as escalas de mensuração a serem
utilizadas.
Medidas ISO 9241
Critérios Usabilidade
Eficácia Eficiência Satisfação
Facilidade de Aprender Facilidade de Aprender
• Escala de ações completadas com sucesso;
• Escala de quantidade de tentativas para aprender as tarefas;
• Escala de maneiras diferentes de realizar uma tarefa;
• Escala de condução do usuário;
• Escala de tempo gasto para completar uma tarefa;
• Escala de tempo para
aprender a tarefa; • Escala de tempo
ganho ao se realizar a tarefa de uma forma mais rápida sobre a mais lenta.
• Escala de satisfação ao utilizar o sistema pela primeira vez;
• Escala de
facilidade de aprender;
• Escala de flexibilidade;
Facilidade de Relembrar
• Escala de ações relembradas com sucesso após um período sem uso;
• Escala de tempo ganho ao se realizar a tarefa depois de um período sem uso;
• Escala de reuso;
Controle de erros
• Escala de erros apresentados pelo sistema;
• Escala de recuperação de erros;
• Escala de tempo gasto para correção do erro;
• Escala de tempo gasto para refazer uma ação perdida por um erro;
• Escala de tratamento de erros;
• Escala de mensagem de erro.
• Escala de satisfação na recuperação do erro;
Eficiência
• Escala de performance na execução das tarefas;
• Escala de velocidade na execução das tarefas;
• Escala de satisfação de produtividade;
• Escala de conforto no controle do sistema;
Eficácia
• Escala de quantidade de passos para executar uma tarefa;
• Escala de redução de tempo para execução de uma tarefa;
• Escala de satisfação de número de passos;
47
Satisfação
-
-
• Escala de agradabilidade gerla da interface;
• Escala de satisfação geral;
• Escala de conforto geral;
Tabela 2 – Quadro dos critérios de usabilidade X medidas da ISO 9241
A primeira parte do questionário corresponde a perguntas para se definir o perfil do
usuário pesquisado, como por exemplo, sexo, idade, escolaridade, limitações físicas e tempo
de experiência no uso de computador e internet além de tempo de experiência e periodicidade
do uso do sistema estudado. Essas informações devem estar de acordo com a especificação do
contexto de usuários descrita no passo anterior. Esses dados podem ser úteis também
posteriormente para se descobrir tendências de alguns grupos de usuários serem mais ou
menos suscetíveis a determinada avaliação da usabilidade.
Métrica Número das Questões
Total de Questões
Facilidade de Aprender 1, 2, 3, 4, 7, 8, 9, 10, 11 e 12 10
Facilidade de Relembrar 13, 14 e 15 03
Controle de erros 16, 17, 18, 19, 20, 21 e 29 07
Eficiência 22, 23, 24 e 25 04
Eficácia 26, 27 e 28 03
Satisfação 5, 6 e 30 03
Total 30 Tabela 3 – Quadro das métricas, número das questões e a quantidade de questões elaboradas
A segunda parte do questionário, que é compreendida de trinta questões, serve de
base para a avaliação da usabilidade do sistema estudado. Cada questão foi extraída da Tabela
48
2 e pretende medir o grau de usabilidade de uma métrica específica. Cada pergunta
corresponde a somente uma métrica e uma métrica possui várias perguntas para medi-la,
conforme Tabela 3.
Adotou-se a escala de Likert, proposta por Rensis Likert em 1932, para a resposta de
cada questão. Esta é uma escala onde os respondentes são solicitados não só a concordarem
ou discordarem das afirmações, mas também a informarem qual o seu grau de concordância
ou discordância (MATTAR, 1997).
O tamanho da escala de Likert utilizada foi a de 5 pontos, basicamente de três tipos:
Eficácia (Muito Baixo ^ Muito Alto), Eficiência (Muito Demorado ^ Muito Rápido) e
Satisfação (Muito Insatisfeito ^ Muito Satisfeito), variando algumas vezes para se adequar
melhor às perguntas.
4.3.3.1. Procedimento para Coleta de Dados
Uma vez especificado o sistema, o contexto de uso, e a amostra dos usuários, o
questionário já pode ser aplicado.
O entrevistador deve conhecer o sistema a ser analisado ou no mínimo pertencer ao
contexto de usuários especificados na amostra da pesquisa.
O questionário deve ser lido pelo entrevistador com objetivo de interpretá-lo para o
sistema que se pretende pesquisar, a fim de que possa sanar possíveis dúvidas do usuário no
momento da sua aplicação. Esse passo é muito importante para o sucesso da pesquisa, tendo
49
em vista o questionário ser único para uma diversidade de tipos de sistemas que podem ser
contemplados por esta metodologia.
4.3.4. Avaliar a Usabilidade do Sistema
A avaliação da usabilidade do sistema consiste em determinar para cada um dos seis
critérios de usabilidade um conceito na seguinte escala fuzzy: Muito Ruim, Ruim, Média, Boa
e Muito Boa.
Os critérios serão analisados separadamente e pode-se, por exemplo, chegar a
conclusão de que um sistema possui Facilidade de Aprender igual a Boa, porém com
Satisfação igual a Ruim.
4.3.4.1. Tratamento dos Dados
Ao término da coleta de dados junto aos usuários, os seguintes passos devem ser
realizados para cada questão respondida:
1º Passo: Consolidar as opiniões dos usuários.
2º Passo: Determinar a freqüência das opiniões dos usuários (FOU).
3º Passo: Normalizar a freqüência das opiniões dos usuários (FOUN): para isso deve-
se dividir todos os valores de freqüência encontrados no passo anterior pela freqüência
máxima.
50
4º Passo: Encontrar o número nebuloso (NN) que mais se aproxima à FOUN através
da semelhança entre eles. Esse número é obtido dentre os números triangulares nebulosos que
tiverem a mesma moda da FOUN. Eles estão representados no APÊNDICE B. Para se
determinar a semelhança entre os dois conjuntos deve-se utilizar a seguinte fórmula proposta
por Braga, Barreto e Machado (1995):
)()()()(
)(),( XBXAXBXA
S XBXA ∪
∩= (04)
Depois de descoberto todos os números triangulares nebulosos semelhantes a cada
questão, o próximo passo é determinar o conceito de usabilidade para a métrica como um
todo. Para isso, deve-se selecionar os números triangulares nebulosos obtidos no 4º passo para
cada uma das perguntas referentes à métrica em questão e proceder da seguinte forma, para
cada um das seis métricas:
5º Passo: Encontrar o número nebuloso médio (NNM) dentre os números triangulares
nebulosos que compõe a métrica analisada, a partir da seguinte fórmula proposta por Dubois
& Prade (1980):
{ }( ) )(/1,...,,...,1
1 ∑=
=ki
ik xAkxxNNM µµ (05)
6º Passo: Depois de encontrado o número nebuloso médio, deve-se normalizar esse
número dividindo todos os valores de pertinências μ pela pertinência máxima desse mesmo
número nebuloso. Assim encontra-se o número nebuloso médio normalizado (NNMN).
51
7º Passo: Esse passo é semelhante ao 4º Passo, só que desta vez o NNMN que é
comparado com os números triangulares nebulosos de mesma moda e assim encontrar o
número triangular nebuloso final que representa a classificação para a métrica.
A partir do número triangular nebuloso encontrado no 7º Passo pode-se chegar a duas
conclusões muito importantes:
a) A Moda desse número triangular nebuloso final determina o conjunto em que a
métrica está classificada, conforme se segue:
0 – Muito Ruim;
2 – Ruim;
4 – Média;
6 – Boa;
8 – Muito Boa;
b) A Amplitude desse número triangular nebuloso final determinará a dispersão
média das opiniões dos usuários, e por conseqüência sua qualidade no resultado final. A
amplitude está associada à confiança que se tem no valor da função de pertinência. Quanto
menor a amplitude do intervalo, maior a confiança nos dados e quanto maior a amplitude do
intervalo, menor a confiança que se tem nos dados (BRAGA, BARRETO & MACHADO,
1995).
Para efeito dessa metodologia, a amplitude representa a dispersão das opiniões dos
usuários e é interpretada da seguinte forma:
1 – Mínima;
2 – Média;
52
3 – Alta;
4 – Muito Alta;
Quando a amplitude encontrada no resultado final da métrica for maior ou igual a 2
(Média), recomenda-se que o sistema reavaliado sob o ponto de vista desta métrica e que se
aumente a amostra dos usuários pesquisados.
53
5. APLICAÇÃO E VALIDAÇÃO DA METODOLOGIA PROPOSTA
5.1. PRÉ-TESTE
A etapa de pré-teste serve para verificar o questionário aplicando-o em uma pequena
amostra de entrevistados, com o objetivo de identificar e eliminar problemas potenciais
(MALHOTRA, 2001). O pré-teste permite o refinamento do questionário, a revisão do texto e
identifica fatores que possam confundir os resultados (COOPER & SCHINDLER, 2003).
O pré-teste do questionário foi realizado por uma equipe de doze universitários do
curso de administração das faculdades Ibmec-RJ que participam de um grupo de trabalho no
estudo da usabilidade e se propuseram à cooperar com a pesquisa. Os universitários foram
divididos em duplas e coletaram opiniões de dez usuários, selecionados entre os próprios
alunos de outras turmas da faculdade, para cada um dos sistemas discriminados a seguir:
• Calculadora HP12C;
• Microsoft Power Point;
• Biblioteca PHStat para Microsoft Excel;
• Internet Explorer (Browser);
• MSN Messenger;
54
• Orkut (site de relacionamento).
Após esta primeira aplicação do questionário e do que foi observado pelos
universitários entrevistadores, os seguintes ajustes foram realizados:
• As perguntas foram reordenadas com o objetivo de melhorar o processo de
coleta de dados e para não confundir o respondente, uma vez que as
perguntas estavam ordenadas por métrica de usabilidade e logo o usuário
tinha a impressão de serem perguntas semelhantes;
• Alguns termos foram revistos para que as perguntas pudessem ser melhor
entendidas para qualquer sistema a ser pesquisado, além disso foi criado um
glossário para que o entrevistador o leia antes de aplicar o questionário e
adapte o termo ao sistema estudado;
• Foi criado um documento chamado “Orientações ao Entrevistador” que,
como o próprio nome diz, orienta o entrevistador na aplicação do
questionário.
5.2. VALIDAÇÃO
Com o objetivo de validar a metodologia proposta, foi realizada uma avaliação da
usabilidade da Intranet das Centrais Elétricas Brasileiras S/A - Eletrobrás.
55
A Intranet da Eletrobrás é o principal canal de comunicação da empresa com seus
funcionários, além de hospedar os principais serviços realizados por eles, como consultas
relativas ao Recursos Humanos, contra-cheque, freqüência eletrônica, solicitação de viagens,
reembolso de táxi, abertura de chamados para help-desk de informática e para manutenção
predial, clipping de notícias relacionadas ao setor elétrico, avisos e notícias corporativas,
consulta ao acervo da biblioteca, lista telefônica dos funcionários, etc.
Seguindo a proposta da metodologia, e conforme a norma 9241 (ISO 9241), foram
especificados os Usuários, Tarefas, Equipamentos e Ambiente.
a) Especificação dos Usuários
Os usuários escolhidos são funcionários da empresa com tempo de casa variando
entre 3 a 20 anos, de ambos os sexos, todos com nível superior, com experiência no uso de
computador e grande experiência no uso da Intranet da empresa, visto que a utilizam
diariamente (de segunda a sexta-feira) no cotidiano do trabalho.
b) Especificação das Tarefas
A intranet foi avaliada como um todo, porém foi dado destaque nas tarefas abaixo:
• Avisos e Notícias corporativas;
• Sistema de freqüência eletrônica;
• Sistema de solicitação de viagens; e
• Lista Telefônica dos funcionários.
56
c) Especificação dos Equipamentos
Os usuários utilizam a intranet através de suas estações de trabalho. As estações de
trabalho da Eletrobrás possuem a mesma configuração, podendo apresentar pequenas
variações com relação a memória RAM, porém em geral são máquinas com processadores
entre 2,5 a 3 Ghz, com 256 MB de memória RAM, possuindo sistema operacional Windows
XP Professional com o browser Internet Explorer 6, constituindo assim um ambiente
homogêneo para todos os usuários.
A intranet da empresa foi construída com tecnologia ASP (Active Server Page) da
Microsoft e foi desenvolvida por uma equipe da própria empresa.
d) Especificação do Ambiente
Os funcionários da Eletrobrás trabalham sete horas e meia por dia, com uma hora e
meia de almoço. As instalações da empresa são boas, possuindo toda infra-estrutura
necessária, os postos de trabalho possuem boa ergonomia para os funcionários, com boa
iluminação e temperatura regulada por um ar-condicionado central. O único inconveniente do
ambiente é com relação à acústica, pois os setores são separados por divisórias baixas e se
consegue ouvir conversas paralelas e ruídos indesejados.
Os funcionários costumam ser avaliados por competências e resultados e a cobrança
do chefe no dia-a-dia costuma ser moderada.
57
5.3. COLETA DE DADOS
Foram selecionados 30 funcionários com o perfil indicado na descrição dos usuários
para constituírem a amostra desta avaliação.
Os questionários foram aplicados entre os dias 06/11/2006 e 14/11/2006 no horário do
trabalho.
Dos 30 questionários foram descartados 3, pois apresentaram algumas inconsistências,
como questões em branco por exemplo, restando 27 questionários válidos e estando dentro da
faixa proposta pela metodologia que é de 20 a 30 usuários.
As opiniões dos usuários foram tabuladas em planilha eletrônica conforme apresentada
no APÊNDICE C. Os nomes dos funcionários foram preservados para evitar a identificação
dos mesmos.
O objetivo da planilha eletrônica foi executar os dois primeiros passos da metodologia
proposta: Consolidar as opiniões dos usuários e determinar a freqüência das opiniões dos
usuários (FOU).
Para executar os Passos seguintes (de 3 a 7) foi desenvolvido um programa em
MatLab, que é software interativo de alta performance voltado para o cálculo numérico entre
outras funções, que recebe como parâmetros de entradas as freqüências das opiniões dos
usuários (FOU) e calcula a FOUN, NNs, NNM, NNMN, a semelhança entre os conjuntos,
além de apresentar o resultado graficamente para facilitar a analise dos resultados.
58
5.4. AVALIAÇÃO DOS RESULTADOS
Os resultados foram gerados graficamente pelo programa em MatLab, que foi
executado uma vez para cada métrica de usabilidade.
Para cada questão foi gerado um gráfico representando dois conjuntos. Conforme a
legenda, o primeiro conjunto, simbolizado por uma linha vermelha com marcadores em forma
de quadrado, representa a freqüência de opiniões dos usuários normalizada (FOUN), ou seja,
mostra como se deu a distribuição e a dispersão das opiniões dos usuários para aquela
questão. O segundo conjunto, simbolizado pela linha azul com marcadores em forma de
círculo, representa o número triangular nebuloso mais semelhante ao conjunto FOUN
encontrado pelo programa, conforme a fórmula (04).
O último gráfico apresentado para cada métrica representa também dois conjuntos. O
primeiro conjunto, simbolizado por uma linha vermelha com marcadores em forma de
quadrado, representa a número nebuloso médio normalizado (NNMN), ou seja, a média de
todos os números triangulares nebulosos encontrados para cada questão, conforme a fórmula
(05). O segundo conjunto, simbolizado pela linha azul com marcadores em forma de círculo,
representa o número triangular nebuloso mais semelhante ao conjunto NNMN, que é o
resultado final para a métrica avaliada.
A métrica Facilidade de Aprender possui 10 questões e apresentou os resultados a
seguir.
59
A questão 1 da métrica Facilidade de Aprender apresentou, conforme APÊNDICE D,
a seguinte Freqüência das Opiniões dos Usuários (FOU): Q1= [0 0 10 15 2], ou seja,
apresentou o seguinte conjunto fuzzy:
A(X) = 0|0 + 0|2 + 10|4 + 15|6 + 2|8
Normalizando esse conjunto, chegou-se ao seguinte conjunto de Freqüência das
Opiniões dos Usuários Normalizado (FOUN):
à (X) = (0/15) |0 + (0/15) |2 + (10/15) |4 + (15/15) |6 + (2/15) |8
à (X) = 0|0 + 0|2 + 0,6666|4 + 1|6 + 0,13333|8
Como a moda do conjunto FOUN encontrada foi 6, foram selecionados os 4 conjuntos
triangulares nebulosos de Moda 6 e Amplitude variando de 1 a 4: (6|1) , (6|2) , (6|3) e (6|4) e
comparados ao conjunto nebuloso FOUN através da fórmula (04). O resultado está
representado na Tabela 4.
Fórmula Resultado
)1|6()()1|6()(
)1|6(),( ∪∩
=XAXA
S XA 0.5556
)2|6()()2|6()(
)2|6(),( ∪∩
=XAXA
S XA 0.7538
)3|6()()3|6()(
)3|6(),( ∪∩
=XAXA
S XA 0.6750
)4|6()()4|6()(
)4|6(),( ∪∩
=XAXA
S XA 0.5538
Tabela 4 – Resultado dos cálculos de semelhanças entre conjuntos
Observa-se que o maior resultado, ou seja, o que mais tende a 1 (um) foi a semelhança
encontrada com o número (6|2), logo, o número triangular nebuloso mais semelhante à FOUN
60
e o de moda 6 amplitude 2. A representação gráfica da FOUN da questão 1 da métrica
Facilidade de Aprender sobreposta do número triangular nebuloso (6|2) é apresentada no
Gráfico 7.
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 1
Opinião
Per
tinên
cia
FOUNNN (6|2)
Figura 7 – Gráfico da Questão 1 da métrica Facilidade de Aprender
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 2
Opinião
Per
tinên
cia
FOUNNN (6|2)
Figura 8 – Gráfico da Questão 2 da métrica Facilidade de Aprender
61
Observou-se para as questões 1 e 2 (Figuras 7 e 8) que o número triangular nebuloso
mais semelhante foi o (6|2) que representa a opinião média igual a 6 (Boa) com amplitude 2,
indicando uma dispersão Média na opinião dos usuários.
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 3
Opinião
Per
tinên
cia
FOUNNN (6|1)
Figura 9 – Gráfico da Questão 3 da métrica Facilidade de Aprender
A questão 3 (Figura 9) apresentou o número triangular nebuloso (6|1) que representa a
opinião média igual a 6 (Boa) com amplitude 1, indicando uma dispersão Mínima, ou seja,
as opiniões dos usuários para esse questão foram mais convergentes.
62
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 4
Opinião
Per
tinên
cia
FOUNNN (6|2)
Figura 10 – Gráfico da Questão 4 da métrica Facilidade de Aprender
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 5
Opinião
Per
tinên
cia
FOUNNN (6|2)
Figura 11 – Gráfico da Questão 5 da métrica Facilidade de Aprender
63
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 6
Opinião
Per
tinên
cia
FOUNNN (6|2)
Figura 12 – Gráfico da Questão 6 da métrica Facilidade de Aprender
As questões 4, 5 e 6 (Figuras 10, 11 e 12) tiveram como o número triangular nebuloso
mais semelhante o (6|2) que representa a opinião média igual a 6 (Boa) com amplitude 2,
indicando uma dispersão Média na opinião dos usuários e mantendo uma tendência já
observada nas questões 1 e 2.
64
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 7
Opinião
Per
tinên
cia
FOUNNN (2|3)
Figura 13 – Gráfico da Questão 7 da métrica Facilidade de Aprender
Observou-se para a questão 7 (Figura 13) que o número triangular nebuloso mais
semelhante foi o (2|3) que representa uma avaliação geral Ruim, pois a opinião média foi
igual a 2 (Ruim). Em contrapartida a amplitude foi igual a 3, indicando uma dispersão Alta
da opinião dos usuários.
65
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 8
Opinião
Per
tinên
cia
FOUNNN (4|2)
Figura 14 – Gráfico da Questão 8 da métrica Facilidade de Aprender
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 9
Opinião
Per
tinên
cia
FOUNNN (4|2)
Figura 15 – Gráfico da Questão 9 da métrica Facilidade de Aprender
66
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 10
Opinião
Per
tinên
cia
FOUNNN (4|2)
Figura 16 – Gráfico da Questão 10 da métrica Facilidade de Aprender
As questões 8, 9 e 10 (Figuras 14, 15 e 16) tiveram como o número triangular
nebuloso mais semelhante o (4|2) que representa a opinião média igual a 4 (Média) com
amplitude 2, indicando uma dispersão Média na opinião dos usuários.
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Resultado Final para métrica Facilidade de Aprender
Opinião
Per
tinên
cia
NNMNNN (6|3)
Figura 17 – Gráfico do resultado final para a métrica Facilidade de Aprender
67
O resultado final para a métrica Facilidade de Aprender apresentou o número
triangular nebuloso (6|3) como resposta, o que, como a metodologia propõe, representa a
convergência de todos os resultados das questões que compõem essa mesma métrica.
O número nebuloso (6|3) representa uma avaliação Boa para a Facilidade de Aprender
para o sistema analisado (Intranet da Eletrobrás), porém com amplitude 3, que representa uma
dispersão Alta das opiniões dos usuários.
A próxima métrica a ser analisada é a Facilidade de Relembrar que é composta de 3
questões e apresentou os seguintes resultados:
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 1
Opinião
Per
tinên
cia
FOUNNN (6|2)
Figura 18 – Gráfico da Questão 1 da métrica Facilidade de Relembrar
Observou-se para a questão 1 (Figura 18) que o número triangular nebuloso mais
semelhante foi o (6|2) que representa a opinião média igual a 6 (Boa) com amplitude 2,
indicando uma dispersão Média na opinião dos usuários.
68
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 2
Opinião
Per
tinên
cia
FOUNNN (6|3)
Figura 19 – Gráfico da Questão 2 da métrica Facilidade de Relembrar
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 3
Opinião
Per
tinên
cia
FOUNNN (6|3)
Figura 20 – Gráfico da Questão 3 da métrica Facilidade de Relembrar
69
Para as questões 2 e 3 (Figuras 19 e 20) observou-se que o número triangular nebuloso
mais semelhante foi o (6|3) que representa também uma opinião média igual a 6 (Boa), porém
com amplitude 3, indicando uma dispersão Alta na opinião dos usuários.
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Resultado Final para métrica Facilidade de Relembrar
Opinião
Per
tinên
cia
NNMNNN (6|3)
Figura 21 – Gráfico do resultado final para a métrica Facilidade de Relembrar
O resultado final para a métrica Facilidade de Relembrar apresentou o número triangular
nebuloso (6|3) como resposta, o que representa uma avaliação Boa, com uma dispersão Alta
das opiniões dos usuários. Pelo gráfico também percebe-se que o NNMN se aproximou muito
do número triangular nebuloso (6|3).
A próxima métrica a ser analisada é a que se refere à Controle de Erros e é composta
de 7 questões, apresentando os seguintes resultados:
70
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 1
Opinião
Per
tinên
cia
FOUNNN (6|2)
Figura 22 – Gráfico da Questão 1 da métrica Controle de Erros
As questões 1 e 4 (Figuras 22 e 25) obtiveram o número triangular nebuloso mais
semelhante o (6|2) que representa uma opinião média igual a 6 (Boa), com amplitude 2,
indicando uma dispersão Média na opinião dos usuários.
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 2
Opinião
Per
tinên
cia
FOUNNN (4|3)
Figura 23 – Gráfico da Questão 2 da métrica Controle de Erros
71
A questão 2 (Figura 23) obteve o número triangular nebuloso mais semelhante o (4|3)
que representa uma opinião média igual a 4 (Média), e uma amplitude igual a 3, indicando
uma dispersão Alta na opinião dos usuários.
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 3
Opinião
Per
tinên
cia
FOUNNN (6|3)
Figura 24 – Gráfico da Questão 3 da métrica Controle de Erros
As questões 3 e 5 (Figuras 24 e 26) obtiveram o número triangular nebuloso mais
semelhante o (6|3) que representa uma opinião média igual a 6 (Boa), com amplitude 3,
indicando uma dispersão Alta na opinião dos usuários.
72
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 4
Opinião
Per
tinên
cia
FOUNNN (6|2)
Figura 25 – Gráfico da Questão 4 da métrica Controle de Erros
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 5
Opinião
Per
tinên
cia
FOUNNN (6|3)
Figura 26 – Gráfico da Questão 5 da métrica Controle de Erros
73
0 2 4 6 80.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 6
Opinião
Per
tinên
cia
FOUNNN (2|4)
Figura 27 – Gráfico da Questão 6 da métrica Controle de Erros
A questão 6 (Figura 27) obteve o número triangular nebuloso mais semelhante o (2|4)
que representa uma opinião média igual a 2 (Ruim), e uma amplitude igual a 4, indicando
uma dispersão Muito Alta na opinião dos usuários.
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 7
Opinião
Per
tinên
cia
FOUNNN (4|2)
Figura 28 – Gráfico da Questão 7 da métrica Controle de Erros
74
A questão 7 (Figura 28) obteve o número triangular nebuloso mais semelhante o (4|2)
que representa uma opinião média igual a 4 (Média), e uma amplitude igual a 2, indicando
uma dispersão Média na opinião dos usuários.
0 2 4 6 80.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Resultado Final para métrica Controle de Erros
Opinião
Per
tinên
cia
NNMNNN (6|4)
Figura 29 – Gráfico do resultado final para a métrica Controle de Erros
O resultado final para a métrica Controle de Erros apresentou o número triangular
nebuloso (6|4) como resposta, o que representa uma avaliação Boa, contudo com uma
dispersão Muito Alta (Amplitude igual a 4) das opiniões dos usuários. Isso que dizer que
embora a avaliação seja classificada como Boa, as opiniões dos usuários estão muito
espalhadas o que deixa o resultado final impreciso. Como visto, os resultados das questões
variaram entre Ruim, Média e Boa. Essa avaliação deve ser sinalizada com um “ponto de
atenção” e deve ser revista para o sistema analisado.
75
A próxima métrica a ser analisada é a Eficiência que é composta de 4 questões, e
apresentou os seguintes resultados:
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 1
Opinião
Per
tinên
cia
FOUNNN (6|3)
Figura 30 – Gráfico da Questão 1 da métrica Eficiência
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 2
Opinião
Per
tinên
cia
FOUNNN (6|2)
Figura 31 – Gráfico da Questão 2 da métrica Eficiência
76
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 3
Opinião
Per
tinên
cia
FOUNNN (6|2)
Figura 32 – Gráfico da Questão 3 da métrica Eficiência
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 4
Opinião
Per
tinên
cia
FOUNNN (6|2)
Figura 33 – Gráfico da Questão 4 da métrica Eficiência
As questões 1, 2, 3 e 4 (Figuras 30, 31 , 32 e 33) obtiveram o número triangular
nebuloso com uma opinião média igual a 6 (Boa), foi observado uma pequena diferença na
77
amplitude que, para a questão 1 foi Alta e para as questões 2, 3 e 4 a dispersão foi
considerada Média com relação às opinião dos usuários.
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Resultado Final para métrica Satisfação
Opinião
Per
tinên
cia
NNMNNN (6|2)
Figura 34 – Gráfico do resultado final para a métrica Eficiência
O resultado final para a métrica Eficiência apresentou o número triangular nebuloso
(6|2) como resposta, o que representa uma avaliação Boa. A amplitude foi de 2, que
representa uma dispersão Média entre as opiniões dos usuários.
A próxima métrica a ser analisada é a Eficácia que é composta de 3 questões e
apresentou os seguintes resultados:
78
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 1
Opinião
Per
tinên
cia
FOUNNN (4|2)
Figura 35 – Gráfico da Questão 1 da métrica Eficácia
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 2
Opinião
Per
tinên
cia
FOUNNN (6|2)
Figura 36 – Gráfico da Questão 2 da métrica Eficácia
79
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 3
Opinião
Per
tinên
cia
FOUNNN (4|2)
Figura 37 – Gráfico da Questão 3 da métrica Eficácia
As questões 1 e 3 (Figuras 35 e 37) obtiveram o número triangular nebuloso mais
semelhante o (4|2) que representa uma opinião média igual a 4 (Média), com amplitude 2,
indicando uma dispersão Média na opinião dos usuários.
A questão 2 (Figura 36) obteve o número triangular nebuloso (6|2) que representa a
opinião média igual a 6 (Boa) com amplitude 2, indicando uma dispersão Média na opinião
dos usuários.
O resultado final para a métrica Eficácia apresentou o número triangular nebuloso
(4|2) como resposta, o que representa uma avaliação Média. A amplitude foi de 2, que
representa uma dispersão também Média entre as opiniões dos usuários.
80
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Resultado Final para métrica Eficácia
Opinião
Per
tinên
cia
NNMNNN (4|2)
Figura 38 – Gráfico do resultado final para a métrica Eficácia
A última métrica a ser analisada é a Satisfação que é composta de 3 questões e
apresentou os seguintes resultados:
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 1
Opinião
Per
tinên
cia
FOUNNN (6|2)
Figura 39 – Gráfico da Questão 1 da métrica Satisfação
81
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 2
Opinião
Per
tinên
cia
FOUNNN (6|3)
Figura 40 – Gráfico da Questão 2 da métrica Satisfação
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Questão 3
Opinião
Per
tinên
cia
FOUNNN (6|1)
Figura 41 – Gráfico da Questão 3 da métrica Satisfação
82
Todas as 3 questões dessa métrica (Figuras 39, 40 e 41) obtiveram o número triangular
nebuloso com uma opinião média igual a 6 (Boa), entretanto as amplitudes variaram entre 1, 2
e 3. A questão 1 apresentou amplitude 2, que representa uma dispersão Média entre as
opiniões dos usuários. A questão 2 apresentou amplitude 3 que representa uma dispersão Alta
entre as opiniões dos usuários. A questão 3 apresentou amplitude 1 que representa uma
dispersão Mínima entre as opiniões dos usuários, ou seja, os usuários foram quase unânimes
ao escolherem o conceito “Bom” para essa questão.
0 2 4 6 80
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Resultado Final para métrica Satisfação
Opinião
Per
tinên
cia
NNMNNN (6|2)
Figura 42 – Gráfico do resultado final para a métrica Satisfação
O resultado final para a métrica Satisfação apresentou o número triangular nebuloso
(6|2) como resposta, o que representa uma avaliação Boa, com uma dispersão Média
(Amplitude igual a 2) das opiniões dos usuários.
O resultado final da avaliação da usabilidade da Intranet da Eletrobrás, representado na
tabela 5, mostra que das seis métricas de usabilidade, as seis não foram aceitas por apresentar
83
amplitude maior ou igual a 2 (Média), ou por uma segunda interpretação, apresentaram graus
de confiança muito baixo nos dados pesquisados. Portanto, recomenda-se que a Intranet da
Eletrobrás deva ser repensada sob esse seis aspectos da usabilidade, ou, conforme proposto
pela metodologia, se faça uma nova avaliação da Intranet aumentando a amostra dos usuários.
As métricas Eficiência, Eficácia e Satisfação apresentaram amplitude Média,
representando um maior grau de confiança no resultado obtido. As métricas Facilidade de
Aprender e Facilidade de Relembrar apresentaram amplitude Alta o que representa um grau
de confiança baixo. A métrica Controle de Erros foi a que apresentou a maior Amplitude,
Muito Alta, o que representa uma total dispersão das opiniões dos usuários e é a métrica que
deve ter a maior atenção na sua reavaliação.
Métrica Avaliação Amplitude Resultado
Facilidade de Aprender 6 - Boa 3 - Alta Amplitude >= 2.
Resultado não aceito. Reavaliar o sistema.
Facilidade de Relembrar 6 - Boa 3 - Alta Amplitude >= 2.
Resultado não aceito. Reavaliar o sistema.
Controle de Erros 6 - Boa 4 - Muito Alto Amplitude >= 2.
Resultado não aceito. Reavaliar o sistema.
Eficiência 6 - Boa 2 - Média Amplitude >= 2.
Resultado não aceito. Reavaliar o sistema.
Eficácia 4 - Média 2 - Média Amplitude >= 2.
Resultado não aceito. Reavaliar o sistema.
Satisfação 6 - Boa 2 - Média Amplitude >= 2.
Resultado não aceito. Reavaliar o sistema.
Tabela 5 – Resultado final da avaliação da usabilidade da Intranet da Eletrobrás
84
6. CONCLUSÕES
A presente pesquisa teve por objetivo identificar um conjunto de critérios mensuráveis
para avaliação da usabilidade de sistemas, baseando-se entre outros estudos, nas normas da
ISO e propor uma metodologia para medi-los.
A metodologia proposta conseguiu atender às expectativas de se criar um instrumento
que “quantificasse” o grau de usabilidade de um sistema, e se não bastasse isso, gerou um
conceito para cada critério, ficando claro em que ponto a usabilidade está mais ou menos
deficitária ou em que aspecto o sistema pode melhorar. Isso foi comprovado após a aplicação
da metodologia para Intranet da Eletrobrás em que foram obtidos resultados coerentes e
condizentes com a realidade vivenciada na empresa.
Na etapa do pré-teste, a metodologia se mostrou eficiente quando aplicada na
avaliação de sistemas diversos, tanto para sistemas que são executados em computadores
quanto para aqueles executados em equipamento diversos, cumprindo assim um dos objetivos
específicos do estudo.
85
Uma revisão dos critérios de avaliação de usabilidade de sistemas foi realizada, e
resultou em seis métricas unificadas de usabilidade. O que se constatou foi que muitos desses
critérios, embora especificados em estudos diferentes, no fundo tinham o objetivo de medir as
mesmas coisas.
Ficou evidenciada com a pesquisa a importância de se conhecer o sistema que está
sendo utilizado, contextualizando-o sob o ponto de vista do usuário, tarefa, equipamento e
ambiente para não se criar um viés nos resultados. Cabe ao pesquisador identificar quais
contextos são críticos para cada sistema e dividir a aplicação da avaliação em amostras
diferenciadas.
Os resultados obtidos com esse estudo visa apoiar o processo de decisão de uma
empresa que necessite rever a usabilidade de seus softwares, do seu site ou dos seus
equipamentos. Dependendo do sistema analisado, esse resultado pode ser interpretado como
retenção de clientes, aumento de lucro, aumento da produtividade e satisfação dos
empregados, entre outros benefícios.
A utilização da lógica fuzzy permitiu criar um mecanismo robusto com a utilização de
expressões verbais. A transposição dessas expressões para números possibilitou a execução de
cálculos, aumentado a precisão das opiniões dos usuários.
Como sugestão para dar continuidade ao trabalho, destaca-se a criação de uma lista de
recomendações atrelada ao resultado final das métricas, para não só apresentar um conceito
literal para cada métrica, mas também indicar quais pontos exatamente o sistema pode ser
86
melhorado ou qual quesito a avaliação ficou comprometida, uma vez que cada questão do
questionário corresponde a uma característica do sistema.
87
REFERÊNCIAS BIBLIOGRÁFICAS
BASTIEN, J.M.C.; SCAPIN, D.L. Human factors criteria, principles, and recommandations for HCI: methodological and standatdisation issues. França: INRIA, 1993. BENNETT, John L. The Commercial Impact of Usability in Interactive Systems. In: Man/Computer Communication, Inglaterra, Infotech International, v. 2, p. 1-17,1979. BRAGA, Mario J. F.; BARRETO, Jorge M.; MACHADO, Maria Augusta S. Conceitos da Matemática Nebulosa na Análise de Risco. Rio de Janeiro: Artes& Rabiskus, 1995. COOPER, Donald R.; SCHINDLER, Pamela S. Métodos de Pesquisa em Administração. 7. ed. Porto Alegre: Bookman, 2003. COSTA, Alex da; RODRÍGUEZ, Antonio Gabriel; SIMAS, Etiene P. L.; ARAÚJO, Roberto da S. Lógica Fuzzy: Conceitos e Aplicações. Disponível em: <http://www.inf.unisinos.br/~cazella/dss/fuzzy_relatorio.pdf>. Acesso em: 04 nov. 2005. CYBIS, Walter de Abreu. Engenharia de Usabilidade: Uma Abordagem Ergonômica. Florianópolis, Maio de 2003. Disponível em: <http://www.unoescsmo.edu.br/poscomp/cybis/Apostila_v51.pdf>. Acesso em: 24 mar. 2006. DEMO, P. Metodologia do Conhecimento Científico. São Paulo: Atlas, 2000. DUBOIS D., PRADE H., Fuzzy Sets and Systems: Theory and Applications. San Francisco: Academic Press, 1980. GIL, Antonio Carlos. Como elaborar projetos de pesquisa. 3. ed. São Paulo: Atlas, 1996. ISO 9126-1. Engenharia de software – Qualidade de produto. Parte 1: Modelo de qualidade. NBR ISO/IEC 9126-1. Rio de Janeiro: ABNT, 2003. ISO 9241. Ergonomic requirements for office work with visual display terminals (VDTs). ISO 9241. Switzerland: ISO, 1998. JORDAN, Patrick W. An Introduction to Usability. London, UK: Taylor & Francis, 1998.
88
MALHOTRA, Naresh K. Pesquisa de marketing: uma orientação aplicada. Porto Alegre: Bookman, 2001. MATTAR, F.. Pesquisa de Marketing. São Paulo: Editora Atlas, 1997. MILLER, R. B. Human ease of use criteria and their tradeoffs. Relatório técnico. New York: IBM Corporation, 1971. MORAES, Anamaria de. História da Ergonomia. Disponível em: <http://wwwusers.rdc.puc-rio.br/leui/leui.html>. Acesso em 03 Out. 2006. NASCIMENTO, José Antonio Machado do. Usabilidade no contexto de gestores, desenvolvedores e usuários do website da Biblioteca Central da Universidade de Brasília. Dissertação de Mestrado do curso de Ciência da Informação. Brasília: Universidade de Brasília, 2006. NIELSEN, J. Usability Engineering. Boston, MA: Academic Press, 1993. OLIVEIRA JR., Hime A. E. Lógica Difusa: Aspectos Práticos e Aplicações. Rio de Janeiro: Interciência, 1999. QUESENBERY, W. What does usability mean: Looking beyond 'ease of use'. In: 48th Annual Conference Society for Technical Communication. Chicago, 2001. SHACKEL, B. Ergonomics in design for usability. In: Harrison, M. D., & Monk, A. F. People and computers: Designing for usability, In: HCI 86 Conference on People and Computer. New York: Cambridge University Press, p. 44-64, 1986. SHNEIDERMAN, B. Designing the User Interface: Strategies for Effective Human-Computer Interaction. 3. ed. EUA: Addison Wesley, 1998. SIMÕES, Marcelo G.; SHAW, Lan. Controle e Modelagem Fuzzy. São Paulo: Edgard & Blucher, 1999. TEIXEIRA, Gilberto. O que Significa Metodologia?. Disponível em: <http://www.serprofessoruniversitario.pro.br/>. Acesso em: 11 nov. 2006. VERGARA, Sylvia C. Projetos e Relatórios de Pesquisa em Administração. 3 ed. São Paulo: Atlas, 2000.
89
BIBLIOGRAFIA COMPLEMENTAR
AMENDOLA, Mariangela; SOUZA, Anderson Luiz de; BARROS, Laécio Carvalho. Manual do uso da teoria dos conjuntos Fuzzy no MATLAB 6.5. Versão II, 2005. Disponível em: < http://www.ime.unicamp.br/>. Acesso em: 08 nov. 2006. CONGRESSO ANUAL DE TECNOLOGIA DE INFORMAÇÃO (CATI). 2004, São Paulo, Anais Eletrônicos..., 2004, CD-ROM. ______. 2005, São Paulo, Anais Eletrônicos..., 2005, CD-ROM. ______. 2006, São Paulo, Anais Eletrônicos..., 2006, CD-ROM. ENCONTRO DA ASSOCIAÇÃO NACIONAL DOS PROGRAMAS DE PÓS-GRADUAÇÃO EM ADMINISTRAÇÃO (EnANPAD). XXII, Paraná, Anais Eletrônicos..., 1998, CD-ROM. ______. XXIII, Paraná, Anais Eletrônicos..., 1999, CD-ROM. ______. XXIV, Santa Catarina, Anais Eletrônicos..., 2000, CD-ROM. ______. XXV, São Paulo, Anais Eletrônicos..., 2001, CD-ROM. ______. XXVI, Bahia, Anais Eletrônicos..., 2002, CD-ROM. ______. XXVII, São Paulo, Anais Eletrônicos..., 2003, CD-ROM. ______. XXVIII, Paraná, Anais Eletrônicos..., 2004, CD-ROM. ______. XXIX, Brasília, Anais Eletrônicos..., 2005, CD-ROM.
REVISTA CIÊNCIA DA INFORMAÇÃO. IBCT, Brasília, 2006. Disponível em: <http://www.scielo.br/>. Acesso em: 28 out. 2006. REVISTA DE ADMINISTRAÇÃO CONTEPORÂNEA. ANPAD, Paraná, 2006. Disponível em: < http://www.anpad.org.br/rac/>. Acesso em: 28 out. 2006.
90
REVISTA DE ADMINISTRAÇÃO DA UNIVERSIDADE DE SÃO PAULO. USP, São Paulo, 2006. Disponível em: < http://www.rausp.usp.br/>. Acesso em: 28 out. 2006. REVISTA DE ADMINISTRAÇÃO DE EMPRESAS ELETRÔNICA - RAE. FGV-EAESP, Santa Catarina, 2006. Disponível em: <http://www.rae.com.br/eletronica/index.cfm/>. Acesso em: 28 out. 2006. REVISTA ELETRÔNICA DE SISTEMAS DE INFORMAÇÃO - RESI. UFSC, Santa Catarina, 2006. Disponível em: <http://www.inf.ufsc.br/resi/>. Acesso em: 28 out. 2006.
91
APÊNDICE A – QUESTIONÁRIO PARA USABILIDADE DE SISTEMAS Nome do Sistema Analisado: _____________________________
Nome do usuário: ________________________________________
Sexo: ( ) Masculino ( ) Feminino
Idade: __________
Escolaridade: __________
Possui alguma limitação física? ______ (Sim/Não) Qual: __________________
Tempo de experiência no uso de computador (em anos): __________
Tempo de experiência no uso do sistema (em anos): __________
Tempo de experiência no uso do sistema (em anos): __________
Periodicidade do uso do sistema: ( ) Frequentemente ( ) Eventualmente ( ) Raramente
01) Ao completar uma tarefa com sucesso no sistema pela primeira vez, você achou: ( ) Muito Difícil ( ) Difícil ( ) Médio ( ) Fácil ( ) Muito Fácil 02) Qual foi sua primeira impressão ao utilizar o sistema: ( ) Muito Insatisfeito
( ) Insatisfeito ( ) Médio ( ) Satisfeito ( ) Muito Satisfeito
03) O número de tentativas realizadas por você para aprender concluir uma tarefa, foi: ( ) Exagerada ( ) Muitas ( ) Média ( ) Poucas ( ) Quase
nenhuma 04) Com relação ao tempo para conseguir aprender a realizar uma tarefa com sucesso, você achou: ( ) Muito Demorado
( ) Demorado ( ) Médio ( ) Rápido ( ) Muito Rápido
05) A Interface do sistema lhe proporciona uma interação: ( ) Muito Insatisfatória
( ) Insatisfatória ( ) Indiferente ( ) Satisfatória ( ) Muito Satisfatória
06) Ao realizar suas tarefas no sistema, com relação à clareza das mensagens, recuperação de erros, etc. Você se sente: ( ) Muito Desconfortável
( ) Desconfortável
( ) Médio ( ) Confortável ( ) Muito Confortável
07) Com relação a facilidade de aprender uma tarefa, você se sente: ( ) Muito Insatisfeito
( ) Insatisfeito ( ) Médio ( ) Satisfeito ( ) Muito Satisfeito
08) Quantas são as maneiras diferentes que o sistema oferece para realizar a mesma tarefa, por exemplo: caminho padrão versus teclas de atalhos, caminhos mais curtos, macros, botões específicos, etc. Você acha que: ( ) Existe um número muito baixo de possibilidades
( ) Existe um número baixo de possibilidades
( ) existe um número razoável de possibilidades
( ) Existe um número alto de possibilidades
( ) Existe um número muito alto de possibilidades
92
09) Com relação a maneira mais rápida que você consegue realizar uma tarefa, comparando com a maneira padrão que o sistema oferece por padrão, você considera um ganho de produtividade: ( ) muito baixo ( ) baixo ( ) médio ( ) alto ( ) Muito alto 10) Com relação a flexibilidade que o sistema permite de executar suas tarefas de maneiras diferentes, como por exemplo: personalização de atalhos, valores, menus, macros, etc. você se sente: ( ) Muito Insatisfeito
( ) Insatisfeito ( ) Indiferente ( ) Satisfeito ( ) Muito Satisfeito
11) O sistema é capaz de guiá-lo através de sua execução com dicas, ajuda, avisos, etc. ( ) Nunca ( ) Raramente ( ) Algumas
vezes ( ) Na maioria das vezes
( ) Sempre
12) Ao completar uma tarefa com sucesso no sistema pela primeira vez, você achou: ( ) Muito Demorado
( ) Demorado ( ) Médio ( ) Rápido ( ) Muito Rápido
13) Após um período de tempo sem utilizar o sistema, você consegue relembrar como executar uma tarefa com: ( ) Muita Dificuldade
( ) Certa Dificuldade
( ) Um Esforço Médio
( ) Certa Facilidade
( ) Muita Facilidade
14) Toda vez que você precisa reutilizar o sistema com relação a relembrar sua utilização, você se sente: ( ) Muito Desconfortável
( ) Desconfortável
( ) Médio ( ) Confortável ( ) Muito Confortável
15) Após um período de tempo sem utilizar o sistema, você consegue relembrar a utilização do sistema de forma: ( ) Muito Lenta ( ) Lenta ( ) Média ( ) Rápido ( ) Muito Rápido 16) A quantidade de erros provocados pelo sistema é: ( ) Muito Grande ( ) Grande ( ) Média ( ) Pequena ( ) Muito
Pequena 17) Quando um erro ocorre, a retomada ao funcionamento normal do sistema é: ( ) Muito Demorada
( ) Demorada ( ) Média ( ) Rápida ( ) Muito Rápida
18) Como você se sente com relação à quantidade de erros provocados pelo sistema: ( ) Muito Insatisfeito
( ) Insatisfeito ( ) Indiferente ( ) Satisfeito ( ) Muito Satisfeito
19) A Quantidade de erros provocados pelo sistema que causa alguma perda de informação ou retrabalho é: ( ) Muito Grande ( ) Grande ( ) Média ( ) Pequena ( ) Muito
Pequena 20) Quando um erro ocorre, o tempo gasto para você retomar a execução da tarefa no sistema no ponto em que você parou é: ( ) Muito Demorado
( ) Demorado ( ) Média ( ) Rápido ( ) Muito Rápido
93
21) Como você se sente com relação à recuperação do erro por parte do sistema, desfazer, refazer, voltar, salvar antes de fechar, etc. ( ) Muito Insatisfeito
( ) Insatisfeito ( ) Indiferente ( ) Satisfeito ( ) Muito Satisfeito
22) Como você considera a performance apresentada pelo sistema: ( ) Muito Baixa ( ) Baixa ( ) Média ( ) Alta ( ) Muito Alta 23) Como você considera a velocidade na realização das tarefas: ( ) Muito Demorado
( ) Demorado ( ) Média ( ) Rápido ( ) Muito Rápido
24) Como você se sente com relação a produtividade do sistema: ( ) Muito Insatisfeito
( ) Insatisfeito ( ) Indiferente ( ) Satisfeito ( ) Muito Satisfeito
25) Como você se sente com relação à manter o sistema sob seu controle: ( ) Muito Insatisfeito
( ) Insatisfeito ( ) Indiferente ( ) Satisfeito ( ) Muito Satisfeito
26) Com relação a quantidade de passos para realizar uma tarefa, você acha que é: ( ) Muito alto, consigo realizar a tarefa com eficácia muito baixa
( ) alto, consigo realizar a tarefa com eficácia baixa
( ) médio ( ) baixa, consigo realizar a tarefa com eficácia alta
( ) muito baixo, consigo realizar a tarefa com eficácia muito alta
27) Você consegue realizar uma tarefa qualquer no sistema de forma: ( ) Muito Demorado
( ) Demorado ( ) Média ( ) Rápido ( ) Muito Rápido
28) Como você se sente com relação à quantidade de passos para realizar uma tarefa no sistema: ( ) Muito Insatisfeito
( ) Insatisfeito ( ) Indiferente ( ) Satisfeito ( ) Muito Satisfeito
29) As mensagens de erros apresentadas pelo sistemas são: ( ) Muito Confusas
( ) Confusas ( ) Médias ( ) Esclarecedoras ( ) Muito Esclarecedoras
30) De uma forma geral, como se sente ao usar o sistema: ( ) Muito Insatisfeito
( ) Insatisfeito ( ) Indiferente ( ) Satisfeito ( ) Muito Satisfeito
94
APÊNDICE B – NÚMEROS TRIANGULARES NEBULOSOS Números Triangulares Nebulosos com moda igual a 0
0 2 4 6 80
1
Opinião
Per
tinên
cia
NN (0|1)NN (0|2)NN (0|3)NN (0|4)
Amplitude 1 Número Nebuloso: (0|1) = 1|0 + 0|2 + 0|4 + 0|6 + 0|8 Amplitude 2 Número Nebuloso: (0|2) = 1|0 + 0,5|2 + 0|4 + 0|6 + 0|8 Amplitude 3 Número Nebuloso: (0|3) = 1|0 + 0,666|2 + 0,333|4 + 0|6 + 0|8 Amplitude 4 Número Nebuloso: (0|4) = 1|0 + 0,75|2 + 0,5|4 + 0,25|6 + 0|8
95
Números Triangulares Nebulosos com moda igual a 2
0 2 4 6 80
1
Opinião
Per
tinên
cia
NN (2|1)NN (2|2)NN (2|3)NN (2|4)
Amplitude 1 Número Nebuloso: (2|1) = 0|0 + 1|2 + 0|4 + 0|6 + 0|8 Amplitude 2 Número Nebuloso: (2|2) = 0,5|0 + 1|2 + 0,5|4 + 0|6 + 0|8 Amplitude 3 Número Nebuloso: (2|3) = 0,666|0 + 1|2 + 0,666|4 + 0,333|6 + 0|8 Amplitude 4 Número Nebuloso: (2|4) = 0,75|0 + 1|2 + 0,75|4 + 0,5|6 + 0,25|8
96
Números Triangulares Nebulosos com moda igual a 4
0 2 4 6 80
1
Opinião
Per
tinên
cia
NN (4|1)NN (4|2)NN (4|3)NN (4|4)
Amplitude 1 Número Nebuloso: (4|1) = 0|0 + 0|2 + 1|4 + 0|6 + 0|8 Amplitude 2 Número Nebuloso: (4|2) = 0|0 + 0,5|2 + 1|4 + 0,5|6 + 0|8 Amplitude 3 Número Nebuloso: (4|3) = 0,333|0 + 0,666|2 + 1|4 + 0,666|6 + 0,333|8 Amplitude 4 Número Nebuloso: (4|4) = 0,5|0 + 0,75|2 + 1|4 + 0,75|6 + 0,5|8
97
Números Triangulares Nebulosos com moda igual a 6
0 2 4 6 80
1
Opinião
Per
tinên
cia
NN (6|1)NN (6|2)NN (6|3)NN (6|4)
Amplitude 1 Número Nebuloso: (6|1) = 0|0 + 0|2 + 0|4 + 1|6 + 0|8 Amplitude 2 Número Nebuloso: (6|2) = 0|0 + 0|2 + 0,5|4 + 1|6 + 0,5|8 Amplitude 3 Número Nebuloso: (6|3) = 0|0 + 0,333|2 + 0,666|4 + 1|6 + 0,666|8 Amplitude 4 Número Nebuloso: (6|4) = 0,25|0 + 0,5|2 + 0,75|4 + 1|6 + 0,75|8
98
Números Triangulares Nebulosos com moda igual a 8
0 2 4 6 80
1
Opinião
Per
tinên
cia
NN (8|1)NN (8|2)NN (8|3)NN (8|4)
Amplitude 1 Número Nebuloso: (8|1) = 0|0 + 0|2 + 0|4 + 0|6 + 1|8 Amplitude 2 Número Nebuloso: (8|2) = 0|0 + 0|2 + 0|4 + 0,5|6 + 1|8 Amplitude 3 Número Nebuloso: (8|3) = 0|0 + 0|2 + 0,333|4 + 0,666|6 + 1|8 Amplitude 4 Número Nebuloso: (8|4) = 0|0 + 0,25|2 + 0,5|4 + 0,75|6 + 1|8
99
APÊNDICE C – PLANILHA COM A TABULAÇÃO DOS RESULTADOS Frequência das Opiniões dos Usuários (FOU)
Usu
ário
01
Usu
ário
02
Usu
ário
03
Usu
ário
04
Usu
ário
05
Usu
ário
06
Usu
ário
07
Usu
ário
08
Usu
ário
09
Usu
ário
10
Usu
ário
11
Usu
ário
12
Usu
ário
13
Usu
ário
14
Usu
ário
15
Usu
ário
16
Usu
ário
17
Usu
ário
18
Usu
ário
19
Usu
ário
20
Usu
ário
21
Usu
ário
22
Usu
ário
23
Usu
ário
24
Usu
ário
25
Usu
ário
26
Usu
ário
27
0 – Muito Ruim 2 – Ruim 4 – Média
6 – Boa
8 – Muito Boa
Questão1 6 4 6 6 6 6 8 4 6 4 4 6 6 4 6 8 4 6 6 4 4 6 4 6 4 6 6 0 0 10 15 2 Questão2 6 6 6 6 6 6 6 6 8 6 4 4 6 4 6 6 6 4 6 2 4 6 6 6 6 6 6 0 1 5 20 1 Questão3 4 6 4 6 6 6 6 4 6 6 6 6 6 6 8 8 4 8 8 4 4 6 6 6 6 6 6 0 0 6 17 4 Questão4 4 6 6 6 6 6 6 4 4 6 4 6 6 4 6 6 4 6 8 4 4 6 4 6 6 4 4 0 0 11 15 1 Questão5 6 6 6 8 6 6 6 6 8 6 4 2 4 2 6 4 6 4 6 6 6 6 2 4 6 6 6 0 3 5 17 2 Questão6 2 6 4 6 6 2 4 6 8 6 2 2 6 4 6 4 6 6 4 6 4 6 2 6 4 4 4 0 5 9 12 1 Questão7 4 6 6 8 6 6 4 6 8 4 2 4 6 4 6 4 6 6 6 6 6 6 4 6 6 4 6 0 1 8 16 2 Questão8 2 2 2 0 6 4 4 4 6 2 2 2 0 0 4 4 4 4 2 4 4 4 2 6 2 2 2 3 11 10 3 0 Questão9 4 6 4 8 6 4 4 4 8 4 0 4 4 4 2 8 4 6 2 4 4 4 2 0 4 4 4 2 3 16 3 3 Questão10 4 4 6 4 4 4 4 6 8 4 2 2 4 0 4 4 4 6 2 4 6 4 2 6 4 4 4 1 4 16 5 1 Questão11 4 4 4 2 6 4 2 6 8 4 0 2 4 2 4 4 4 6 2 2 6 4 4 6 4 2 4 1 7 13 5 1 Questão12 4 6 4 6 6 6 6 4 6 6 4 4 6 4 4 2 4 6 6 4 4 6 4 6 6 4 6 0 1 12 14 0 Questão13 4 6 6 6 6 8 4 4 8 8 6 4 6 2 6 6 4 6 8 6 4 6 4 6 4 6 6 0 1 8 14 4 Questão14 2 6 6 6 4 8 2 4 8 6 2 2 6 4 6 6 4 6 8 6 6 6 4 6 4 6 6 0 4 6 14 3 Questão15 2 6 6 6 4 8 4 4 8 6 4 2 4 4 6 6 4 6 8 6 4 6 4 6 4 6 6 0 2 10 12 3 Questão16 4 6 6 8 6 4 6 6 6 8 8 6 4 6 6 8 4 8 6 6 6 6 4 4 6 8 6 0 0 6 15 6 Questão17 4 6 4 4 6 4 4 4 8 8 6 4 4 6 6 8 4 6 6 6 4 6 4 6 4 6 4 0 0 13 11 3 Questão18 2 6 4 6 6 4 6 2 8 8 6 4 2 6 4 8 4 6 6 6 2 6 2 6 2 6 6 0 6 5 13 3 Questão19 6 8 6 8 6 6 6 6 8 8 8 8 6 8 8 6 4 8 6 6 8 8 6 6 6 6 6 0 0 1 15 11 Questão20 2 6 4 4 6 4 6 4 8 6 6 4 4 8 4 6 4 6 6 6 2 6 4 6 6 6 6 0 2 9 14 2 Questão21 4 6 2 4 6 4 4 6 8 6 2 2 4 2 4 8 4 6 4 6 4 6 2 6 4 6 4 0 5 11 9 2 Questão22 2 6 4 6 6 4 6 6 8 6 6 4 4 4 4 4 4 8 6 4 4 6 2 6 6 2 6 0 3 10 12 2 Questão23 2 6 4 6 6 6 4 6 8 6 6 2 4 4 6 6 4 6 6 4 6 6 2 6 6 4 6 0 3 7 16 1 Questão24 4 6 4 8 6 4 6 6 8 6 6 2 4 4 4 8 4 6 6 6 6 6 2 6 6 4 6 0 2 8 14 3 Questão25 4 6 6 4 6 4 4 6 8 6 6 4 4 4 4 8 6 6 6 6 6 4 2 6 4 4 6 0 1 11 13 2 Questão26 2 6 4 4 6 6 4 4 6 4 4 4 4 4 6 6 4 6 6 4 4 6 2 6 4 4 4 0 2 15 10 0 Questão27 4 6 4 6 6 6 6 4 6 6 4 2 4 4 6 6 4 6 6 4 4 6 4 6 4 4 6 0 1 12 14 0 Questão28 2 6 2 4 6 4 4 6 8 6 6 2 2 4 4 4 4 6 6 6 4 6 2 6 4 4 4 0 5 11 10 1 Questão29 2 8 2 4 6 2 4 6 8 6 2 0 4 4 4 2 4 6 4 2 2 4 2 6 2 6 2 1 10 8 6 2 Questão30 4 6 6 6 6 6 6 6 8 6 4 2 6 4 6 6 4 6 6 6 6 6 4 6 6 6 6 0 1 5 20 1
100
APÊNDICE D – PLANILHA COM A CORELAÇÃO ENTRE AS QUESTÕES E AS MÉTRICAS MÉTRICAS SIGLA* Facilidade de Aprender - A LEGENDA Questão1 A01 Q1= [ 0 0 10 15 2 ]; A Facilidade de Aprender Questão2 A03 Q2= [ 0 1 12 14 0 ]; R Facilidade de Relembrar Questão3 A04 Q3= [ 0 1 5 20 1 ]; C Controle de erros Questão4 A05 Q4= [ 0 0 6 17 4 ]; E Eficiência Questão5 S01 Q5= [ 0 0 11 15 1 ]; F Eficácia Questão6 S02 Q6= [ 0 1 8 16 2 ]; S Satisfação Questão7 A06 Q7= [ 3 11 10 3 0 ]; Questão8 A07 Q8= [ 2 3 16 3 3 ]; Questão9 A08 Q9= [ 1 4 16 5 1 ]; Questão10 A09 Q10= [ 1 7 13 5 1 ]; Questão11 A10 Facilidade de Relembrar - R Questão12 A02 Q1= [ 0 1 8 14 4 ]; Questão13 R01 Q2= [ 0 2 10 12 3 ]; Questão14 R03 Q3= [ 0 4 6 14 3 ]; Questão15 R02 Controle de erros - C Questão16 C01 Q1= [ 0 0 6 15 6 ]; Questão17 C02 Q2= [ 0 0 13 11 3 ]; Questão18 C03 Q3= [ 0 6 5 13 3 ]; Questão19 C04 Q4= [ 0 0 1 15 11 ]; Questão20 C05 Q5= [ 0 2 9 14 2 ]; Questão21 C07 Q6= [ 1 10 8 6 2 ]; Questão22 E01 Q7= [ 0 5 11 9 2 ]; Questão23 E02 Eficiência - E Questão24 E03 Q1= [ 0 3 10 12 2 ]; Questão25 E04 Q2= [ 0 3 7 16 1 ]; Questão26 F01 Q3= [ 0 2 8 14 3 ]; Questão27 F02 Q4= [ 0 1 11 13 2 ]; Questão28 F03 Eficácia - F Questão29 C06 Q1= [ 0 2 15 10 0 ]; Questão30 S03 Q2= [ 0 1 12 14 0 ]; Q3= [ 0 5 11 10 1 ];
Satisfação - S Q1= [ 0 3 5 17 2 ]; Q2= [ 0 5 9 12 1 ];
*Regra de Formação: X99 Onde X equivale a letra da métrica e 99 ao ao seqüencial da questão Q3= [ 0 1 5 20 1 ];
Livros Grátis( http://www.livrosgratis.com.br )
Milhares de Livros para Download: Baixar livros de AdministraçãoBaixar livros de AgronomiaBaixar livros de ArquiteturaBaixar livros de ArtesBaixar livros de AstronomiaBaixar livros de Biologia GeralBaixar livros de Ciência da ComputaçãoBaixar livros de Ciência da InformaçãoBaixar livros de Ciência PolíticaBaixar livros de Ciências da SaúdeBaixar livros de ComunicaçãoBaixar livros do Conselho Nacional de Educação - CNEBaixar livros de Defesa civilBaixar livros de DireitoBaixar livros de Direitos humanosBaixar livros de EconomiaBaixar livros de Economia DomésticaBaixar livros de EducaçãoBaixar livros de Educação - TrânsitoBaixar livros de Educação FísicaBaixar livros de Engenharia AeroespacialBaixar livros de FarmáciaBaixar livros de FilosofiaBaixar livros de FísicaBaixar livros de GeociênciasBaixar livros de GeografiaBaixar livros de HistóriaBaixar livros de Línguas
Baixar livros de LiteraturaBaixar livros de Literatura de CordelBaixar livros de Literatura InfantilBaixar livros de MatemáticaBaixar livros de MedicinaBaixar livros de Medicina VeterináriaBaixar livros de Meio AmbienteBaixar livros de MeteorologiaBaixar Monografias e TCCBaixar livros MultidisciplinarBaixar livros de MúsicaBaixar livros de PsicologiaBaixar livros de QuímicaBaixar livros de Saúde ColetivaBaixar livros de Serviço SocialBaixar livros de SociologiaBaixar livros de TeologiaBaixar livros de TrabalhoBaixar livros de Turismo