Mtodo de avaliao de usabilidade de software a partir da satisfao de usurios e

da aplicao de quesitos da norma ISO 9241

Marco Aurlio Medeiros Ps-Graduao em Engenharia de Produo

Universidade Federal de Santa Catarina Laboratrio de Utilizabilidade de Informtica

(88040-901) Florianpolis, SC, Brasil 0XX 48 3317549

MARCOM@Amdocs.com

Walter de Abreu Cybis Ps-Graduao em Engenharia de Produo

Universidade Federal de Santa Catarina Laboratrio de Utilizabilidade de Informtica

(88040-901) Florianpolis, SC, Brasil 0XX 48 3317549 cybis@inf.ufsc.br

RESUMO

Este artigo apresenta uma atividade de avaliao da satisfao de clientes de empresas fornecedoras de software a partir do questionrio ISONORM, baseado nos princpios de dilogo previstos na parte 10 da norma ISO 9241. O artigo mostra ainda como associar o grau de satisfao dos usurios e os quesitos de diversas partes da norma ISO 9241, para a identificao objetiva de falhas de usabilidade dos sistemas.

1 INTRODUO

Nos ltimos anos, instituies reguladoras, reconhecendo a importncia da ergonomia no uso e projeto de equipamentos de terminais de vdeo, tm desenvolvido padres, guias e regulamentaes que visam proteger a sade, segurana, conforto e eficincia dos usurios de computador.

Os padres ergonmicos exercem um importante papel no aprimoramento da usabilidade dos sistemas, atravs da melhoria da consistncia da interface com o usurio e da qualidade ergonmica de seus componentes [STEWART 95]. Estes padres ajudam os projetistas a obter sistemas e componentes que podem ser usados de maneira eficaz, eficiente, segura e confortvel. Tambm auxiliam a reduzir a desnecessria variedade de software e hardware, assegurando que os benefcios de quaisquer variaes sejam plenamente justificveis.

O padro ISO voltado para usabilidade, cuja discusso encontra-se em estado mais adiantado a norma internacional ISO 9241 Ergonomic Requirements for Office Work with Visual Display Terminals (VDT). importante para este artigo citar que uma NBR (Norma Brasileira Registrada) correspondente a esta norma ISO e que leva o nome de Requisitos ergonmicos para o trabalho de escritrio com computadores encontra-se em fase de elaborao desde junho de 1999. Espera-se a publicao das partes 1 e 10 desta norma ainda para o ano 2000 (www.abnt.com.br).

Paralelamente, outros padres, que focalizam a usabilidade de sistemas de software, encontram-se em desenvolvimento:

ISO 14915 - Multimedia User Interface Design - Ergonomic Requirements for human-centred multimedia interfaces;

ISO 11064 - Ergonomic Design of Control Centres; ISO 13407 - Human-Centred Design Process for Interactive Systems.

O trabalho de definio de padres tem impacto direto no setor de desenvolvimento de software, por duas razes [SYSCON 99]:

os maiores fornecedores de software so grandes corporaes que atuam no mercado internacional. Por isso, as melhores e mais efetivas solues tm que ter aplicabilidade internacional;

a CEN Organizao de Padronizao Europia optou por adotar as padronizaes da ISO no mercado interno da Comunidade Econmica Europia. A padronizao da

CEN substitui padres nacionais na Unio Europia e nos pases membros da rea de Livre Comrcio Europia. Esta diretiva pode tornar-se uma dificuldade adicional no caso de empresas brasileiras exportadoras de software.

No setor de informtica, como nos demais setores da economia, perceptvel a tendncia de busca da conformidade dos sistemas da qualidade com as normas da srie ISO 9000. Dados da SEPIN Secretaria de Polticas de Informtica e Automao - [SEPIN 99], de fevereiro de 1999, apontam 166 empresas de informtica, das quais aproximadamente 40 atuando no desenvolvimento de software, com seus sistemas da qualidade auditados e em conformidade com a norma ISO 9001 ou 9002.

No requisito 4.20, demanda-se do fornecedor o estabelecimento de tcnicas estatsticas que mensurem a capacidade de processo [MARANHO 94] e, mais recentemente, os indicadores de satisfao dos clientes com relao aos produtos e servios fornecidos. A opo preferencial para suprir este requisito a adoo de questionrios de avaliao de satisfao ad-hocs que examinam critrios de qualidade definidos de forma heurstica pelas empresas.

A substituio destes critrios heursticos por princpios normativos, como os fornecidos pela ISO 9241-10, por exemplo, tende a permitir:

classificar os indicadores de satisfao obtidos: pode-se, alm de obter um indicador geral, determinar indicadores para cada princpio de dilogo descrito na norma (Adequao Tarefa, Auto-descrio, Controlabilidade, Conformidade com as Expectativas do Usurio, Tolerncia a Erros, Suporte Individualizao, Adequao ao Aprendizado);

determinar metas para os graus de satisfao globais e de cada princpio; atuar pontualmente: ao se detectar indicadores com grau de avaliao indesejveis,

pode-se buscar formas de atuao especfica sobre os critrios considerados insatisfatrios, de forma a reduzir as falhas;

abordagem metdica: a partir da correlao entre as partes da norma, pode-se buscar mecanismos para elevar os indicadores. Por exemplo, se o indicador de controlabilidade de um produto que utiliza a metfora de formulrios estiver abaixo dos nveis desejados, pode-se buscar amparo na parte 17 da norma, que trata de preenchimento de formulrios, para identificar as falhas apresentadas e alternativas de correo.

2 A IMPORTNCIA DA USABILIDADE PARA A SATISFAO DO USURIO

Os computadores tornam-se mais e mais importantes no espao de trabalho. To difundida quanto o prprio computador no dia-a-dia a idia que a informtica agiliza e facilita a execuo das tarefas originalmente manuais. No entanto, [EBERTS 94] relata estudos, que concluem que interfaces projetadas de maneira incorreta fazem com que essa no seja uma verdade absoluta. Por essa razo, algumas vezes a execuo de uma tarefa informatizada mais difcil e consome mais tempo :

[HANSEN 78] conclui que estudantes que fizeram provas informatizadas levaram, em mdia, o dobro do tempo que levariam para fazer o mesmo teste usando lpis e papel: questionados quanto razo do tempo extra, os estudantes responderam que o gastaram tentando descobrir como usar o computador.

[GOULD 81] analisando o trabalho de usurios de computador, chegou concluso que escrever uma carta em um processador de texto requeria, em 1981, at 50% a mais de tempo do que escrever mo.

Embora no sejam exatamente atuais, estes estudos colocam em questo a usabilidade do software moderno, concebido para ser utilizado com interface grfica e ser suportado por hardware dotado de maiores recursos. [PRUMPER 93] demonstra que a melhoria de usabilidade devido a simples evoluo tecnolgica no evidente. Em pesquisa baseada em um questionrio elaborado a partir da norma ISO 9241-10, 350 usurios de software na Alemanha expressaram suas opinies com relao utilizao de produtos com interface grfica e de outros, com interfaces tradicionais (modo caractere). Os resultados alcanados

pelos produtos com interface grfica deixaram muito a desejar, tendo tido avaliaes levemente superiores as interfaces tradicionais.

Considerando estes aspectos, evidente que a usabilidade uma necessidade elementar para sistemas de software interativo. Produtos com baixa usabilidade so, geralmente, responsveis por frustrao, ansiedade, baixa produtividade e, em casos extremos, por abandono do software [EBERTS 94]. [Cybis et Michel, 1999], por exemplo, demostraram ser significativas as interferncias na manifestao poltica dos eleitores brasileiros causadas por problemas de usabilidade na interface da urna eletrnica empregada nas eleies municipais de 1996.

3 AVALIAO DE USABILIDADE COMBINANDO SATISFAO DO USURIO E ISO 9241

O grau de satisfao dos clientes de empresas fornecedoras de software, pelo menos no que se refere ao produto, est ligado, tanto sua utilidade como ao grau de usabilidade do produto. Assim, os questionrios de avaliao da satisfao de clientes com relao a produtos de software devem investigar tambm, o grau de usabilidade percebida por seus usurios.

Este artigo apresenta uma proposta de avaliao de usabilidade de sistemas a partir da avaliao da satisfao de clientes da empresa Softplan Planejamento e Sistemas, de Florianpolis, fornecedora de um Sistema de Informaes Gerenciais destinado aos Departamentos de Estradas de Rodagem Nacional e Estaduais.

Diversos fatores propiciaram a realizao desta atividade junto Softplan:

o Sistema da Qualidade da Softplan j tem sua conformidade com a ISO 9001 reconhecida e certificada, e o processo de projeto e desenvolvimento padronizado e atende ao requisito 4.4 da Norma ISO 9001.

a aplicao de formulrios de avaliao de satisfao dos clientes j faz parte da cultura da empresa, estando de acordo com o item 4.10 da mesma norma;

os clientes esto geograficamente distribudos por vrias regies do pas, o que possibilita agregar avaliao influncias culturais distintas.

A estratgia incluiu a aplicao de questionrios para identificar o grau de satisfao dos usurios no que se refere aos princpios de dilogo previstos na parte 10 da norma ISO 9241 (Ergonomic Requirements for Office Work with Video Display Terminals VDTs: Dialogue Principles ). Posteriormente os indcios de problemas de usabilidade foram examinados com a ajuda de quesitos especficos de diversas partes desta norma ISO. Cronologicamente, foram realizadas as seguintes atividades:

identificao de um modelo de questionrio de avaliao; definio de uma amostra de usurios. anlise da satisfao do usurio inspeo baseada na norma ISO 9241

IDENTIFICAO DE UM MODELO DE QUESTIONRIO O modelo de questionrio teve que obedecer a alguns critrios mnimos:

possuir uma grande correlao com a norma usada e, preferencialmente ser dela derivado;

ser conciso e objetivo; j ter sido suficientemente aplicado anteriormente, tendo a validade de seus

resultados sido discutida e comparada com outras ferramentas de avaliao. Com base nestes critrios foram analisados os trabalhos de:

[NORMAN 89], que descreve o QUIS Questionnaire for User Interaction Satisfaction na Universidade de Maryland;

[OPPERMANN 97], que referencia o SUMI Software Usability Measurement Inventory desenvolvido como parte do Projeto MUSIC Metrics for Usability Standards in Computing do Programa ESPRIT;

[REITERER 93], que apresenta o EVADIS II Evaluation of User Interfaces uma verso aprimorada do questionrio voltado especialistas desenvolvido por Oppermann em 1988;

e, finalmente, [PRUMPER 99], que descreve brevemente o ISONORM 9241/10, baseado na norma ISO 9241-10.

O questionrio ISONORM foi o escolhido por melhor atender aos critrios definidos, especialmente, no que se refere validade dos resultados obtidos por este modelo de questionrio. No trabalho citado, Prmper compara os resultados obtidos por um grupo de 31 usurios que efetuaram duas avaliaes de um mesmo produto: uma usando o QUIS, outra o ISONORM. O trabalho conclui que o ISONORM, apesar de mais conciso, obteve resultados similares e uma correlao de 73% com o QUIS.

Este questionrio apresenta questes organizadas em sete divises, conforme os princpios de dilogo da ISO 9241-10 :Adequao Tarefa, Auto-descrio, Controlabilidade, Conformidade com as Expectativas do Usurio, Tolerncia a Erros, Suporte Individualizao, Adequao ao Aprendizado. Com o objetivo de reduzir o tempo de preenchimento do questionrio, para cada princpio foram definidas, no mximo, cinco questes. As respostas encontram-se entre dois plos, o esquerdo descreve o extremo negativo, e o direito, o positivo, conforme o exemplo mostrado a seguir.

O software --- -- - +/- + ++ +++ Requer muito tempo para aprender

x Requer pouco tempo para aprender

Tabela 1 Formato de questo colocada ao usurio Os conceitos atribudos pelos usurios avaliadores so transformados em notas de acordo com a seguinte equivalncia.

Conceito --- -- - +/- + ++ +++ Nota Equivalente 1 2 3 4 5 5 7

Tabela 2 Equivalncia nota x conceito IDENTIFICANDO A AMOSTRA DE USURIOS O Sistema de Informaes Gerenciais destinado aos Departamentos de Estradas de Rodagens Nacional e Estaduais, e rgos afins foi o escolhido entre os vrios projetos da empresa, por possuir a maior quantidade de mdulos. Assim, foram enviados questionrios para todos os usurios (em uma quantidade estimada de 200) situados nos Estados de Santa Catarina, Paran, Rio Grande do Norte, Bahia e Distrito Federal. Foram respondidos 31 questionrios, representando 15,5% do total enviado.

Os usurios responderam 5 perguntas para cada um dos princpios da norma [ISO9241-10 94]:

Adequao Tarefa: avalia se o software d ao usurio suporte suficiente para que as tarefas sejam executadas de maneira eficiente e efetiva;

Auto-descrio: Avalia se cada passo do programa imediatamente compreensvel atravs de feedback do sistema ou atravs de explicaes quando solicitadas;

Controlabilidade: : avalia se o software permite que o usurio inicie e controle a direo e o ritmo da interao;

Conformidade com as expectativas dos usurios: Avalia se o software consistente e corresponde s caractersticas individuais do usurio como tarefa, conhecimento, educao, experincia e convenes usualmente aceitas;

Tolerncia a Erros: avalia se o software atinge os resultados esperados apesar de erros evidentes na entrada, requerendo nenhuma ou mnima ao corretiva por parte do usurio;

Suporte Individualizao: avalia se o software facilmente modificado de forma a adequar-se s necessidades das tarefas do usurio, preferncias e experincia individuais;

Adequao ao Aprendizado: avalia se o software suporta e guia o usurio no aprendizado do uso do sistema.

Os grficos a seguir caracterizam o perfil dos usurios participantes da pesquisa conforme os seguintes aspectos:

experincia de uso do sistema: foram divididos em 3 categorias, segundo a experincia de uso do sistema, em meses at 6 meses 35% da amostra, de 6 a 18 meses 55 % da amostra, mais que 18 meses 10 % da amostra ;

freqncia semanal de uso do sistema: foram divididos em 3 categorias, segundo a carga horria semanal de uso do sistema at 8 horas 40% da amostra, de 8 a 20 horas 27 % da amostra, mais que 20 horas 33 % da amostra;

experincia na atividade: foram divididos em 3 categorias, segundo a experincia na atividade para a qual o sistema foi desenvolvido, em meses at 12 meses 31% da amostra, de 12 a 36 meses 24 % da amostra, mais que 36 meses 45 % da amostra.

ANLISE DA SATISFAO DO USURIO

Figura 1 Mdias das notas dadas aos critrios

Os dados das avaliaes tabulados, verifica-se que os usurios manifestaram-se sensivelmente favorveis a 3 aspectos dos produtos, que obtiveram mdias bastantes elevadas:

adequao tarefa, com mdia 6,10; conformidade com as expectativas do usurio: 6,00; adequao ao aprendizado, com mdia 6,03.

Contudo, alguns itens merecem estudo mais aprofundado visando interveno corretiva:

controlabilidade, com mdia 5,61. Este tipo de qualidade mais importante para sistemas on-line, cujos tratamentos podem ser demorados ou para sistemas cujas aes tenham uma estrutura sequencial extensa. Como os sistemas administrativos

avaliados no possuem estas caractersticas, as notas no to favorveis no denotam um impacto to importante na tarefa, podendo ser minimizadas;

tolerncia a erros, mdia 5,45. Este tipo de qualidade geral e requer maior ateno dos projetistas devido ao tipo de tarefa administrativa que os sistemas apoiam, onde a potencialidade de erros significativa;

Suporte individualizao, mdia 5,74. Esta qualidade importante para os usurios mais experientes na tarefa e na operao dos sistemas, sendo portanto necessria uma anlise mais afinada da distribuio deste percentual entre os tipos de usurios questionados;

Auto-descrio, com mdia 5,96: Este tipo de qualidade geral para qualquer tipo de aplicao e estilo de interface e, a exemplo da tolerncia a erros, requer uma ateno especial.

importante considerar o que dizem os que tm mais experincia na tarefa no que se refere ao suporte individualizao. Assim, a estratificao das mdias segundo os perfis dos usurios classificados por frequncia de uso semanal, experincia no uso do sistema (figura 2 e 3) demonstra uma tendncia importante de melhoria nas mdias de avaliao.

Figura 2 Mdias das notas estratificadas por experincia no uso do sistema

Figura 3 Mdias das notas estratificadas por freqncia de uso

Observa-se que quem usa mais o sistema o considera mais conforme a suas expectativas, mais personalizvel e mais adequado tarefa. Mas o acha menos tolerante a erros, menos controlvel e com feedback no to bom. Se estas so dimenses no to bem colocadas no mbito geral, este quadro confirma ainda mais a necessidade de trat-las de forma prioritria nas revises dos sistemas.

Figura 4 Mdias das notas estratificadas por experincia na atividade

evidente que quem tem mais experincia no programa o conhece melhor, devendo ter suas observaes levadas em conta de forma especial. Neste caso, importante saber que estas pessoas consideraram melhor as qualidades de conformidade com as expectativas do usurio e de adequao tarefa, que representam importantes qualidades de operao. J estas mesmas pessoas acham que o sistema no est no mesmo nvel no que se refere controlabilidade, ao feedback e tolerncia a erros.

Conforme as estratificaes realizadas, verifica-se que as dimenses controlabilidade, auto-descrio e tolerncia a erros foram no to bem avaliadas pelos usurios mais freqentes e experientes na operao dos sistemas. Considerando que a dimenso de controle no tenha um impacto to grande em sistemas administrativos, as qualidades de feedback e de tolerncia a erros deveriam ser as priorizadas nas futuras revises dos sistemas.

INSPEO BASEADA NA NORMA ISO 9241 Na sequncia do estudo, elaborou-se uma matriz de correlao que associa cada questo do ISONORM com os quesitos das partes 12, 13, 14, 15, 16 e 17 da norma. Como sua estrutura sugere, para cada questo ISONORM foram listados os quesitos de diferentes partes que devem ser aplicados em uma inspeo tcnica detalhada dos sistemas.

Verificar os seguintes itens da parte: Para a questo 12 13 14 15 16 17 Oferece poucos recursos para automatizar tarefas repetitivas?

4.3 6,9 7.7

Pequenos erros podem ter conseqncias severas?

9.2.3 9.2.5

6.6

Tabela 3 Relao questo x quesito da norma ISO 9241

Assim, se a pergunta Pequenos erros podem ter conseqncias severas? obtiver uma avaliao negativa, deve-se aplicar uma inspeo a partir dos critrios 9.2.3 e 9.2.5 da parte 13 da norma, e 6.6 da parte 15.

A elaborao desta matriz resultou da anlise emprica tanto das questes ISONORM como dos quesitos das diversas partes da norma ISO 9241. A estrutura final selecionou 183 quesitos da norma, que associados s questes ISONORM geraram um checklist de 278 itens de inspeo.

O item Tolerncia a Erros, cujas questes obtiveram os menores graus de satisfao na pesquisa realizada, apontaram os critrios que posteriormente foram utilizados na inspeo do produto da Softplan. Verificou-se primeiramente a aplicabilidade do critrio ao sistema e, posteriormente, a aderncia do sistema ao quesito. As falhas identificadas atravs da aplicao dos quesitos da norma ISO 9241, foram em sua maioria de fcil soluo, j que originam-se de caractersticas no implementadas, ou insuficientemente implementadas, na toolkit desenvolvida pela empresa.

4 CONCLUSES

O estudo realizado parece indicar que as boas prticas ergonmicas adotadas pela empresa influenciam positivamente no grau de satisfao dos usurios dos produtos. De fato, [ROSA 99] mencionou que entre as prticas normais da empresa, no que se refere ao projeto de produtos de software, destacam-se:

a elaborao de um guia de estilo da organizao permeado por preocupaes ergonmicas;

os sistemas so desenvolvidos a partir de uma biblioteca de classes reutilizveis construda pela prpria empresa. A elaborao destas classes cercada de cuidadosos estudos ergonmicos [ROSA 99]. Este aspecto particularmente interessante porque permite avaliar o quanto esta forma de desenvolvimento influencia positivamente na satisfao dos clientes.

aplicao de um checklist ergonmico no projeto da interface de utilizao; desenvolvimento de prottipos com validao junto ao usurio.

A forma de avaliao aqui apresentada mostrou-se til e prtica, permitindo atingir os objetivos de:

servir como uma ferramenta de levantamento do grau de satisfao do usurio; estabelecer como melhorias prioritrias exatamente os pontos considerados menos

satisfatrios por parte dos usurios.

partir das falhas apontadas pelos usurios para o processo de identificao de causas e interveno corretiva baseada na norma ISO 9241.

5 REFERNCIAS BIBLIOGRFICAS

CYBIS, W.A. e MICHEL, G., 1999, Avaliao ergonmica da urna eletrnica: II Workshop de fatores humanos e sistemas informatizados, Campinas, SP

EBERTS, R. 1994. User interface design. New Jersey: Prentice-Hall, 1994.

GOULD , J. 1981. Composing letters with computer-based text editors. Human Factors, 23, p. 831-833, 1981.

HANSEN, W.; DORING, R.; WHITLOCK, L., 1978 . Why an examination was slower on-line than on paper. International Journal of Man-Machine Studies, 10, p. 507-519, 1978.

ISO. ISO 9241-10: ,1994 Ergonomic requirements for office work with visual display terminals (VDTs) dialogue principles. Zurique, 1994.

MARANHO, M. ,1994 . ISO srie 9000: manual de implementao. 2. ed. Rio de Janeiro: Qualitymark, 1994.

NORMAN, K.; SHNEIDERMAN, B. , 1989. Questionnaire for user interaction satisfaction (quis 5.0). EUA: Universidade de Maryland, HCI-Lab, 1989.

OPPERMANN, R.; REITERER, H. 1997. Software evaluation using iso 9241 evaluator. Behaviour & Information Technology, v.16, n. 4/5, p. 232-245, 1997.

PRUMPER, J., 1993 . Software-evaluation based upon ISO 9241 part 10. In: Vienna Conference, VCHCI93. Viena: 1993.

PRUMPER, J., 1999 . Test it: isonorm 9241/10. In: HCI International 99. 1999. Ainda no publicado cpia gentilmente cedida pelo Dr. Prumper.

ROSA, M., 1999 . Consideraes ergonmicas na elaborao de guias de estilo uma ferramenta de apoio concepo / projeto de formulrios. Florianpolis, 1999. Dissertao de Mestrado apresentada ao Programa de Ps-graduao em Engenharia de Produo da UFSC.

SEPIN, 1999. EMPRESAS do setor de informtica com certificao. Braslia: MCT, Secretaria de Poltica de Informtica e Automao, 1999. http://www.mct.gov.br/sepin/dsi/qualidad/ISOinfor.htm. Consultado em 06/06/1999.

STEWART, T., 1995 .Display screen ergonomics. Londres: System Concepts, 1995.

SYSCON, 1999, Standards & Legislation. System Concepts, Londres, v. 5, n. 4, 1999.