montando questionários para medir a satisfação do ... · tÉcnicas de interaÇÃo...

IHC 2008 I Artigos Completos 21-24 Outubro I Porto Alegre - RS, Brasil

Montando questionários para medir a satisfação dousuário: Avaliação de interface de um sistema que utiliza

técnicas de recuperação de imagens por conteúdoAna Lúcia Filardi

Embrapa Monitoramento por SatéliteAv. Soldado Passarinho, 303

13070-115 - Campinas, SP - [email protected]

+55 19-3211-6200

ABSTRACTAn attractive and intuitive design of the human-computerinterface is essential to the success of any computationalsystem. Content-based image retrieval (CBIR) systems areinherently interactive. However, little attention has beenpaid to their interfaces. A major difficulty for designing theinterface of these systerns is to ally high quality means tointegrate the querying on the images and the presentationand handling of the results. The goal of this paper was toanalyze the user interaction in CBIR systems regardingtheir functionality and usability. This was achieved byfollowing the actual interaction ofusers while workíng witha CBIR system. This task allowed us to suggest aquestionnaire that can properly reflect the evaluated aspectsof the users lnteraction regarding their satisfaction degree.This result can help on improving the development of newCBIR systerns, which are a valuable tool in medicalsysterns.

RESUMOO design intuitivo e atraente da interface com o usuário éessencial para o sucesso de qualquer sistemacomputacional. Dentro do escopo de sistemas CBIR(Cantem-Based Image Retrievaiy; que são sistemasinerentemente interativos de recuperação de imagensbaseada em conteúdo, a interface do usuário ainda é umelemento constituído de pouca pesquisa e desenvolvimento.Um dos maiores obstáculos para a eficácia de design dessessistemas consiste da necessidade em prover aos usuáriosuma interface de alta qualidade na formulação de perguntase exibição dos resultados. O objetivo principal destetrabalho visou analisar a interação do usuário em sistemas

Permission to make digital or hard copies of ali or part of t1tis work forpersonai or classroom use is granted witltout fee provided t1tat copies arenot made or distributed for profrt or commercial advantage and that copiesbear t1tis notice and t1te fuJl citation on lhe first page. To copy otherwise,or republish, to post on servers or to redistribute to lists, requires priorspecific permission andIor a fee.IHC 2008 - VlJI Simpôsto Sobre Fatores Humanos em SistemasComputacionais. October 21-24, 2008, Porto Alegre, RS, BraziJ.Copyright 2008 SBC. ISBN 978-85-7669-203-4

Agma Juci Machado TrainaUniversidade de São Paulo

Av. do Trabalhador São-Carlense, 4013560-970 - São Carlos, SP - Brasil

[email protected]+55 16-3373-9693

CBIR em relação à funcionalidade e usabilidade por meioda interação de usuários reais dentro do domínio daaplicação e propor questionário que reflita fielmente ospontos avaliados. Para alcançar esse desafio, a interaçãohumano-computador foi avaliada, adotando técnicas dequestionamento a fím de mensurar a satisfação do usuárioem relação ao uso do sistema.

Author KeywordsHuman-computer interaction, HCI, evaluation, QUIS,CBIR.

ACM Classification KeywordsH.S.2 [lnformation Systems]: User Interfacesevaluaüon/methodology, user-centered designo

INTRODUÇÃOA interação da ciência da computação com diversas áreasda pesquisa científica vem crescendo muito nos últimosanos e contribuindo com novos desafios. A medicina é umadas áreas beneficiadas tomando o diagnóstico médico e aevolução dos tratamentos cada vez mais precisos eeficientes [l]. Para dar suporte a diagnósticos, imagens deexames gerados por meio de equipamentos médicos têmsido incorporadas nos Sistemas de InformaçõesHospitalares (SIH), visando consolidar em um só sistema asinformações dos pacientes.

O interesse em utilizar imagens nos diagnósticos vemimpulsionando o desenvolvimento de novas técnicas que sepreocupam com a recuperação desses tipos de dados. Nessesentido, as consultas por similaridade tomam-se muitointeressantes, pois, ao analisar uma imagem, o usuário podedesejar recuperar as imagens mais semelhantes a ela com oobjetivo de efetuar cruzamentos entre diagnósticos etratamentos já realizados e auxiliar o profissional da áreamédica na elaboração de laudos e novos diagnósticos.Geralmente, para recuperar tais dados, as consultas sãorealizadas por meio de critérios de similaridades baseadosnas caracteristicás intrínsecas extraidas das imagens, ouseja, em seu conteúdo. Para isso, o sistema deve prover uma

176

IHC 2008 , Artigos Completos

interface interativa e intuitiva para facilitar a recuperação eexibição desses dados.

Este trabalho teve como objetivo analisar a interação dousuário em sistemas CBIR e avaliar sua funcionalidade eusabilidade, aplicando técnicas de questionamento a fim deidentificar abordagens promissoras no desempenho esatisfação dos usuários.

TÉCNICAS DE INTERAÇÃO HUMANO~OMPUTADORUm bom design de interface de usuário deve prover umainteração fácil, natural e atraente entre o usuário e osistema. A área da computação que estuda como as pessoasinteragem com os sistemas computacionais denomina-seInteração Humano-Computador, do inglês Human-Computer Interaction (HCI), e baseia-se em estabelecertécnicas e guias mestras para projetar e desenvolverinterfaces com o usuário que alcancem alta usabilidade,permitindo que o usuário possa realizar suas tarefas comsegurança, de maneira eficiente, eficaz e com satisfação.

Esses aspectos são conhecidos como usabilidade e sãoaplicados para medir o desempenho (eficácia e eficiência) ea satisfação do usuário, a fim de determinar quanto umproduto é usável dentro de um contexto particular [2].

As medidas de usabilidade refletem os resultados dainteração dos usuários com O sistema proposto. Os dadosrelacionados a cada componente de usabiJidade podem serobtidos a partir de medidas objetivas ou subjetivas:

• Medidas objetivas: são medidas de observação direta,tipicamente em relação ao desempenho do usuário naexecução de testes enquanto usa a interface. As medidasobjetivas podem prover dados como medidas de tempo,velocidade ou ocorrência de eventos particulares [3].

• Medidas subjetivas: representam opiniões, usualmentedos usuários, no que diz respeito à usabilidade dainterface. Respostas subjetivas provêm dados queexpressam sentimentos, crenças, atitudes e preferênciasdos usuários [3].

Enquanto que as medidas objetivas fornecem indicaçõesdiretas de eficácia e eficiência do comportamento dousuário, as medidas subjetivas estão relacionadasdiretamente com a satisfação do usuário, derivadas dasopiniões que os usuários expressam sobre seus trabalhos eseus resultados. Entretanto, a satisfação também pode serinferida por medidas objetivas do comportamento dousuário, assim como as estimativas de eficácia e eficiênciapodem ser derivadas de opiniões subjetivas expressadaspelos usuários.

A escolha das medidas depende dos objetivos e do contextoem que a avaliação está inserida, pois freqüentementepossuem diferenças significativas dos tipos de usuários,tarefas Ou ambientes. Normalmente, é necessário fornecerpelo menos uma medida para estimar a eficácia, eficiência esatisfação.

21-24 Outubro IPorto Alegre - RS, Brasil

EficáciaAs medidas de eficácia estão relacionadas a acurácia ecompletude com que os usuários atingem objetivosespecíficos [2]. A acurácia pode ser especificada ou medidapela quantidade de erros, enquanto que a completude pelocumprimento da tarefa a ser realizada, ou seja, pelaproporção que a tarefa foi alcançada,

EficiênciaAs medidas de eficiência relacionam o nível de eficáciaalcançada no dispêndio de recursos, como esforço mentalou fisico, tempo, custos materiais ou financeiros [2]. Ouseja, a eficiência é medida atribuindo o nível de eficáciaalcançada com os recursos usados. Por exemplo, aeficiência temporal pode ser definida como a proporçãoentre a medida de eficiência em alcançar um objetivoespecífico e o tempo para alcançar tal objetivo.

SatisfaçãoA satisfação é uma resposta do usuário na interação com oproduto. Permite medir a extensão pela qual os usuáriosestão livres de desconforto e as atitudes em relação ao usodo produto [2]. A satisfação pode ser especificada e medidapela avaliação subjetiva em escalas de desconfortoexperimentado, gosto pelo produto, satisfação com o uso doproduto, aceitação da carga de trabalho quando realizamdiferentes tarefas ou a extensão com os quais objetivosparticulares de usabilidade foram alcançados. Outrasmedidas de satisfação podem incluir o número decomentários positivos e negativos registrados durante o usodo produto.

A satisfação pode ser avaliada ou estimada através demedidas subjetivas ou objetivas. Medidas objetivas podemser baseadas na observação do comportamento do usuáriocomo, por exemplo, a postura corporal, movimento docorpo, freqüência de distração ou através do monitoramentode respostas psicológicas do usuário. As medidas subjetivasde satisfação são adquiridas quantificando subjetivamente aintensidade das reações, atitudes ou opiniões expressadaspelo usuário. Esse processo de quantificação pode sercorrespondente à intensidade de seus sentimentos ouclassificando produtos na ordem de preferência ouatribuindo uma escala de atitudes baseada em questionário.

O grande desafio em projetar sistemas para pessoas usaremé sabcr como fazer a transição do que pode ser feito(funcionalidade) para como deve ser feito (usabilidade),buscando alcançar as necessidades e os objetivos dosusuários. Desse modo, avaliações da interaçãohumano-computador são necessárias para verificar se asidéias dó projetista são realmente o que os usuáriosnecessitam ou desejam. É essencial que os projetistas deinterface saibam porque é importante avaliar, o que avaliare quando avaliar [4].

Pode-se dizer que a avaliação possui três objetivosprincipais [5]:

177

IHC 2008 I Artigos Completos

• avaliar a funcionalidade do sistema;

• avaliar o efeito da interface junto ao usuário; e

• identificar problemas específicos do sistema.O primeiro objetivo visa avaliar a eficiência do sistema naexecução das tarefas pelo usuário. O design da interfacedeve permitir que o usuário efetue a tarefa pretendida demodo fácil e eficiente. Esse tipo de avaliação envolve medira performance do usuário em relação ao sistema. O segundoobjetivo da avaliação é medir o impacto do design junto aousuário, levando em consideração os aspectos da facilidadede aprendizado do sistema (learnability), sua flexibilidade(flexibiltty), bem como sua robustez (robustness). O últimoobjetivo da avaliação requer identificar problemasespecíficos do design, verificando os aspectos usados nocontexto do design que ocasionam resultados inesperadosou confusos para os usuários.

Vários métodos e técnicas têm sido propostos para avaliar ainteratividade de sistemas. Muitas dessas técnicas deavaliação são analíticas e envolvem o julgamento deespecialistas em HeI para estimar o impacto do design emrelação a um usuário típico. Essas técnicas baseiam-se nosprocessos cognitivos e nos princípios de usabilidade. Pornão requerer o envolvimento de usuários, esses métodos sãoconsiderados relativamente baratos. No entanto, nãoestimam o uso real do sistema, somente preservam osaspectos relacionados à usabilidade da interface e, por isso,são conhecidos como inspeção de usabilidade [6).

Essas técnicas são úteis para filtrar e refinar o design,porém não substituem os testes com pessoas para as quaisos sistemas foram projetados, que são os usuários. Asavaliações de design centrado no usuário tem comopremissa básica que as necessidades dos usuários devem serlevadas em conta durante todo o ciclo de desenvolvimentodo projeto [4). Essas abordagens de avaliação com aparticipação do usuário são conhecidas como testes deusabilidade.

Os testes de usabilidade são métodos de avaliação centradosno usuário e têm o objetivo de auxiliar como o design podeser melhorado durante o seu desenvolvimento e avaliar aqualidade global da interface utilizando-se medidas deperformance. Os testes de usabilidade determinam medidasquantitativas de desempenho que são importantes paraavaliar se os objetivos de usabilidade foram atendidos, paracomparar produtos competitivos e para realizar pesquisasem fatores humanos.

Em geral, os testes de usabilidade são considerados comoos métodos mais eficazes em detectar problemas maisgraves, porém são também os mais caros.

TÉCNICAS DE QUESnONAMENTOAs técnicas de questionamento são aplicadas nos testes deusabilidade, que envolvem a participação efetiva do usuárioe constituem em perguntar diretamente ao usuário sobre ainterface com o objetivo de descobrir se o sistema está de

21-24 Outubro I Porto Alegre - RS, Brasil

acordo com as suas necessidades. Essas técnicas podem serúteis para extrair detalhes do ponto de vista do usuário emrelação ao sistema Normalmente, são utilizadas paracoletar informações sobre as necessidades dos usuários epodem revelar resultados que não teriam sido consideradospelo designer. Além disso, é um método relativamentesimples, barato de administrar e provê materiaissuplementares úteis para serem usados por outros métodos.

As principais técnicas de questionamento são entrevistas equestionários [6). Tais técnicas provêm dados sobre apreferência dos usuários, porém diferem no tipo depreparação requerida, no estilo de apresentação e naflexibilidade das respostas. Os dados coletados nasentrevistas tendem a ser qualitativos enquanto que osquestionários são geralmente quantitativos. Osquestionários também oferecem a vantagem de atingir umgrande número de pessoas, podendo obter resultadosestatísticos significantes [7).

QUeSTIONÁRIOSA aplicação de questionário é uma técnica bem estabelecidade coleta de dados demográficos e de opiniões de usuários.Os questionários podem ser utilizados isolados ou emconjunto com outros métodos de avaliação, a fim deesclarecer ou aprofundar algum assunto. Também podemser aplicados em várias fases do processo de design,incluindo o levantamento de requisitos, análise e avaliaçãodas tarefas.

Todavia, os questionários devem ser bem elaborados.Deve-se estabelecer qual o propósito do questionário, comoas respostas serão analisadas e especificar quais as variáveisa serem mensuradas. Deve-se assegurar que as perguntassejam claras e que os dados coletados possam ser analisadosadequadamente. É prudente realizar um estudo piloto antesde aplicar efetivamente o questionário para checar se asquestões são compreensíveis e os resultados são osesperados [6). Isso permite corrigir qualquer problema coma estruturação do questionário antes de ser aplicado.

Geralmente, as respostas obtidas nos questionários sãoconvertidas em valores numéricos e são realizadas análisesestatísticas. Média e desvio padrão são as principaismedidas estatísticas usadas nas análises da maioria dosdados da pesquisa Se houver a necessidade de utilizartécnicas mais avançadas deve-se ter o auxilio de umestatístico durante a fase de planejamento e elaboração dosquestionários.

Outro uso bem conhecido dos questionários é o estudo"antes e depois" do desempenho do usuário. Alguns temassão elaborados em forma de questionário para extrair asexpectativas do usuário ou testar seu desempenho antes deser realizada uma experiência em particular. Então, depoisda experiência, o mesmo questionário é novamenteaplicado. Esses tipos de questionários, conhecidos como prée pós-questionários, são capazes de identificar como a

178

IHC 20081 Artigos Completos

atitude e o desempenho dos usuários podem mudar deperspectiva [7].

COLETANDO DADOS DA AVALIAÇÃOA utilização de questionários para coleta de dados duranteas sessões de avaliação possui as seguintes vantagens:

• todas as questões que precisam ser perguntadas podemser descritas no questionário, diminuindo a chance deesquecer de coletar algum dado importante;

• todos os participantes recebem as mesmas questões,possibilitando comparar as respostas entre osparticipantes diferentes; e

• pode coletar tanto dados quantitativos como qualitativos.A avaliação subjetiva é um componente importante nasavaliações de usabilidade. Essa preocupação levou aodesenvolvimento e padronização de alguns instrumentosgerais para avaliação de usuários em sistemas decomputadores interativos. Esses instrumentos sãocompostos de questionários que possuem uma abordagemhierárquica de fatores de usabilidade, onde os dados sãoarmazenados e analisados. Métodos de testes psicológicossão aplicados para assegurar uma validação empírica dositens e estimar sua confiabilidade. Tem como propósito:

• orientar o design ou re-design de sistemas;

• oferecer uma ferramenta para estimar áreas potenciais demelhorias de sistemas;

• prover um instrumento de validação para conduziravaliações comparativas; e

• servir como um instrumento de teste em laboratórios deusabilidade.

Vários questionários estão disponíveis como parte daavaliação de usabilidade, tanto para uso acadêmico comopessoal. Os questionários de avaliação de usabilidade maisconhecidos e que mais se destacam como produtoscomerciais são [4, 8]:

• QUISl (Questionnaire for User Interaction Satisfaction);

• SUMI2 (Software Usability Measurement Inventory);

• WAMMI3 (Website Analysis and MeasurMentInventory); e

• SUs4 (System Usability Scale).

Todos esses tipos de questionários são úteis, porémpossuem propósitos diferentes.

1 http://lap.umd.edulQUIS/

2 http://sumi.ucc.ie

3 http://www.wammi.com

4 http://www.mindd.com

21-24 Outubro 1 Porto Alegre - RS, Brasil

QUISO QUIS é uma ferramenta que foi desenvolvida por umaequipe multidisciplinar de pesquisadores do Human-Computer Interaction Laboratory (HCIL) da University ofMaryland, com a finalidade de estimar a satisfaçãosubjetiva dos usuários focando aspectos específicos dainterface humano-computador.

Foi estruturado de maneira modular e organizadohierarquicamente, podendo ser configurado de acordo comas necessidades de análise de cada interface, podendoincluir somente as seções que são de interesse do usuário[9]. Cada sessão especifica alguns pontos de interesse dainterface. Foi projetado para medir a satisfação global dosistema, abordando 11 fatores especfficos de interface:fatores da tela, terminologia e feedback do sistema, fatoresde aprendizagem, capacidade do sistema, manuais técnicos,tutoriais on-line, rnultimfdia, reconhecimento de voz,ambiente virtual, acesso a internet e instalação do software.

As questões são apresentadas na forma de afirmaçõesutilizando as escalas de diferencial semântico, quebaseiam-se em explorar uma faixa de atitudes bipolaresrepresentada por um par de adjetivos. As questões sãorespondidas em uma escala que varia de O a 9, onde o zerorepresenta um adjetivo negativo e os demais representamadjetivos positivos. Por ser um questionário geral utilizadopara uma ampla variedade de produtos, também inclui aopção N/A (não-aplicável). A Figura 1 mostra um exemplode uma questão com escalas de satisfação específica.

L QUIS ~

~ensqueaparecemnatela~

Figura 1. Exemplo de uma questão do QUIS que utiliza escalade diferencial semântico.

O QUIS tem demonstrado alta eficácia e confiabilidade,sendo um dos questionários de usabilidade maisamplamente empregados na avaliação de interfaces.Embora tenha sido desenvolvido para avaliar a satisfaçãodo usuário, é freqüentemente aplicado a outros aspectos dodesign de interação. Tem como vantagem ter passado porvários ciclos de qualificação e ter sido utilizado porcentenas de estudos de avaliação. Trata-se, portanto, de uminstrumento bem experimentado e testado.

SUMIO SUMI foi desenvolvido peJo Human Factors Group(HFC) da University College. É um método consistente paraestimar a qualidade do software do ponto de vista dousuário fmal e pode ajudar na detecção de falhas deusabilidade antes de um produto ser lançado. É um métodorigorosamente testado e comprovado. E apoiado por umaextensa base de dados embutida em uma ferramenta deanálise efetiva e geração de relatórios.

Tem sido utilizado eficazmente para [10]:

• estimar novos produtos durante a avaliação do produto;

179

IHC 2008 IArtigos Completos

• comparar produtos ou versões de produtos;

• estabelecer metas para desenvolvimento de aplicaçõesfuturas;

• definir metas para a qualidade de uso; e

• destacar bons e maus aspectos da interface.Consiste de 50 questões de afirmações escalarescorrespondentes a três níveis: "concordo", "não sei" e "nãoconcordo", como mostra a Figura 2.

SUMI Concordo Não sei Nãoconcordo

As mensagens de prevenção de [ I [ I [ Ierro não são adequadas

Figura 2. Exemplo de uma questão do SUMI.

O SUMI tem sido normalizado por uma base de dadossubstancial de resultados, permitindo que o software deanálise possa comparar, dentro de uma escala global, apercepção da qualidade de uso e medir, dentro de umasub-esca1a, aspectos da satisfação do usuário referentes aosfatores de eficiência, preferência, utilidade, controle efacilidade de aprendizagem.

WAMMIO WAMMI é um serviço exclusivo para avaliação deWebsites on-Iine, com o propósito de ajudar os proprietáriosdo site a cumprir suas metas corporativas através damedição e monitoramento das reações do usuário sobresuafacilidade de uso. Através de um botão colocado no site,é disponibilizado um questionário com a estrutura de umformulário para ser preenchido. Os dados do questionáriosão armazenados e analisados a partir de uma base de dadospadronizada com escores normalizados. São utilizados paraavaliar os seguintes aspectos: atratividade, controle,eficiência, utilidade, aprendizagem e usabilidade global.

O WAMMI tem como objetivo [11]:

• medir a satisfação do usuário sobre o site baseado nareação do usuário;

• gerar dados objetivos de gestão em um formato fácil deentender;

• prover uma base para mudanças do Website e melhoriasde design;

• comparar seu site em relação aos demais em termos desatisfação do usuário; e

• acompanhar o desempenho do Website para verificar seas metas estão sendo cumpridas.

O WAMMI iniciou em 1996 como um serviço comercialpara análise de Website, visando apresentar um relatóriocom rapidez e objetivo sobre quem visitou o site, o queacharam e o que precisa melhorar. Atualmente, com foconos mercados globais, as reações e opiniões dos usuáriosvariam entre os diferentes países, WAMMI é


freqüentem ente utilizado internacionalmente e estádisponível na maioria dos idiomas europeu.

O serviço de análise de Website WAMMI é constituído porum questionário contendo 20 afirmações e uma única basede dados internacional. Um relatório eletrônico é geradoautomaticamente pelo servidor no final de um periodo deavaliação, que inclui:

• uma medida objetiva das reações do usuário para seuWebsite:

• perfil do usuário WAMMI;

• um mapeamento da análise do visitante incluindo asprincipais razões pelas quais os usuários visitam seu site;

• uma análise de melhoria do site;• uma análise estatística e tabulações cruzadas; e

• dados numéricos para análises posterior.

SUSO SUS foi desenvolvido como parte do programa deengenharia de usabilidade integrado a Digital EquipmentCo Ltd., localizado em Reading, no Reino Unido. É umquestionário simples que aborda uma visão global deestimativas subjetivas de usabilidade. As questõesconsistem em 10 afirmações que utilizam o formato daescala Likert, onde é mensurada a intensidade deconcordância dentro de uma escala de cinco pontos.Abaixo, a Figura 3 apresenta um exemplo de uma questãodo SUS na escala Likert.

SUSDiscordo Concordo

fortemente fortemente

Achei o sistema fácil de usar

2 3 4 5

Figura 3. Exemplo de uma questão do SUS que utiliza escalaLikert:

Esse questionário provê um alto nível de subjetividade e éfreqüentemente usado para comparação de usabilidade entresistemas. Tem se mostrado como uma ferramenta valiosa deavaliação, por ser robusta, confiável e por correlacionarbem com outras medidas subjetivas de usabilidade [12].

O SUS tem sido disponível gratuitamente para uso emavaliações de usabilidade e tem sido utilizado em umavariedade de projetos de pesquisa e avaliações na áreaindustri alo

CONDUZINDO A SESSÃO DA AVALIAÇÃOCada design requer um modo diferente de avaliação paraser empregada dentro do seu próprio contexto,conseqüentemente, a escolha do método mais apropriadoimplica em um estudo detalhado de cada designo Em geral,uma ou mais técnicas são adotadas para atender àsnecessidades específicas da interface a ser avaliada. Cadamétodo possui suas potencial idades e limitações e cada qualtem sua utilidade quando aplicado adequadamente.

180


Parte da avaliação foi analisar os questionários deusabilidade disponíveis e escolher, compor e adaptar astécnicas a partir de um conjunto disponível para seraplicado em sistemas CBIR. Tal avaliação foi baseada emum estudo de caso aplicado à medicina para auxiliar omédico no processo de diagnóstico, visando melhorar ainteração humano-computador.

Os Slli's vem proporcionando a integração de todas asinformações dos pacientes dentro do ambiente hospitalarcom imagens médicas dos pacientes, provenientes deexames gerados por equipamentos médicos, tal comoRessonância Magnética (RM), Medicina Nuclear (MN),Tomografia Computadorizada (CT), etc. Desse modo, osdiagnósticos podem ser efetuados utilizando as descriçõestextuais e tendo o apoio visual das imagens dos examesmédicos.

Para análises médicas é importante cruzar diagnósticospreviamente realizados e comparar imagens de exames depacientes, a fim de comparar casos anteriores ou verificar odiagnóstico efetuado. Dificilmente imagens de dois examesmédicos serão exatamente iguais, mesmo se as anomaliastiverem a mesma classificação. Assim, é muito maisinteressante realizar consultas em que as imagens sejamsimilares à do paciente em estudo. Nesse caso, o critériomais adequado para ser usado é o da semelhança, queutiliza como chave de busca a própria imagem.

Para obter um auxilio efetivo à recuperação de imagens einformações de pacientes de maneira rápida edescentralizada, as técnicas CBlR têm sido incorporadasnos sistemas médicos [13, 14].

Sistemas que utilizam técnicas CBlR propiciam oarmazenamento e manipulação de grandes volumes dedados e imagens e processam operações de consultas deimagens a partir de características visuais extraídasautomaticamente por meio de métodos computacionais e aointeresse de recuperar informações visuais de maneiraeficiente e precisa

As principais ferramentas conceituais utilizadas nossistemas CBIR são denominadas consultas por similaridadee são realizadas a partir do significado do conteúdo doobjeto, ao invés das informações descritivas associadas àsimagens. A comparação de imagens por similaridade éessencial para tratar dados complexos e capturar o que háde mais representativo a fim de extrair informação que asrepresente de modo mais fiel.

Um sistema CBIR consiste de três fases de procedimentos,que incluem: processamento de imagens, extração devetores de características e indexação [15]. A Figura 4apresenta uma visão geral de um sistema CBIR.


Sistema de Recuperaçlo de Imagenspor ConteiKlO

----Figura 4. Visão geral de um sistema CBIR

Este trabalho utilizou o protótipo "MRI Browser"(Magnetic Resonance Imaging Browser) que incorporatodas as funcionalidades de um sistema CBIR e permiterealizar tanto consultas textuais como por conteúdo.

O MRl Browser é um sistema de navegação desenvolvidopelo Grupo de Base de Dados e Imagens (GbdI) do Institutode Ciências Matemáticas e de Computação (ICMC) daUniversidade de São Paulo (USP), que consiste em umaferramenta útil e prática para recuperar imagens similaresbaseadas em seu conteúdo, utilizando-se de uma coleção deimagens de modalidade médica para auxiliar o usuáriomédico em seus diagnósticos.

A Figura 5 exibe o resultado de uma consulta por imagenssimilares efetuada no protótipo MRI Browser, que ilustraum conjunto de miniaturas (thumbnails) das imagens quemais satisfizeram o critério de busca tendo como referênciaurna imagem de interesse selecionada pelo usuário.

----.::.[:::.1

Figura 5. Resultado da consulta por similaridade a partir deuma dada imagem de referência.

O protótipo MRl Browser foi utilizado para explorar ainterface e avaliar a sua funcionalidade e usabilidade,aplicando técnicas de HCI, a fim de resolver algumasquestões específicas relacionadas à recuperação de imagenssimilares a uma dada imagem de referência, empreendidasapenas no processo que auxilia o médico em seusdiagnósticos. Desse modo, para atender às necessidadesparticulares desse trabalho, parte dessa avaliaçãocompreendeu a utilização da técnica de observação dousuário que apresenta bons resultados práticos de testescom o usuário real.

181


A observação do usuário é um modo simples para obterinformação sobre o uso real da interação do usuário com osistema Nessa avaliação, os usuários foram solicitados acompletarem uma série de tarefas pré-determinadas, sendoobservados por um avaliador no cumprimento por completode suas obrigações rotineiras, prestando atenção em suasações e registrando-as.

A avaliação constitui da aplicação de dois questionários, umquestionário antes do teste, denominado pré-sessão, paraobter um feedhack do perfil e formação do usuário e umquestionário pós-sessão para obter um background dossentimentos do usuário em relação ao uso do sistema.

Participante nO: __

Questionário1. Sexo: [1-

[ IMasaJIino

2. FaiJOIcIolda<le: [ [até 17..,.[ 118a24:11O&[ 125a44:11O&[ l45a64..,.[ Iacima de 65 ...,.

3. Gtou cio i1struçio:[[~""""""",,. Especiaidade:

T~ cio aIuaçào:[ ISI4>erior inoon1>Iet<>. ~:

4. Exporiincia em infonnótica: Froqüência de uso

Ilária ~ EvonIuaI Nooca

Uso do _ médioos iltJrrnalizados [ I [ I [ I [ [Uso do 00IT8i0 _ (&<nais) [ I [ I [ I [ IUso de _ (por ••. pa;qIisa. ciwrdo) li [ J I J I JUso do editores do texto (por ex. Wad) eIoo

[ J [ J li [ JpIar1I1as _ (por ex. ExoeI)

5. ConhecImo'*> cio ingua ~ Pouco ~ Bem

Compr- I J II [ JFala [ J [ J [ JLê [ I [ I [ JEscreve [ J [ J [ I

6. O quo voei _ cio um siot8ma para auxiliar o dlagn6stloo _. quo 111mo objotivo ciorecuperar imagens de exames mádicoe aimilafes?

Figura 6. Questionário pré-sessão.

O questionário pré-sessão, referente ao perfil doparticipante, conforme mostra a Figura 6, constituiu de doistipos de questões:

• Questões fechadas: onde o participante pôde selecionaruma resposta dentre uma escolha de alternativas. Foramabordadas questões sobre o sexo, faixa de idade, grau deinstrução, especialidade médica, tempo de atuação,experiência em informática e conhecimento da línguainglesa

• Questões abertas: onde o participante ficou livre paraprover sua própria resposta. Foi elaborada apenas umaquestão complementar referente à expectativa doparticipante sobre o uso de um sistema para recuperarimagens de exames médicos similares. Essa questão teve


o propósito de obter uma perspectiva do usuário antes edepois do seu desempenho. Questões abertas são úteispara obter informação subjetiva geral, mas são dificeis deanalisar ou comparar e podem ser consideradas apenascomo um suplemento. No entanto, podem identificarerros ou fazer sugestões que não foram consideradas pelodesigner.

RESULTADOSEm geral, não são necessários muitos participantes paraempreender uma avaliação. Na prática, os primeirosparticipantes já conseguem prover as informaçõesrequeridas pelos avaliadores e estima-se que cerca de cincoparticipantes são freqüentemente suficientes [8]. Porém,vale a pena persistir com um pouco mais de participantes,pois sempre tem uma informação extra a adicionar.

Visto que a proposta de testar o sistema deveria representaro cenário que mais se aproximasse da vida real, aobservação dos usuários contou com a colaboração de seteparticipantes da área médica do Centro de Ciências deImagens e Física Médica (CCIFM) do Hospital das Clínicasda USP de Ribeirão Preto, que reuniu quatro médicosradiologistas, dois radiologistas residentes e um técnico eminformática biomédica.

Os participantes foram divididos por faixa etária, sendo que43% corresponderam os adultos jovens (faixa etária entre18 a 30 anos), enquanto que os adultos de meia idadecorresponderam a 14% (idade entre 31 a 44 anos),e osadultos mais velhos corresponderam a 43% (idade entre 45a 64 anos).

A experiência dos participantes em informática foiestabelecida de acordo com a freqüência de uso de sistemascomputacionais. Os níveis de experiência em informáticaindicaram que 14% foram representados por participantesprincipiantes, 43% médios e 43% experientes.

Os participantes foram também classificados em novatos eexperientes de acordo com o conhecimento do domínioclínico em função do tempo de atuação profissional. Osnovatos representaram 42% dos participantes que possuemmenos de 5 anos de atuação profissional e os experientesconsistiram em 58% acima de 11 anos.

O questionário pós-sessão, apresentado nas Figuras 7 e 8,objetivou mensurar a satisfação do usuário em relação aouso do sistema, a fim de se obter uma avaliação subjetiva.Esse tipo de avaliação é considerado um componenteimportante nas avaliações de usabilidade.

Analisando todos os questionários de usabilidadedisponíveis, o QUIS foi o que mais se aproximava docontexto em questão .

O questionário QUIS original foi aplicado no teste piloto edemonstrou ser muito longo, cansativo e tedioso. Osparticipantes tiveram dúvidas durante o preenchimento emrelação a algumas questões que pareciam ser bastantesimilares ou por falta de compreensão das afirmações.

]82


Visando reduzir a carga de esforço dos participantes etambém a encorajá-Ios a responder um segundoquestionário depois de empreender o teste de avaliação dainterface e não deixar que a sessão ultrapassasse o tempodeterminado, a melhor opção para registrar a satisfação dainteração do usuário no estudo em questão foi elaborar umoutro questionário baseado no QUIS.

Particlponte 11": __

QUIS· au-tionário da s6façio da Inttnção do •• uirioPor favor. em cada questão abaixo. assinale com um -X" a alternativa que mais reflde a suaimpressão sobre o uso deste sistema, indicando o grau de concordãocia dentro de wna escala de1 12nw mais baixo) 85 IImW maí5 alto) ou N/A (Não se aolica).

PARTEA - REACAO00 SISTEMA1 2 3 4 5 N/A

1- Ff\lwanto Satisfalório2. Tedioso Estírnlianle3. Dilidl Fácil4. Ndewado IAdeauado

PARTEB TELA1 2 3 4 5 N/A

5. Fama o tananho das !eiras Dificildeler Fácilde ler6. Realces na leia cores o neorito Pouco Bastante7. Oraanizacilod. in_ Confusa Clara8. seaüõnci. de telas Confuso Oaro9. Itens da tela sio f••••• oara encontrar Nunca ISemcro

PARTE C - TERIoINOI.OGIAE IIFORMA OOOSISTEMA1 2 3 4 5 N/A

10. Usa dos Iormos utiilados no sistoma Confuso Claro11- ocomna •••• Confuso Claro12. localízadlo das mmsaoens na leia Confusa Clara13. ousuOOo Nt.r1ca ISernoro

114. =~=vooe" o Ntn;a Sempre15. Mensagens de erro Inirtíl Ubl

PARTE O-APRENDIZADO1 2 3 4 5 N/A

16. __ a ooerar o sistema Difici Fácil17. ElIDIOrar DOI' -. o ano DificiI Fácil18. l.fmbrar teaoos o USO de COI!13ldoo DificiI Fácil19. ==~~~ladasde ••• a NlIlCa Sempre

20. ConcIu&aoda larefa Confuoo Claro21. Mensaoens de aiuda Confuso Oaro .1.

PARTE E - CAPACIlAOE 00 SISTEMA1 2 3 4 5 N/A

22. Velocidadedo sistema Lento R"""'"23. O sisIsma é oontíáw!I Nt.r1ca S«ra.24. Corriaír••••• emJ6 DificiI Fácil

125. =~~=:~_deusuáios Com diiculdade Facilmente

PARTE F -IMAGENS1 2 3 4 5 N/A

26. Quaidade das inaoens Ruim Boa27. Tlm3I1l1odas ••..•••••.••• P""' •••. Grande28. Processo de busca de inaaoos_\l$ Oesinleressante Interessante29. Keciiceracao de inaoens smtares Não 191evante Relevante30. _da~de~ Não oonfiável Confiávelsimilares

Figura 7. Questionário pés-sessão (frente).

Par1ic1panta 11": __

PARTEG- SUGESTOEs E COMENTARíõS

Figura 8. Questionário pós-sessão (verso).

A proposta foi obter uma versão resumida do QUIS,constituindo de afirmações associadas a uma escala declassificação de diferencial semântico, que utiliza termosopostos colocados na mesma dimensão, onde osparticipantes selecionam o valor mais apropriado. Essestermos são adjetivos bi-polares colocados nos pontosextremos da escala como, por exemplo, de fácil a dificil ou


de claro a confuso. Esse tipo de escala é bastante utilizadaem pesquisas de HCI e é útil para indicar a preferência dosusuários, tendo a vantagem de ser fácil de analisar.

A fim de não confundir o respondente, o grau deconcordância da escala foi reduzido de dez para cinco itens,variando de 1 (grau mais baixo) a 5 (grau mais alto) ou N/A(não se aplica).

Das 50 questões propostas no QUIS original foramconsideradas as 25 questões que mais se aproximavam doestudo em questão. As 5 últimas questões foramadicionadas, baseadas no fator multimídia, para foear osaspectos de imagens, totalizando 30 questões.

A nova versão do QUIS foi projetada para medir asatisfação global do sistema em uma organizaçãohierárquica, foeando seis fatores específicos de interface:reação do sistema, tela, terminologia e informação dosistema, aprendizado, capacidade do sistema e imagens.

Na última parte do formulário foi incluída uma questãoaberta para que os respondentes pudessem registrar seuscomentários e sugestões.

Como resultado da avaliação obtido no QUIS, osparticipantes se mostraram bastante familiarizados com ainterface. Os resultados resumidos e apresentados naFigura 9 foram os seguintes:

• Reação do sistema: a impressão geral que osparticipantes apontaram foi um sistema muitosatisfatório, bem estimulante, muito fácil de usar eadequado.

• Tela: os participantes consideraram a forma e tamanho daletra fácil de ler. Contudo, apontaram que nem sempre ositens da tela são fáceis de encontrar. Embora a seqüênciadas telas esteja apresentada de maneira clara, aorganização da informação não está disposta tãoclaramente e o sistema não dispõe de muitos realces natela em relação a cores e negrito para ressaltar asinformações relevantes.

• Terminologia e informação do sistema: o uso de termosutilizados no sistema não demonstrou ser tão claro.Percebeu-se que profissionais iniciantes não têmconhecimento mais aprofundado sobre o assunto e osistema não possui instruções para auxiliá-los. Noentanto, às vezes, o sistema mantém o usuário informadosobre o que está fazendo. Além disso, as poucasmensagens que apareceram na tela não são claras e sualocalização um pouco confusa e muitas vezesdespercebida. Constatou-se que as mensagens de erro nãose mostraram úteis.

• Aprendizado: o sistema foi considerado muito fácil deaprender a operar e explorar por tentativa e erro. Astarefas quase sempre puderam ser executadas de umamaneira rápida e/ou lógica e demonstrou facilidade aolembrar de termos e uso de comandos. A conclusão dastarefas mostrou-se bem clara. O sistema não provê

183

IHC 20081 Artigos Completos

mensagens de ajuda, o que poderia ser muito útil paraesclarecer dúvidas durante o aprendizado.

• Capacidade do sistema: os participantes apontaram queo sistema possui uma velocidade rápida e quase sempreapresentaram respostas confiáveis. Demonstroufacilidade na correção dos erros. O sistema foi projetadofacilmente para atender todos os níveis de usuários, tantopara iniciantes como experientes.

21-24 Outubro I pono Alegre - n.~, crCl:t1l

• Imagens: embora a qualidade das imagens tenha sidoconsiderada boa, o tamanho não agradou muitosparticipantes, sendo um pouco pequeno para requereruma visualização mais minuciosa dos detalhes daimagem. O processo de busca de imagens similares foiconsiderado muito interessante e relevante, embora oresultado demonstrou nem sempre ser confiável.

Grau de conCQl'dância

l' ~ ~ ~ !

Frustrante 4,14 SatisfatóriooTedioso ~4,430< Estimulanteo::li:

oc(WOot-Difícil 4,29 Fácil~:

o:: I

Inadequado 4 Adequadoi

Forma e tamanho das letras Difícil de ler 4 Fácil de ler-- .!-- --- I

Realces na tela (cores e negrito) Pouco 3,71 Bastéllte:5 Organização da informação Confusa 3{1 ClaraWt- -- --'--- --

Seqüência de telas Confuso 4 Claro--

Itens da tela são fáceis para encontrar Nunca 3,71 Sempre

!!!lIUso dos termos utilizados no sistema Confuso 3,57 Claro

$~<Mensagens que aparecem na tela Confuso 3,14 Clarof----

<:) Oo::li:Localizaçao das mensagens na tela Confusa 2{1 Clarao<wÕ~t; ---_ .._-- _. - ---'--'-'"!!:o;;; Instruções para o usuário Nunca 2{1 Sempre::Ii:u.o

Nunca~3,29o::zo Sistema ffiéIltém você informado sobre o~w Sempreque está fazendo

Mensagens de erro Inútil 2,71 i Útil

Aprender a operar o sistema Difícil 14,51 Fácil--- ~- ---"._--_.

Explorar por tentativa e erro Difícil 14,57 Fácils .._-- - ----- -_.._---- I

~ Lembrar tennos e uso de comandos Difícil !4,14 Fácilc -- ;

z Tarefas podem ser executadas de uma 14,14w Nunca Sempreo:: maneira rápida elou lógicaa.. _----Í-- ___i-c

Condusão da tarefa Confuso 14,43 Claro...- _ ...- .._ .. _ ....

iMensagens de ajuda Confuso ! t,86 Claro, i

Velocidade do sistema Lento '~4,29 Rápidow< -- --- --c::li: O sistema é confiável Nunca .....i- -, 3,86 Sempre<w9t-0(1) Conigir seus erros Difícil ..",j, 4,14 Fácil~;;;<o

Projetado para todos os níveis de usuários, !0°

Com dificuldade r-' ,_--I ~,86 Facilmente(iniciantes e experientes) -(

Qualidade das imagens Ruim •, , I

3,57 Boa

Pequeno I

--~Tamanho das imagens 2,86 ~ Grande

(I)z • i ,w Processo de busca de imagens similares Desinteressante 4,14 Interessante<:)-c I3!! Recuperação de imagens similares Não relevante 4 Relevante

Resultado da recuperação de imagens -------r--- I I !Não confiável I 3,71 ConfiávelsimilaresI , I

Figura 9. Resultado das medidas de satisfação do QUIS.

184


Independente do perfil do usuário, a interface demonstroufacilidade de uso, assegurando que, no geral, osparticipantes cumprissem as tarefas tanto na acurácia comona completude. Percebeu-se que os usuários mais jovensdemonstraram uma maior habilidade e agilidadecomputacional, conseguindo desempenhar as tarefas commais eficiência. No entanto, os usuários que possuem maisconhecimento profissional desempenharam as tarefas commais eficácia.

Com relação à satisfação da interface, os usuáriossuperaram suas expectativas que foram observadas antes edepois da interação. Apesar do tempo de resposta dosistema ser um fator primordial que influencia a expectativado usuário, a qualidade da resposta, referente à quão similaras imagens são perante a uma dada imagem de referência, étão ou mais importante que o tempo. Desse modo, aavaliação atingiu o objetivo proposto, pois pôde prover umagrande percepção de como os usuários pensam sobre ainterface.

CONCLUSÕESEste trabalho adotou técnicas de questionamento paraanalisar a interação do usuário em sistemas CBlR e avaliarsua funcionalidade e usabilidade. O objetivo principal destetrabalho foi compor um questionário de avaliação deusabilidade a partir de um conjunto de questionáriosdisponiveis, a fim de mensurar a satisfação dos usuários emrelação ao uso de sistemas que apresentam grandecomplexidade. O desempenho de tais sistemas pôde seravaliado por critérios reais, fundamentando uma base sólidapara julgar a percepção humana de como os usuáriospensam sobre a interface e prover meios para melhorar odesenvolvimento de sistemas que apóiam usuários reais emsuas tarefas.

A facilidade de utilização de sistemas CBIR por meio deinterfaces intuitivas e também da confiabilidade ecredibilidade da resposta provida pelo sistema determinouum fator importante para aceitação dos especialistas emutilizar sistemas de apoio a diagnósticos. De maneira geral,pode-se concluir que o uso de técnicas de interaçãohumano-computador para avaliar a funcionalidade e ausabilidade de sistemas CBIR aplicados à medicina sãoprimordiais para torná-los mais usáveis, eficientes e comelevado grau de satisfação para o usuário médico. Assim, ossistemas CBIR poderão ser melhor empregados pelacomunidade médica, contribuindo para tomar o diagnósticomédico e a evolução dos tratamentos cada vez mais precisose eficientes.

Neste estudo pôde-se concluir que a experiência detrabalhar com usuários reais pode mudar totalmente apercepção de análise das tarefas dentro do domínio daaplicação. Não importa quão bom ou eficiente seja aaplicação, a aceitação ou não da aplicação depende,principalmente, das atitudes dos usuários em relação ao usodo computador no trabalho. Nesse contexto, como sugestão


para trabalhos futuros é necessário dar continuidade apesquisas contando sempre com o envolvimento do usuárioreal.

AGRADECIMENTOSA pesquisa apresentada neste artigo foi apoiada pelaEMBRAP A, FAPESP e CNPq.

REFERÊNCIAS1. Müller, H., Michoux, N., Bandon, D., and GeissbuhIer,

A. A review of content-based image retrieval systems inmedical applications-clinical benefits and futuredirections. lnternational Journal of Medical lnformatics73,1 (2004), 1-23.

2. ISO-9241- 11. Ergonomic requirements for office workwith Visual Display Terminais (VDTs): guidance onusability. Genebra, 1998.

3. Hix, D., Hartson, H.R. Developing User lnterfaces:Ensuring Usability Through Product & Processo JobnWiley & Sons, New York, 1993.

4. Preece, J., Rogers, Y., and Sharp, H. Design delnteração: além da interação homem-computador.Bookman, Porto Alegre, RS, Brasil, 2005.

5. Rocha, H.V.M. and Baranauskas, C.C. Design eAvaliação de Interfaces Humano-Computador.NIEDfUNICAMP, Campinas, SP, Brasil, 2003.

6. Dix, A., Finlay, J., Abowd, G.D., and Beale, R. Human-Computer lnteraction. 3 ed. Prentice Hall, Essex, 2004.

7. Preece, J., Rogers, Y., and Sharp, H. Human-ComputerInteraction. Addison-Wesley, Wokingharn, 1994.

8. Stone, D., Jarret, c., Woodroffe, M., and Minocha, S.User lnterface Design and Evaluation. MorganKaufmann, San Francisco, 2005.

9. Questionnaire for User Interaction Satisfaction.http://lap.umd.edulQUIS/.

10.Software Usability Measurement Inventory.http://sumi.ucc.ie.

11.Website Analysis and MeasurMent Inventory.http://www.wammi.com.

12.System Usability Scale. http://www.mindd.com.I3.Bueno, J.M., Chino, FJ.T., Traina, AJ.M., Traina Jr.,

c., and Marques, P .M.A. 2002. How to Add Content-based lmage Retrieval Capability in a PACS. ln Proc.C8MS'02 (2002).

14.Traina, A.J.M., Castafión, C.A.B., and Traina Jr., C.2003. MultiWaveMed: A System for Medical ImageRetrieval through Wavelets Transformations. 10 Proc.CBMS'03 (2002).

15.Traina Jr., C., Traina, AJ.M., and Figueíredo, J.M.,2004. Including Conditional Operators in Content-BasedImage Retrieval in Large Sets of Medical Exams. InProc. CBMS'04 (2004).

185

montando questionários para medir a satisfação do ... · tÉcnicas de interaÇÃo...

Documents