Combinação de técnicas de interação humano-computador para avaliação de sistemas de recuperação

de imagens por conteúdoAna LúciaFilardi Agma Juci MachadoTraina

Embrapa Monitoramento por Satélite Universidade de São PauloAv. Soldado Passarinho, 303 Av. do Trabalhador Sao-Caríense, 40

1307~115- Campinas, SP - Brazil 1356~970- Sao certos. SP - Brazil+5519-3211-6200 +5516-3373-9693

ana@cnpm.embrapa.br agma@icmc.usp.br

ABSTRACTThe human interaction is a valuable tool to evaluate theperformance of a Content-based Image Retrieval (CBIR) systemregarding its efficiency and efficacy, as well as the usersatisfaction. The fast growing and the strength achieved in theCBIR research field has brought relevant improvement to thepictorial information retrieval, but it is not supported bytechniques or guidelines to help evaluating the usability of suchsystems. Thus, a chalIenge of CBIR systems is to provide theusers intuitive ways to ask queries and to receive their answersincreasing the usefulness of such systems. The goal of this paperis to present an approach to evaluate the human-computerinteraction of CBIR systems. To do so, we employed acombination of evaluation techniques considering the final usersand the human factors that influence their work, taking also intoaccount the large amount of images and data stored in thesesystems. As a case study, we used a CBIR system for medica!images, which was developed aimed at supporting the decisionmaking when the physician is drawing the diagnosis. Our studyaimed at improving the diagnoses, as welI as the evolution of thepatients' treatment, making both more precise and etlicient.

RESUMOA interação humana pode contribuir efetivamente para avaliar odesempenho de sistemas de recuperação de imagens baseada emconteúdo (Content-based lmage Retrieval - CBIR), tanto emrelação à eficiência e eficácia, quanto a satisfação do usuário. Ocrescimento, aprimoramento e a excelência da pesquisa emtécnicas CBIR, avaliados pela sua performance na recuperação deinformações, contradizem-se com a ausência de procedimentosespecíficos de avaliação por meio da percepção visual do usuário.Um dos desafios decorrentes desses sistemas consiste nanecessidade em prover aos usuários uma interface de altaqualidade na formulação de perguntas e exibição dos resultados.O objetivo deste trabalho foi avaliar a interação

humano-computador para sistemas CBIR que atuam em modocompatilhado usando intranet, aplicando uma combinação detécnicas de avaliação, levando em consideração o usuário final eos fatores humanos que influenciam o trabalho com grandesvolumes de dados e imagens. Tal avaliação foi baseada em umestudo de caso aplicado à medicina, visando tomar o diagnósticomédico e a evolução dos tratamentos cada vez mais precisos eeficientes.

Categories and Subject DescriptorsH.5.2 [lnformation Systems]: User Interfacesevaluation/methodology, user-centered designo

General TermsDesign, Human Factors.

KeywordsHuman-computer interaction, HCI, content-based image retrieval,CBIR, cvaluation.

1. INTRODUÇÃOA área de Interação Humano-Computador (Human-Computerlnteraction - HCI) visa estudar como as pessoas interagem comos sistemas computacionais e explorar e desenvolver técnicas paraprojetar interfaces com o usuário de alta usabilidade. A medicinaé uma das áreas beneficiadas com o estudo e interação da ciênciada computação, visando tomar o diagnóstico médico e a evoluçãodos tratamentos cada vez mais precisos e eficientes.

Para dar suporte a diagnósticos, imagens de exames gerados pormeio de equipamentos médicos (tomografia, mamografia,ultrassonografia, radiografia, etc.) têm sido incorporadas nosSistemas de Informações Hospitalares (SIH), para consolidar emum só sistema as informações dos pacientes. O interesse emutilizar imagens nos diagnósticos vem aperfeiçoando odesenvolvimento de novas técnicas que se preocupam com arecuperação desses tipos de dados.

As consultas tradicionais sobre informações armazenadas embases de dados são efetuadas através de uma chave de busca quepermite recuperar o registro associado. As chaves de buscas dedados em bases convencionais são normalmente no formatonumérico ou textual. Entretanto. nos sistemas de recuperação para

170

bases de imagens, a chave de busca utilizada é a própria imagem.A busca, utilizando imagens como chave, é um processocomplexo, pois o propósito nem sempre é buscar a imagem exata,o que poderia ser realizado através da comparação pixel a pixel, esim, buscar a imagem parecida ou similar. A consulta porsimilaridade recupera objetos dentro de um certo grau desimilaridade e um número fixo de objetos mais similares. Acomparação de imagens por similaridade é essencial para tratardados complexos e capturar o que há de mais representativo, demodo a extrair informação que as represente de modo mais fiel.

Essas técnicas, denominadas CBIR, propiciam a recuperação deimagens baseada em seu conteúdo por meio de suascaracterísticas visuais e são muito utilizadas nas áreas deprocessamento de imagens e base de dados.Sistemas que utilizam as técnicas CaIR têm emergido nas últimasdécadas devido à necessidade de manipular grandes volumes dedados e imagens armazenadas e ao interesse de recuperarinformações visuais de maneira eficiente e precisa.

Um dos desafios decorrentes desses sistemas é o processo devalidação das imagens em relação à sua semelhança Contudo, astécnicas adotadas ainda permanecem sob o senso de análiseautomática de recuperação de informações. Uma das possíveisrazões para isso pode ser que muitos estudos têm focado,principalmente, sobre os processos de extração de características econsultas por similaridade, sem levar em consideração o usuâriofinal e os fatores humanos que influenciam a indexação,navegação e recuperação da imagem.

Dentro desse contexto, o estudo envolvendo o usuário caracteriza-se pela sua interação com a interface do sistema, permitindo que ousuário possa consultar imagens Similares a uma dada imagem dereferência e visualizar os resultados.

Para atender às necessidades particulares desse estudo, visandoavaliar a funcionalidade e a usabilidadc do sistema, identificar osproblemas específicos e melhorar a interação humano-computador, foi adotada uma combinação de técnicas deavaliação que apresentam bons resultados em relação àperformance de sistemas com grande complexidade, consistindode uma técnica de inspeção de usabilidade e agregando testes deusabilidade.

2. MEDIDAS DE USABILIDADEUm bom design de interface de usuârio deve prover uma interaçãofácil, natural e atraente entre o usuário e o sistema e permitir queo usuârio possa realizar suas tarefas com segurança, de maneiaeficiente, eficaz e com satisfação [1,2]. Esses aspectos sãoconhecidos como usabilidade, e são aplicados para medir odesempenho e a satisfação do usuârio.

As medidas de desempenho e satisfação do usuârio avaliam osistema de trabalho como um todo, fornecendo informações sobrea usabilidade daquele produto dentro de um contexto específicode uso. O contexto de uso, constituído por usuârios, tarefas,equipamentos (bardware, software e materiais) e o ambiente fisicoe social, influencia o nível de usabilidade desejado de umproduto, dependendo das circunstâncias particulares nas quais oproduto é usado.

Essas medidas de usabilidade são importantes para. visualizar acomplexidade das interações entre os usuârios e às necessidadesem alcançar seus objetivos. Desse modo, para determinar quanto

que um produto é usável dentro de um contexto particular énecessârio medir o desempenho (eficácia e eficiência) e asatisfação dos usuârios.

Para alcançar as necessidades e os objetivos dos usuârios épreciso saber como fazer a transição do que pode ser feito(funcionalidade) para como deve ser feito (usabilidade). Conheceras tecnologias também é essencial para compreender a psicologiahumana e as características particulares dos usuârios. Deve-selevar em consideração o aspecto físico, que relaciona o tipo deambiente que será usado o sistema; o aspecto social, como aspessoas interagem ou compartilham as tarefas e o aspectoorganizacional, que consiste na hierarquia e nas diferentes formasde trabalhar.

O modelo de design HCI deve realçar a qualidade da interaçãoentre usuârios e sistemas computacionais. Para compreendermelhor a organização social e os aspectos fisicos do ambiente detrabalho dos usuârios é necessârio extrair conhecimento sobre oobjetivo e o desempenho humano em relação aos conhecimentossobre a capacidade e a limitação dos recursos computacionais.Para isso, avaliações da interação humano-computador sãoextremamente necessârias para verificar se as idéias do projetistasão realmente o que os usuârios necessitam ou desejam.

Geralmente, a avaliação é realizada para conhecer o que osusuários desejam e minimizar os possiveis erros no projeto dosistema, identificando as dificuldades proveníentes dos usuâriosque irão repercutir diretamente na acessibilidade ao sistema,sendo que, quanto mais o projetista estiver informado sobre seususuârios, melhor será o design de seus produtos. O design dainterface deve visar à simplicidade acima de tudo, obtendo omenor número de distrações possíveis e possuir uma arquiteturade informação muito clara [3].

É essencial que os projetistas de interface saibam porque éimportante avaliar, o que avaliar e quando avaliar [4]. Pode-sedizer que a avaliação possui três objetivos principais, que são [5]:avaliar a funcionalidade do sistema, avaliar o efeito da interfacejunto ao usuârio e identificar problemas específicos do sistemaEm geral, a avaliação tende a ocorrer durante todo o ciclo de vidado design, anxiliando na criação de um produto útil e usável. Aavaliação pode ser realizada em laboratórios experimentais ou nopróprio local de trabalho do usuârio. Pode envolver a participaçãoativa do usuârio ou também pode ser realizada através da anâlisede especialistas em avaliação de design [6].

Projetar sistemas usáveis requer o conhecimento sobre quem iráusar o sistema, o que será usado, o contexto do trabalho, oambiente em que será usado e quais as técnicas e logísticaspraticáveis, Para isso, o processo de avaliação constitui ocnvolvimento dos seguintes componentes:

• Pessoas: usuários, participantes, observadores,avaliadores e especialistas em HCI.

• Trabalho: tarefas ou atividades específícas ou gerais.

• Ambiente: consiste em uma série de circunstâncias oucondições em que o usuârio trabalha, relacionado aosaspectos físicos, organizacional e social do ambiente.

• Tecnologia: qualquer artefato incluindo bardware,software e materiais associados com computadores eequipamentos eletrônicos auxiliares.

171

Qualquer tipo de avaliação possui métodos e técnicas a elesassociados. Tanto um método como uma técnica de avaliação emHCI é um procedimento de coleta de dados relevante no que dizrespeito ao design da interface e a postura do usuário voltado paraele [7].

3. TÉCNICAS DE INTERAÇÃO HUMANO-COMPUTADORExistem vários métodos e técnicas de interação humano-computador que podem ser aplicados para avaliar afuncionalidade e a usabilidade de sistemas. Alguns métodosdestinados à avaliação da interface baseiam-se no julgamento deespecialistas e são conhecidos como inspeção de usabilidadeipredictive evaluatiom, enquanto que outros contam com aparticipaçãoefetiva de usuários reais e são denominados testes deusabilidade.

3.1 Inspeção de usabilidadeVários métodos e técnicas têm sido propostos para avaliar ainteratividade de sistemas através da análise de especialistas emHCI. Muitas dessas técnicas de avaliação são analíticas eenvolvem a participação de especialistas para estimar o impactodo design em relação a um usuário típico, baseando nos processoscognitivos e nos princípios de usabilidade. Por não requerer oenvolvimento de usuários, esses métodos são consideradosrelativamente baratos. No entanto, não estimam o uso real dosistema, somente preservam os princípios de usabilidade e porisso são conhecidos como inspeção de usabilidade [6].

3.2 Testes de usabilidadeOs testes de usabilidade são métodos de avaliação centrados nousuário e tem como premissa básica que as necessidades dosusuários devem ser levadas em conta durante todo o cicIo dedesenvolvimento do projeto [4]. No entanto, a participação dousuário na avaliação geralmente tende a ocorrer nos últimosestágios de desenvolvimento, onde há pelo menos um protótipodo sistema para simular a capacidade interativa do sistema. Essasabordagens de avaliação com a participação do usuário sãoconhecidas como testes de usabilidade [6J.

4. AVALIAÇÃO DA INTERFACEOS métodos de avaliação devem questionar como, quem e quandopodem ser úteis e assim determinar quais técnicas são maisapropriadas {8]. Cerca de metade do esforço gasto nodesenvolvimento é focado na interface do usuário. As avaliaçõessão necessárias para ajudar a encontrar e eliminar problemasobtidos na criação de interfaces dos usuários, por mais simplesque os sistemas possam ser. Sendo assim, técnicas de testestradicionais muitas vezes são inadequadas. Uma solução possívelpara isto é a combinação de métodos de avaliação convencional ea criação de novos métodos para avaliações específicas [9].

Cada projeto requer uma forma diferente de avaliação para serempregada dentro do seu próprio contexto, conseqüentemente aescolha do método mais apropriado implica em um estudodetalhado de cada design. Em geral, uma ou mais técnicas sãoadotadas para atender às necessidades específicas da interface aser avaliada.

Para atender às necessidades particulares deste estudo, foi adotadauma combinação de técnicas de avaliação que apresentam bonsresultados em relação à performance de sistemas com grande

complexidade, consistindo de uma técnica de inspeção deusabilidade, baseada no julgamento de especialistas e agregandotestes de usabilidade, com a participação efetiva de usuários.

Dentre as técnicas de inspeção de usabilidade, a avaliaçãoheurística foi escolhida por ser uma das técnicas mais populares eeficientes em detectar problemas potenciais de usabilidade, etambém por ser uma técnica intuitiva, fácil e rápida de serensinada, além de possuir baixo custo.

No entanto, por não envolver usuários reais ou representativos,em geral, é fácil cometer erros em predizer como os usuários reaislidam com a interface. Visando minimizar essa limitação, aavaliação foi complementada pela técnica de observação dousuário que apresenta bons resultados práticos de testes com ousuário real.

As técnicas de inspeção heuristica e observação do usuário têm omesmo objetivo de estabelecer se o sistema é usáveJ, porém têmalgumas diferenças na maneira de preparar e conduzir a avaliação.Freqüentemente, a inspeção heurística pode ajudar a tomarcuidado com defeitos de usabilidade mais óbvios, enquanto que aobservação do usuário empreendida após a inspeção pode serefetivamente mais útil em focar problemas da perspectiva dousuário. Conseqüentemente, as duas técnicas devem ser vistascomo um complemento para avaliação.

5. RESULTADOS F.xPERlMENT AISA avaliação de interface proposta neste trabalho constituiu emaplicar técnicas de interação humano-computador no protótipo"MRI Browser" (Magnetic Resonance lmaging Browser), queutiliza uma coleção de imagens de modalidade médica, visandoauxiliar o usuário médico no processo de diagnóstico.

O protótipo MRl Browser é um sistema de navegação queconsiste em uma ferramenta útil e prática para recuperar imagenssimilares baseadas em seu conteúdo, dentro da rotina hospitalar.Incorpora todas as funcionalidades de um sistema CBIR e permiterealizar tanto consultas textuais como por conteúdo.

Para efetuar a consulta por imagens similares, o usuário deveselecionar uma imagem de interesse como referência, especificara quantidade de imagens similares dcsejadas e pressionar o botãoQuery para iniciar o processo de busca. O resultado é apresentadona mesma janela Result que é usada para exibir tanto osthumbnails obtidos pelo resultado da busca textual, como pararetomar o resultado da consulta de imagens por similaridade.

Figura 1: Resultado da consulta por similaridade a partir deuma dada imagem de referência.

172

A Figura I ilustra, na janela à direita, uma imagem em seutamanho original contendo suas informações textuais, que foiutilizada como referência para uma operação de busca das dezimagens mais semelbantes a ela. Como resultado, os thumbnailsque mais satisfizeram o critério da consulta em relação a suasimilaridade são apresentados na janela central, permitindo que ousuário efetue sua escolba, e a imagem será apresentada emtamanho normal,

O sistema também incorpora recursos avançados para avaliar aeficiência dos algoritmos de CBlR. Esses recursos maisavançados foram desenvolvidos para as pesquisas de âmbito maisabrangente. Contudo, esse estudo utilizou o protótipoMRI Browser para explorar a interface e avaliar a suafuncionalidade e usabilidade, a fim de resolver algumas questõesespecíficas relacionadas à recuperação de imagens similares auma dada imagem de referência, empreendidas apenas noprocesso que auxilia o médico em seus diagnósticos.

5.1 MaterialPara organizar e conduzir uma avaliação foi necessário criar umaestratégia a fim de planejar o que, quem, quando e onde avaliar.Para isso, foram consideradas algumas questões importantes:

• Qual o dominio: representa a área de conhecimento dosespecialistas em relação à aplicação desenvolvida

• Qual o propósito da avaliação: refere-se ao objetivopara empreender uma avaliação.

• O que será testado: refere-se ao artefato físico, ou seja,o produto, sistema ou protótipo que será testado.

• Quais são os usuários: são as pessoas que usam aaplicação como base para seu trabalbo.

• Quais tipos de dados coletar: são resultados coletadosna avaliação que podem ser usados de maneirasdiferentes para auxiliar a tomada de decisões sobre ore-design da interface do usuário. Os dados podem sernuméricos ou não-numéricos.

• Quais as tarefas que os participantes vão empreender:referem-se às atividades relacionadas à natureza dotrabalbo.

• Quais as considerações ambientais: são fatoresrelacionados ao ambiente em que a aplicação seráempreendida. Devem ser considerados o aspecto físico,social, organizacional e o ambiente de apoio ao usuário.

• Quais são as restrições: consiste nas limitações emrelação ao custo, tempo, tecnologia e recursos humanosque devem ser consideradas para realizar umaavaliação.

Todos esses requisitos a respeito da elaboração de uma estratégiade avaliação foram traduzidos para refletir o contexto de uso doestudo de caso, a fim de especificar o dominio da aplicação doestudo em questão, os usuários, suas tarefas e o ambiente dentrodo contexto em que o sistema será usado.

5.2 MétodosExiste uma variedade de técnicas e métodos disponíveis paraavaliar sistemas interativos. Cada método possui suaspotencialidades e limitações e cada qual tem sua utilidade quandoaplicado adequadamente. Para selecionar o método mais

apropriado, que atendesse às necessidades particulares, foramconsiderados algnns fatores para categorizar os diferentesmétodos [6]:

• A fase do ciclo de desenvolvimento em que a avaliaçãoé realizada: fase de design ou implementação.

• O estilo da avaliação: estudo de laboratório ou estudode campo.

• O nível de subjetividade ou objetividade da técnica:baseia-se fortemente na interpretação do avaliador.

• O tipo de medidas providas: medidas quantitativas ouqualitativas.

• A informação provida: informação de baixo ou altonível.

• Os recursos requeridos: são equipamentos de hardwaree so1lware, equipamentos de gravação de video e áudio,tempo, dinheiro, tecnologia, participantes, experiênciado avaliador, o contexto, entre outros.

6. RESULTADOSO processo de análise e interpretação concentrou-se emtransformar OS dados coletados da avaliação em informações paraauxiliar a tomada de decisões sobre o re-design da interface dousuário. Primeiramente, foram analisados e interpretados os dadosda observação do usuário e em seguida os dados da inspeçãoheurística. O resultado da avaliação será apresentado a seguir.

6.1 Observação dos usuáriosA observação do usuário é um modo simples para obterinformações sobre o uso real de um sistema através da interaçãodos usuários com ele. Os usuários foram solicitados a completaruma série de tarefas pré-determinadas, enquanto foramobservados cumprindo por completo as suas obrigações rotineiras.A função do avaliador foi observar os usuários, prestando atençãoem suas ações e registrando-as.

Primeiramente, foi aplicado um questionário pré-sessão para obterum feedback do perfil e formação dos usuários. Muitas vezes, operfil do usuário é descrito como um conjunto geral da populaçãodo usuário em termos dos atributos ou caracteristicas relevantespara o designo Na prática, os primeiros participantes já conseguemprover as informações requeridas pelos avaliadores e estima-seque cerca de cinco participantes são freqüentemente suficientes[10]. Porém, vale a pena persistir com um pouco mais departicipantes, pois sempre tem uma informação extra a adicionar.

Visto que a proposta de testar o sistema deveria representar ocenário que mais se aproximasse da vida real, a observação dosusuários contou com a colaboração de sete participantes da áreamédica, constituindo por pesquisadores do Centro de Ciências deImagens e Física Médica (CCIFM) do Hospital das Clínicas daUSP de Ribeirão Preto, que reuniu quatro médicos radiologistas,dois radiologistas residentes e um técnico em informáticabiomédicaForam selecionados participantes que possuíam faixas etáriasdiferenciadas, sendo que 43% estavam na faixa de 18 a 30 anos,14% entre 31 a 44 anos e 43% entre 45 a 64 anos. A partir dessadivisão foi possivel classificar os participantes nos seguintesgrupos de usuários:

• Adultos jovens: de Ig a 30 aoos.

173

• Adultos de meia idade: de 31 a 44 anos.

• Adultos mais velhos: de 45 a 64 anos.

Os participantes foram recrutados devendo também possuiralguma habilidade computacional, um pouco de conhecimento nalingua inglesa e nenhuma experiência em sistemas CBIR.

A experiência dos participantes em informática foi estabelecidade acordo com a freqüência de uso de sistemas computacionais.Assim, foi possível notar que todos os participantes possuíamalguma familiaridade com sistemas computacionais. O idiomainglês adotado como padrão da interface não influenciou nodesempenho dos participantes. No gemi, os participantespossuíam um bom conhecimento na língua inglesa

Além desses dados, anotações adicionais também foram feitasdurante as sessões. Visto que participantes mais jovensdemonstraram uma maior habilidade e agilidade computacional,foi possível classificar os participantes em alguns níveis deexperiência em informática: principiantes, médios e experientes.Os níveis de experiência em informãtica indicaram que 14%corresponderam participantes principiantes, 43% médios e 43%experientes.

O tempo de atuação profissional dos participantescorresponderam a 42% aos participantes que possuíam menos de5 anos de atuação profissional e 58% acima de 11 anos. A partirdesses dados, os participantes foram classificados de acordo como conhecimento do domínio clínico em novatos e experientes.

Foram aplicadas 5 tarefas e cada tarefa foi formulada visandoalcançar mais de um objetivo. As duas primeiras tarefasconstituíram de 3 objetivos, a terceira tarefa reuniu 5 objetivos eas duas últimas incorporaram 6 objetivos. Considerando que cadatarefa possuiu vários objetivos a serem alcançados, foi possívelcalcular a média da completude de cada tarefa. A maioria dastarefas foi completada em 100"10.

Tabela 1. Tempo de execução de tarefas por participante.--- T_do_(HorI:_:_ T....,

T••••

F_- T"'1 T...r.2 T••• 3 T.... r..,.s0:12:08 0:1U4 0:12:03 ():OU9 0:02:51 0"-43:41

P2 _ -........., 0:08:15 0:07:16 0:09-.23 {):08:05 0:05:10 0:38:09

P3 Experienlê

O:1·U3 0:05:12 0:05:55 0:05:04 0:05:12 0:36:06

0:00:51 0:01:00 0:031)3 0:02:05 0:02:12 0:09:11

... -P5 _ _de.....

idade0:03:35 0:02:15 o:G4:10 0:03:44 0:03:06 0:16:52

0:01:23 0:00:45 0:01:31 o~ 0:01:15 0:06:57

0:01:13 0:01:21 O:O1~430:01:59 0:03:36 o:o9:S2

0:06:01 0:04:13 0:05-..N 0:03:58 0:03:21

Na Tabela 1 é apresentado o tempo que cada participante levoupara completar as tarefas, bem como seu perfil em relação aonível de experiência em informática e sua faixa etária, Pode-senotar que:

• Adultos mais jovens e com boa experiência eminformática, atingiram um desempenho melhor no uso

do sistema, levando menos de 10 minutos paracompletar todas as tarefas.

• Adultos de meia idade e com experiência média eminformática levaram quase que 11 minutos para realizaras tarefas.

• Adultos mais velhos e com experiência média eminformática levaram aproximadamente 40 minutos paracompletar as tarefas.

• Adultos mais velhos e com pouca experiência eminformática levaram mais de 40 minutos para realizar astarefas.

Percebeu-se que quando o participante é mais jovem e com maiorhabilidade computacional ele utiliza o sistema mais fácil erapidamente. Porém, alguns termos e funções avançadasutilizadas no sistema eram mais familiares para os participantesexperientes. Assim, pôde-se verificar que o tempo de atuaçãoprofissional dos participantes refletiu diretamente nasnecessidades de uso de funções relevantes disponíveis no sistema.

Tabela 2. Quantidade de erros cometidos e o tempo gasto paracorrigi-Ios.

_do •••• ....- •• conIgHoo

r••• 1 r••• s T••••t••• 3 r••••T••• 2- T_ - T_ QId. T_ QId. T...., QId. T_

P1 0:09:03 0:09:56 0:04:36 12

P2 0:02.:30 0;00:S3

P3 0:01:59 0:00:45

P' 0:10:52 0:02:20 0:02:24 0:03:53 f1

P5 0:01:47 0;01:03 0:02:48

P6 0;01:15 0:00;44

P7 0:01:45

T•••• 14 10 10 10 .1

A Tabela 2 apresenta a média da acurãcia de tarefas completadas,ou seja, a quantidade de erros cometidos durante as tarefas e otempo gasto para corrigi-los.

Observa-se que, na maioria, o tempo requerido para recuperar umerro é muito pequeno, alguns desses erros foram realizados porengano e percebidos rapidamente pelos participantes. No geral, oserros de uma determinada tarefa foram cometidos sucessivamente,assim foi possível medir o tempo gasto na correção de cada erro.A representação do sinal "---" significa que o participante nãopercebeu o erro e por isso não foi corrigido. A maioria desseserros não corrigidos decorreu da falta de vísibilidade damensagem exibida na tela informando a quantidade de imagensrecuperadas,

Apesar da facilidade que os jovens e experientes em informáticademonstraram no desempenho da tarefa, pôde-se observar quenão possuiu nenhuma relação quanto aos erros cometidos pelosparticipantes. Independente da idade e habilidade computacional,percebeu-se que participantes mais cautelosos e que tiveram maisatenção na formulação das tarefas obtiveram menos erros.

As tarefas foram elaboradas para conceber os processos deaprendizagem de uso do sistema em três etapas:

• Processo de exploração do sistema por tentativa e erro;

• Processo de busca por imagens similares; e

174

• Processo de reconhecimento de objetos e ações ao invésde lembrança.

A primeira etapa teve o objetivo de conhecer e aprender a usar osistema por meio da exploração da interface por tentativa e erro.Essa etapa correspondeu à execução das duas primeiras tarefas. Otempo gasto de cada participante para explorar o sistema variou,aproximadamente, cerca de 2 a 24 minutos, obtendo uma médiaaproximada de 10 minutos. Os participantes mais jovensobtiveram um desempenho melhor nessa etapa

A segunda etapa correspondeu à introdução da aprendizagem dabusca por imagens similares a uma dada imagem de referência.Essa etapa correspondeu à execução de uma tarefa e levou umtempo médio de aproximadamente 5 minutos e meio.

A terceira etapa focou o uso do sistema por meio doreconhecimento de objetos e ações ao invés de lembrança e durouum tempo médio de aproximadamente 7 minutos e meio. Essafase correspondeu à execução das duas últimas tarefas referentes atodo o processo de busca textual e por similaridade, bem como aexecução de algumas ações relevantes.

Observou-se, também, que o tempo médio para completar cadatarefa foi diminuindo ao decorrer da sessão, devido aoaprendizado introduzido.

A satisfação do usuário pôde ser medida por meio do questionáriopós-sessão, adaptado do modelo QUIS I (Questionnaire for UserInteraction Satisfaction), que foi organizado de maneira modular,focando seis fatores de interesse particular da interface: reação dosistema, tela, terminologia e informação do sistema, aprendizado,capacidade do sistema e imagens. As respostas obtidas nosquestionários foram convertidas em valores numéricos erealizadas análises estatísticas simples.

Com relação à avaliação da satisfação da interface, osparticipantes se mostraram bastante familiarizados com ainterface. A grande maioria das tarefas foram cumpridas tanto naacurácia quanto na completude. Os resultados obtidos no QUIS,apresentados na Figura 2, foram os seguintes:

• Reação do sistema: a impressão geral que osparticipantes apontaram foi um sistema muitosatisfatório, bem estimulante, muito fácil de usar eadequado.

• Tela: os participantes consideraram a forma e tamanhoda letra fácil de ler. Contudo, apontaram que nemsempre os itens da tela são fáceis de encontrar. Emboraa seqüência de telas esteja apresentada de maneira clara,a organização da informação não está disposta tãoclaramente e o sistema não dispõe de muitos realces natela em relação a cores e negrito para ressaltar asinformações relevantes.

• Terminologia e informação do sistema: o uso determos utilizados no sistema não demonstrou ser tãoclaro. Percebeu-se que profissionais iniciantes não têmconhecimento mais aprofundado sobre o assunto e osistema não possui instruções para auxiliá-Ios. Noentanto, às vezes, o sistema mantém o usuárioinformado sobre o que está fazendo. Além disso, as

I http://Iap.umd.edu/QUTS/

poucas mensagens que apareceram na tela não sãoclaras e sua localização um pouco confusa e muitasvezes despercebida Constatou-se que as mensagens deerro não se mostraram úteis.

• Aprendizado: o sistema foi considerado muito fácil deaprender a operar e explorar por tentativa e erro. Astarefas quase sempre puderam ser executadas de umamaneira rápida e/ou lógica e demonstrou facilidade aolembrar de termos e uso de comandos. A conclusão dastarefas mostrou-se bem clara. O sistema não provêmensagens de ajuda, o que poderia ser muito útil paraesclarecer dúvidas durante o aprendizado.

• Capacidade do sistema: os participantes apontaramque o sistema possui uma velocidade rápida e quasesempre apresentaram respostas confiáveis. Demonstroufacilidade na correção dos erros. O sistema foi projetadofacilmente para atender todos os níveis de usuários,tanto para iniciantes como experientes.

• Imagens: embora a qualidade das imagens tenha sidoconsiderada boa, o tamanho não agradou muitosparticipantes, sendo um pouco pequeno para requereruma visualização mais minuciosa dos detalhes daimagem. O processo de busca de imagens similares foiconsiderado muito interessante e relevante, embora oresultado demonstrou nem sempre ser confíável.

-~ Or"a:'l!a;ioa~t:nr.a;ãc

~U&:Ee:3;

1K.1o:!l1fII3são~:.n~.

LI'iO â.;s lenr.a.If~1ar.bs nD nIImiI

~~I l'I.ff'.sa;e!5~JeapafOOlMr3!~3

~~ •.•.• ~eY.i~,s,.a",a;: ~ ~ rlS1'UÇ6!$ta"ao'JS\álo

~ ~ g Siilema rnmêm \'OU!nbr:naOO xt'fê oQUi85Úf.I::nb

4,'4 =3dI

." .....,.'." o""

a.o

! '.29 :;J:-c:o

'.os .....,.i'." ,áot

'." ,-

TZ&t5:odenSl!l'~d;: •••"Q,.tnt;rarip;C3&':l&liQç.ca

~C3ra-m

()J&ld_emma;."!S

Trwl::laa5I1T3j'YS

'4.,14 1I':~'T:e

l.l =I.f~.Ie-I---3,71 CC'tItmc

~:t~oemagers!lbCare$

Ret),.,.-m;ãooe :lIo)lJet.11:!ft1iil!:$

rw..."1a:c~'~d8rr .•. -sse..-

D

Figura 2. Resultado das medidas de satisfação do QUIS.

6.2 Inspeção heurísticaA série escolhida para o estudo em questão foram as heurísticasde usabilidade para design de interface propostas por Nielsen que

175

apresentam bons resultados e permitem uma avaliação global dosistema. As "10 Heuristicas de Nielsen" focam problemas deusabilidade de alto nível e constituem dos seguintes itens:

• RI: Visibilidade do status do sistema.

• H2: Compatibilidade do sistema com o mundo real.

• H3: Controle e liberdade para o usuário.

• H4: Consistência e padrões.

• H5: Prevenção de erros.

• H6: Reconhecimento ao invés de lembrança.

• H7: Flexibilidade e eficiência de uso.

• H8: Estética e design minimalista.

• H9: Ajuda aos usuários a reconhecer, diagnosticar erecuperar os erros.

• RIO: Ajuda e documentação.

Os defeitos de usabilidade foram avaliados em relação ao grau deseveridade correspondentes à gravidade de cada problema no quediz respeito à freqüência com que os erros ocorrem, ao impacto doproblema ocorrido e a persistência do problema. Os graus deseveridade foram representados por:

• GO: Não é considerado um problema de usabilidade.

• GI: Problema cosmético somente.

• G2: Problema de usabilidade de pequeno impacto.

• G3: Problema de usabilidade de grande impacto.

• G4: Catástrofe de usabilidade.

A avaliação heuristica envolveu a participação de quatroinspetores, reunindo um especialista em usabilidade, umespecialista do domínio e dois especialistas do domínio comalgum conhecimento em usabilidade.

Tabela 3. Quantidade de defeitos encontrados por heurística edistribuídos pelos graus de severidade.

H1 H2 H3 H4 H5 H6 K7 H8 H9 H10 T<áI

GO

G1

G2 11

G3

G4

33

12

T•••• 10 10 63

Os dados foram tabulados e resumidos, conforme mostra a Tabela3, onde apresenta a quantidade de defeitos de usabilidadeencontrados em cada heuristica e distribuídos pelos graus deseveridade.

DEFEITOS DE USABllIDADE POR GRAU DE SEVERIDADE

Figura 3. Defeitos encontrados por grau de severidade.

A Figura 3 ilustra os defeitos de usabiJidade encontrados, em quecerca de 53% dos defeitos referem-se ao grau de severidade 3,que correspondem a problemas de usabilidade de grande impacto,sendo importante consertar, requerendo alta prioridade decorreção. Pode-se observar, também, que 19"/0dos defeitos estãorelacionados ao grau de severidade 4 e são considerados cornocatástrofe de usabiJidade, por isso devem ser consertados antesque o produto seja lançado. Para os defeitos de usabiJidade depequeno impacto, de grau 2, foram registrados 170/0,sendo que aprioridade deste conserto deve ser baixa. Apenas 3% dos defeitosclassificados com grau I foram considerados corno sendo somenteproblemas cosméticos, não tendo tanta urgência em seremconsertados. Finalmente, 8% foram determinados com grau O, istoé, não foram considerados COrno um problema de usabiJidade.Percebe-se que 89"/0 dos defeitos encontrados devem serconsertados independentemente da intensidade do impacto.

H_isnCAS

§! COMpatibilidade cio siste •• a COM o ai undo roa4 1'- •....••115.9%

% Consktincb.e padr6n ,-------.11.1%

i Visibilkbd. do st~us do sist~. ~ I )7J~

flexibifid<ld •• eficiência d. uso I F-'''1.

Figura 4. Defeitos de usabilidade encontrados.

A Figura 4 mostra que os maiores defeitos de usabilidade,correspondendo ao mesmo valor de 15,9%, são atribuídos a duasheuristicas:

• referente à compatibilidade do sistema com o mundoreal, não expressando urna linguagem familiar para osusuários (H2); e

• atribuída à prevenção de erros, onde o sistema nãoprevine que o erro ocorra antes de acontecer (H5).

A falta de ajuda aos usuários a reconhecer, diagnosticar erecuperar seus erros representou 14,3% dos defeitos deusabilidade (H9).

O reconhecimento ao invés de lembrança, não possuindoinstruções de uso do sistema e sobrecarregando a memória dousuário indicou 12,7% dos problemas encontrados (H6).

A consistência e padrões, seguindo as convenções de plataformacomputacional, representaram 11,1% (H4).

Para as duas heuristicas Hl e H7 obteve-se o mesmo valor de7,9% de defeitos referentes:

• à visibilidade do status do sistema, mantendo o usuárioinformado sobre o que está acontecendo (Hl); e

176

Os menores defeitos foram encontrados em três heuristicas com4,8% cada, a saber:

• referente ao controle e liberdade para o usuário quandoos usuários, freqüentem ente, escolhem funções porengano e precisam sair do estado indesejado sem ter quepercorrer um extenso diálogo (H3);

• correspondem a estética e design minimalistaapresentando um design simples e prático, seminformações irrelevantes ou desnecessárias (H8); e

• prover ajuda ao usuário e documentação completa dosistema (HI0).

Constatou-se que cada avaliador identificou problemas deusabilidade diferentes. Neste estudo, foi possível perceber queavaliadores com conhecimento do dominio tiveram uma visãomais geral do sistema, comparando com outros sistemassemelhantes, enquanto que o especialista em usabilidade teve umainterpretação mais crítica e detalhista de cada ponto da interface.Desse modo, deve-se ressaltar que existe uma relação entre operfil dos avaliadores e os problemas encontrados. Assim sendo, éimportante recrutar inspetores com áreas de conhecimentodiferentes, pois o perfil do avaliador tem uma influência direta nadescoberta de problemas.

7. CONCLUSÕESEste estudo introduziu um esforço para testar o desempenho deum sistema CBIR típico em relação à funcionalidade eusabilidade por meio da interação de usuários reais dentro dodomínio da aplicação. Por esse motivo, o desempenho de taissistemas pôde ser avaliado por critérios reais, fundamentando umabase sólida para julgar a percepção humana e prover meios paramelhorar o desenvolvimento de sistemas que apóiam usuáriosreais em suas tarefas.

Para alcançar esse desafio, foram adotadas uma combinação detécnicas de avaliação da interação humano-computador, a fim deidentificar abordagens promissoras no desempenho e satisfaçãodos usuários. Primeiramente, foi empreendida a técnica deobservação de usuário, com o envolvimento efetivo de usuáriosreais, completando a seguir com a inspeção heurística, oonduzidapor meio da participação de especialistas.

A observação de usuários atingiu o objetivo proposto, pois pôdeprover uma grande percepção de como os usuários pensam sobrea interface. Independente do perfil do usuário, a interfacedemonstrou facilidade de uso, assegurando que, no geral, osparticipantes cumprissem as tarefas tanto na acurácia como nacompletude. Com relação à satisfação da interface, os usuáriossuperaram suas expectativas que foram observadas antes e depoisda interação.

Contudo, O sistema submetido à avaliação heuristica sugeriu umescopo considerável de melhorias. Pôde-se perceber que édesejável que os avaliadores possuam uma certa experiência emusabilidade para abstrair todo o conhecimento requerido.

_.............•....._,. __ ----. - .r-- _. ----".--- - - ----0--- --- ---- -. - -técnicas para avaliar a funcionalidade e a usabilidade de sistemasCBIR aplicados à medicina, são primordiais para torná-los maisusáveis, eficientes e com elevado grau de satisfação para ousuário médico. Assim, os sistemas CBlR poderão ser melhorempregados pela comunidade médica, contribuindo paraaprimorar os diagnósticos e tratamentos médicos.

Ainda há muito trabalho a ser realizado nessa área É preciso terum bom conhecimento dos fatores humanos que afetam asestratégias de busca dentro do contexto de uso, levando emconsideração as necessidades particulares dos usuários eenfatizando sempre os aspectos da interação humano-computador.

8. AGRADEC~NTOSA pesquisa apresentada neste artigo foi apoiada pela EMBRAP A,FAPESP e CNPq.

9. REFERÊNCIAS[1] ISO-924 I-I I. 1998. Ergonomic requirements for oflice work

with Visual Display Terminals (VDTs): guidance onusability. Genebra.

[2] Carvalho, A. F. P., Anacleto, J. C. "Conceitos de Usabilidadee sua Abrangência no Desenvolvimento de SistemasInterativos", Revista Eletrônica de Iniciação Científica,Brasil, v. IV, n. IV, p. 3,2004.

[3] Nielsen, J. 2000. Projetando websites. Rio de Janeiro:Campus.

[4] Preece J., Rogers Y., and Sharp H. 2005. Design deInteração: além da interação homem-computador. PortoAlegre: Bookman.

[5] Rocha H. V., Baranauskas M. C. C. 2003. Design eAvaliação de Interfaces Humano-Computador. Campinas:NIED/UNICAMP.

[6] Dix A., Finlay J., Abowd G. D., and Beale R. 2004. Human-Computer Interaction, 3 ed. Essex: Prentice Hall.

[7] Preece, J. 1995. A Guide to Usability: human factors incomputing. Wokingham: Addison-Wesley.

(8) Kosara, R., Healey, C. G., Interrante, V., Laidlaw, D. H., andWare, C. 2003. User Studies: Why, How, and When? IEEEComputo Graph. Appl. 23, 4 (Jul. 2003), 20-25. D01=http://dx.doi.orgll0.11 09/MCG.2003. 12I0860

[9] Marsh, T. 1999. Evaluation of virtual reality systems forusability. In CHI '99 Extended Abstracts on Human Factorsin Computing Systems (pittsburgh, Pennsylvania, May 15 -20, 1999). em '99. ACM, New York, NY, 61-62. DOI=http://doi.acm.orgll0.1145/632116.632756

[10] Stone, D., Jarret, C., Woodroffe, M., and Minocha, S. 2005.User Interface Design and Evaluation. San Francisco:Morgan Kaufinann.

177