Caracterização das Adaptações em Métodos de Avaliação

para Aplicações Colaborativas

Natália Sales Santos, Lidia Silva Ferreira e Raquel Oliveira Prates

Departamento de Ciência da Computação (DCC), Universidade Federal de Minas Gerais (UFMG)

Av. Antônio Carlos, 6627 – Pampulha, Belo Horizonte/MG, Brasil.

{nataliasales, lidiaferreira, rprates}@dcc.ufmg.br

ABSTRACT

Although the development and use of collaborative systems

has increased lately, evaluate them is not a simple task.

Most of the HCI evaluation methods that are consolidated

are aimed at single-user systems and require adaptation in

order to be applied to collaborative systems. The goal of

this paper is to present an initial characterization of the

adaptations that have been proposed in order to allow

single-user evaluation methods to be applied to different

collaborative systems and contexts.

Categories and Subject Descriptors

H.5.3 [INFORMATION INTERFACES AND

PRESENTATION]: Group and Organization Interfaces

General Terms

Measurement, Human Factors.

Keywords

Groupware, evaluation, collaborative systems evaluation,

cooperative system evaluation.

INTRODUÇÃO

Os sistemas colaborativos estão cada vez mais presentes na

sociedade. Este fato torna evidente a necessidade de avaliá-

los para verificar a adequação desses sistemas aos seus

usuários. Entretanto, apesar das pesquisas na área, ainda

não existe consenso sobre o que avaliar, que método utilizar

e quando avaliar [15]. Essa situação tem levado ao uso de

métodos adaptados para a avaliação de aplicações

colaborativas.

Este artigo trabalha com enfoque sobre estes métodos,

investigando (1) a motivação para a adaptação, (2) em quais

aspectos foi necessária alteração da aplicação padrão do

método e (3) qual a distribuição desse fenômeno no tempo.

O objetivo é caracterizar e analisar qualitativamente essas

adaptações, a fim de verificar como o desafio de avaliar

sistemas colaborativos tem sido tratado nos últimos anos.

TRABALHOS RELACIONADOS

Durante uma revisão na literatura, não foram encontrados

trabalhos que façam uma caracterização de métodos de

avaliação de sistemas colaborativos. Relacionado a esse

tema, foi identificado o trabalho realizado por [11], em que

os autores apresentam uma classificação dos métodos, a

partir de uma revisão de trabalhos que avaliaram sistemas

colaborativos da conferência ACM CSCW de 1990-1998.

Nesse estudo foram analisados todos os artigos que

introduziram ou avaliaram aplicações de sistemas

colaborativos presentes na conferência, num total de 45

artigos. Os autores propuseram uma forma de classificar os

trabalhos dividindo-os em cinco áreas: tipo de avaliação,

características da avaliação, coleta de dados e técnicas,

avaliação do ciclo de desenvolvimento de software e tipo

de conclusões tiradas a partir da avaliação. Embora esse

trabalho apresente revisões sobre avaliação de sistemas

colaborativos, ele analisou os métodos de forma geral, não

se aprofundando na natureza dos métodos apresentados.

No trabalho desenvolvido por [16] realizou-se uma revisão

sistemática da literatura, a fim de apresentar um panorama

de como os sistemas colaborativos estão sendo avaliados. O

trabalho mostra que nos últimos doze anos grande parte dos

métodos apresentados são adaptados (onde é utilizado um

método que já existe, mas com modificações em sua

aplicação). Motivados por esse trabalho propusemos a

caracterização do que tem sido adaptado nesses métodos,

buscando informações sobre o que se tem feito para avaliar

sistemas colaborativos.

ANÁLISE

O objetivo deste trabalho é apresentar uma análise

aprofundada sobre os métodos que em [16] foram

classificados como adaptados, a fim de caracterizar que

tipos de adaptações foram feitas e com quais objetivos.

Para este estudo, foram utilizados 13 artigos dos 29 que

foram retornados pela SLR apresentada em [16]. O nosso

foco foi sobre métodos voltados para avaliação de

interfaces/qualidade de uso.

Classificamos os métodos de avaliação em estudo de

acordo com o tipo de avaliação que realiza, sendo eles:

avaliação por inspeção, coleta de dados dos usuários e

avaliações com usuários, que foi dividido em avaliações

feitas em ambiente real e em ambiente controlado. Tal

classificação foi necessária para possibilitar a visualização

dos tipos de avaliações que estão sendo adaptadas. Assim,

posteriormente, é possível analisar quais os métodos foram

LEAVE BLANK THE LAST 2.5 cm (1”) OF THE LEFT

COLUMN ON THE FIRST PAGE FOR THE

COPYRIGHT NOTICE.

297

usados dentro de cada tipo de avaliação.

Analisando a Erro! Fonte de referência não encontrada.

percebemos que o tipo de avaliação mais utilizado foi a

inspeção, sendo que os métodos que a usaram foram os que

mais sofreram adaptações para se avaliar sistemas

colaborativos.

Tipo de avaliação

Número de

estudos que

utilizaram a

avaliação

Estudos

Ambiente real 2 [3];[5]

Ambiente controlado 3 [9];[1];[10]

Inspeção 8 [15];[6];[4];[2];

[13];[12];[8];[14]

Coleta de dados do

usuário 1 [1]

Tabela 1. Tipos de avaliação e estudos que os utilizaram

Durante a análise dos métodos de avaliação foi possível

classificar duas diferentes motivações para as adaptações:

Caso 1: Adaptação do método para possibilitar a

avaliação da parte colaborativa do sistema, antes não

abrangida pela avaliação;

Caso 2: Adaptação do método para enquadrar à avaliação

de características peculiares de uma aplicação ou

domínio colaborativo em estudo.

Também definimos diferentes focos dos estudos em análise:

Foco no sistema: o artigo apresenta uma aplicação

colaborativa e realiza uma avaliação da mesma;

Foco no método: o artigo tem por objetivo estudar o

método de avaliação para groupware e faz a avaliação de

um sistema colaborativo para exemplifica-lo.

Como mostra a 0, a maior parte dos artigos que apresentam

métodos adaptados e estão enquadrados no Caso 1 têm

maior incidência de foco no método. Isso se dá porque

esses artigos muitas vezes tratam da adaptação de um

método de avaliação originalmente de sistema monousuário

para avaliação de sistemas colaborativos. O mesmo

acontece nos estudos com foco no método que se

enquadram no Caso 2, porém, neste caso a adaptação do

método é feita para a avaliação de um sistema colaborativo

específico em estudo.

A fim de traçar paralelos de comparação e análise entre os

métodos de avaliação estudados, eles foram divididos pelo

tipo de adaptação, ou seja, Caso 1 e Caso 2. Essa estratégia

foi adotada por permitir uma fácil visualização dos padrões

e comparação dos motivos dessas decisões, possibilitando o

traçado do perfil de adaptações.

Caso 1: adaptação para abranger a parte colaborativa

No trabalho apresentado por [2] foram propostos um

conjunto de heurísticas específicas para contemplar a parte

colaborativa de sistemas de apoio a equipes (pequenos

grupos). A proposta é utilizar o método de Avaliação

Heurística com este conjunto para se conseguir aplicar uma

avaliação a um baixo custo.

Figura 1. Relação entre tipo de adaptação e foco do estudo

O método SWIMs apresentado em [8], une o método

Scenario Walkthrough, Método de Inspeção e entrevistas.

Esta abordagem é centrada na captação, agregação e análise

de reflexões sobre o apoio dos usuários do sistema para

cenários específicos. Para isso, adaptaram-se as etapas de

avaliação de forma que o avaliador tenha um maior

conhecimento sobre o contexto do sistema antes de entrar

em campo. Nas demais etapas são aplicadas entrevistas para

validar as informações colhidas no primeiro momento e

enfim, analisar as consequências do uso destes cenários e as

reivindicações dos usuários sobre o mesmo.

O método apresentado em [9] foi adaptado da abordagem

Ciclo de Vida, que consiste em um processo iterativo para a

análise, codificação, desenvolvimento, testes e manutenção

do projeto. É empregado para avaliação formativa. Porém,

o Ciclo de Vida para um sistema colaborativo deve se

derivar de uma sequência que inclui a análise das

necessidades dos usuários, elaboração de instrumentos para

avaliação dos requisitos, além de utilizar o feedback dos

usuários para modificar o que não estiver adequado. Foi

incluída na abordagem entrevistas com perguntas abertas,

para captar a opinião dos usuários.

O estudo [10] descreve uma proposta para estender o

Método de Avaliação de Comunicabilidade (MAC), a fim

de permitir a avaliação de sistemas colaborativos. As etapas

de análise (interpretação, etiquetagem e perfil semiótico) do

método estendido são as mesmas do método original, pois

são necessárias para permitir a identificação dos sistemas

de interação do usuário. A adaptação é feita na metodologia

da etiquetagem, que apresenta uma nova maneira de

identificar os enunciados, e na interpretação, que trabalha

com uma nova ontologia de problemas relevantes.

O trabalho em [12], apresenta o método Groupware

Walkthrough que adapta o método Cognitive Walkthrough,

incluindo um modelo de tarefas colaborativas que

298

descrevem as tarefas que os membros do grupo deveriam

inspecionar posteriormente. Assim, os avaliadores

determinaram o quão bem a interface suporta o trabalho em

grupo dos usuários. Com isso foi possível desenvolver uma

técnica de baixo custo que revela problemas na colaboração

antes não identificados.

No artigo [15] fez-se a inspeção do sistema para possibilitar

a criação das tarefas para a realização do teste com usuário.

A inspeção foi adaptada para que ocorresse de forma

informal, pois embora tenha sido detalhada, foi guiada pela

experiência dos avaliadores. No entanto, a inspeção

independente se mostrou inviável, pois o sistema consistia

em uma ferramenta de comunicação síncrona que dependia

da comunicação por conferência para possibilitar a

avaliação. Por tais motivos, a inspeção foi feita em conjunto

pelos avaliadores.

Em [1] é proposto um framework para avaliar um sistema

colaborativo em desenvolvimento ou aquisição, além de

diretrizes para selecionar a técnica de avaliação apropriada.

O trabalho assume que avaliação é um processo evolutivo,

durante o ciclo de vida do sistema. Mesmo o estudo tendo

um objetivo diferente do nosso trabalho, ele apresenta dois

estudos de casos que utilizaram métodos distintos em

diferentes momentos do desenvolvimento de um software

colaborativo. O primeiro estudo de caso adapta o método

Keystroke-Level Model. O tempo investido na avaliação foi

baixo, pois foi utilizada uma abordagem analítica, onde os

resultados obtidos contribuíram para a percepção do valor

atribuído pela ferramenta para a organização.

Caso 2: adaptação para enquadrar a um estudo de caso

O segundo estudo de caso do estudo [1], adapta o método

Cooperation Scenarios (COS), que utilizou uma abordagem

de estudo piloto, fornecendo informações preliminares úteis

para compreender o possível impacto da ferramenta no

cenário de inspeção em construção. A principal limitação

apresentada pelo método é o nível de realismo dos

resultados obtidos; se o cenário de teste é semelhante ao

cenário real, então os resultados são representativos. Caso

contrário o esforço para a avaliação é muito alto. O método

baseado no SPADA apresentado em [3] também sofreu

mudanças. Ele foi modificado de modo a obter as

características de design colaborativo e melhorar o processo

de avaliação. Como o método SPADA trabalha com

dimensões, essa definição foi modificada para levar em

conta a natureza da tarefa de criação e as características das

tecnologias de mediação.

O estudo em [4] centra na avaliação dos aspectos relativos à

usabilidade e apoio da consciência. A ideia principal é

comparar um sistema de modelagem de colaboração com

uma ferramenta de monousuário existente que é

compartilhada por meio de um sistema. O estudo

desenvolveu o Framework for Evaluating Groupware

Systems que consiste no uso de três métodos de avaliação:

Heurísticas de Baker, Cognitive Walkthrough e testes com

usuário.

O trabalho [5] apresenta questões metodológicas na

avaliação relacionada com o processo de concepção do

sistema a ser avaliado. Considera-se que é importante

construir configurações de avaliação que implique em

diversas variáveis relacionada com a complexidade inerente

às situações colaborativas, a fim de melhor compreender e

interpretar comportamentos dos usuários.

Em [6] é apresentado um framework para a concepção e

avaliação distribuída de Collaborative Virtual

Environments (CVEs) focado em aplicações médicas. Este

estudo dividiu a avaliação em três seções, onde foi em cada

seção foi aplicado um diferente método de avaliação: a

primeira seção consistiu em um teste de usabilidade; a

segunda em observação em ambiente real; a terceira em

questionários. Através da junção dos resultados desses

métodos foi possível formular orientações adicionais para a

implementação de sistemas CVEs.

O trabalho apresentado em [13] sugeriu o novo método

Table-Collaboration Usability Analysis (T-CUA) a partir

do método Collaboration Usability Analysis (CUA). O

método CUA é útil na realização de avaliações formativas

de usabilidade de sistemas colaborativos de tabletop e seus

mecanismos de colaboração podem ser aplicados para uma

vasta gama de situações colaborativas. Porém, ele não é um

método concreto e não descreve ações específicas, tornando

difícil operacionalizar a concepção e avaliação de

sistemas colaborativos. Por isso foi desenvolvido T-CUA,

uma técnica formativa de usabilidade para tabletop

groupware, com modificação nas ações prevista pelo CUA.

Assim, operações específicas são utilizadas para a

colaboração no trabalho de tabletop. As ações foram

desenvolvidas a partir de estudos de observação de

atividades em grupo em tabletop regulares. As ações do

tabletop fornecem uma maneira para os avaliadores

explorarem as possíveis situações de colaboração que

podem surgir quando um sistema é implantado e pode

ajudar a identificar casos em que um projeto de groupware

não fornece uma consideração adequada para os padrões

comuns de interação em tabletop.

Em [14] é apresentado um novo conjunto de heurísticas

para avaliar a usabilidade de jogo multiplayer: Networked

Game Heuristics (NGH). O objetivo é determinar se

avaliadores experientes conseguem entender e

operacionalizar as heurísticas propostas e se elas são úteis

na identificação de problemas de usabilidade. A avaliação

mostrou que as heurísticas foram eficazes no processo de

avaliação para jogos multiplayer em rede.

Por fim, consolidamos a análise constatando que vários

aspectos foram avaliados com o uso dos métodos de

avaliação adaptados. A Figura 2 mostra que ao longo dos

últimos doze anos o aspecto recorrente nas avaliações é a

usabilidade, o que demonstra uma constante preocupação

em garantir que os sistemas proporcionem uma interação

mínima com os usuários.

299

Figura 2. Aspectos avaliados nos métodos por ano

CONCLUSÃO E TRABALHOS FUTUROS

Os estudos feitos com os trabalhos que trataram de métodos

adaptados para avaliar sistemas colaborativos foram

importantes para caracterizar como as adaptações estão

sendo realizadas. Observou-se que a maioria das adaptações

foram feitas a partir de métodos originalmente criados para

analisar sistemas monousuários. Alguns fatores que podem

ter levado a isso é o fato de não haver ainda métodos

consolidados para avaliação de sistemas colaborativos [1] e

também o amplo conjunto de aspectos que pode se querer

avaliar nesses sistemas. O desafio de se avaliar sistemas

colaborativos continua a existir, mas para contornar essa

dificuldade a alternativa mais utilizada tem sido a

adaptação de métodos de avaliação para sistemas

monousuários.

A caracterização dos métodos aqui apresentada é

importante para que as pessoas tenham um conhecimento

geral do que existe e os diferentes focos. Este trabalho é um

primeiro passo para uma caracterização completa. Os

próximos passos envolvem fazer uma análise mais

aprofundada dos métodos de avaliação identificados em

[16], assim como dos métodos novos identificados no

trabalho.

REFERÊNCIAS

1. Antunes, P., Herskovic, V., Ochoa, S. F., Pino, J. A.

(2012) Structuring dimensions for collaborative systems

evaluation. In ACM Comput. Surv. 44, 2, Article 8

(March 2012), 28 pages.

2. Baker, K., Greenberg S., Gutwin C. (2002) Empirical

development of a heuristic evaluation methodology for

shared workspace groupware. In Proc. of CSCW '02.

3. Burkhardt, J. M., Détienne, F., Hébert, A. M., Perron,

L., Safin, S., Leclercq, P. (2009) An approach to assess

the quality of collaboration in technology-mediated

design situations. In Conf. of ECCE '09.

4. Gallardo, J., Molina, A. I. , Bravo, C., Redondo M. Á.,

Collazos, C. A. Empirical and Heuristic-Based

Evaluation of Collaborative Modeling Systems: An

Evaluation Framework. In Group Decision and

Negotiation, 2011, Volume 20, Number 5, Pages 535-

562.

5. Gauducheau, N.; Soulier, E.; Lewkowicz, M. (2005)

Design and evaluation of activity model- based

groupware: methodological issues. In Proc. of 14th

IEEE WETICE’05.

6. Goebbels, G., Lalioti, V.i, Göbel M. (2003) Design and

evaluation of team work in distributed collaborative

virtual environments. In Proc. of VRST '03.

7. Grudin, J. (1988). Why groupware applications fail:

Problems in design and evaluation. Office: Technology

and People, 4(3), 245-264.

8. Haynes, S. R., Purao, S., Skattebo, A.L. (2009)

Scenario-Based Methods for Evaluating Collaborative

Systems. In CSCW, Volume 18, Number 4, 331-356.

9. Huang, J.P.H. (2004) An enhanced approach to support

collaborative systems evaluation. In Proc. of IEEE 13th

WETICE 2004.

10. Mattos, B.A.M.; Prates, R.O.; An Overview of the

Communicability Evaluation Method for Collaborative

Systems. In: IADIS International Conference

WWW/Internet 2011, 2011, Rio de Janeiro.

Proceedings of WWW/Internet 2011, 2011. p. 129-136.

11. Pinelle, D. Gutwin, C. (2000) A review of groupware

evaluations. In Proc. of 9th IEEE WETICE 2000.

12. Pinelle, D., Gutwin C. (2002) Groupware walkthrough:

adding context to groupware usability evaluation.

In Proc. of CHI '02.

13. Pinelle, D., Gutwin C. (2008) Evaluating teamwork

support in tabletop groupware applications using

collaboration usability analysis. In Personal Ubiquitous

Comput. 12, 3 (January 2008), 237-254.

14. Pinelle, D., Wong, N., Stach, T., Gutwin, C. (2009).

Usability heuristics for networked multiplayer games.

In Proc. of GROUP '09.

15. Prates, R. O. ; Raposo, A. B.. Desafios para Testes de

Usuários em Sistemas Colaborativos - Lições de um

Estudo de Caso. In: Anais Estendidos do IHC'2006.

16. Santos, N.S., Ferreira, L.S., Prates, R.O. (2012) Um

Panorama sobre Métodos de Avaliação de Sistemas

Colaborativos. In: Anais do Simpósio Brasileiro de

Sistemas colaborativos (SBSC 2012).

300