um ambiente de avalia˘c~ao da usabilidade de software ... · folha de aprova˘c~ao disserta˘c~ao...

$: Um ambiente de avalia˘c~ao da usabilidade de software ... · Folha de Aprova˘c~ao Disserta˘c~ao sob o t tulo \Um ambiente de avalia˘c~ao da usabilidade de software apoiado por$
U N I V E R S I D A D E DE S A O P A U L O

Escola de Artes, Ciencias e Humanidades

Thiago Adriano Coleti

Um ambiente de avaliacao da usabilidade desoftware apoiado por tecnicas de

processamento de imagens e reconhecimentode fala

Sao Paulo

2014

Thiago Adriano Coleti

Um ambiente de avaliacao da usabilidade desoftware apoiado por tecnicas de

processamento de imagens e reconhecimentode fala

Dissertacao apresentada a Escola de Artes,

Ciencias e Humanidades da Universidade de

Sao Paulo para obtencao do tıtulo de Mestre em

Ciencias. Programa: Sistemas de Informacao.

Versao corrigida contendo as alteracoes so-

licitadas pela comissao julgadora. A versao

original encontra-se disponıvel na Escola de

Artes, Ciencias e Humanidades.

Orientador(a): Prof. Dr. Marcelo Moran-

dini

Sao Paulo

2014

Autorizo a reproducao e divulgacao total ou parcial deste trabalho, por qualquer meio

convencional ou eletronico, para fins de estudo e pesquisa, desde que citada a fonte.

CATALOGACAO-NA-PUBLICACAO

Biblioteca

Escola de Artes, Ciencias e Humanidades da Universidade de Sao Paulo

Coleti, Thiago Adriano

Um ambiente de avaliacao da usabilidade de software apoiado por

tecnicas de processamento de imagens e reconhecimento de fala / Thiago

Adriano Coleti : orientador, Marcelo Morandini. - Sao Paulo, 2014.

[155]f.: il.

Dissertacao (Mestrado em Ciencias) - Programa de Pos-

Graduacao em Sistemas de Informacao, Escola de Artes, Ciencias

e Humanidades, Universidade de Sao Paulo, em 2013.

Versao corrigida.

1. Interface homem-computador. 2. Usabilidade de software -

Avaliacao. 3. Teste e avaliacao de software. 4. Reconhecimento

de imagem. 5. Reconhecimento de voz. I. Morandini, Marcelo,

orient. II. Tıtulo

CDD 22.ed. - 004.019

Folha de Aprovacao

Dissertacao sob o tıtulo “Um ambiente de avaliacao da usabilidade de software apoiado

por tecnicas de processamento de imagens e reconhecimento de fala”, defendida por Thiago

Adriano Coleti e aprovada em 17 de dezembro de 2013, em Sao Paulo, Estado de Sao

Paulo, pela banca examinadora constituıda pelos doutores:

Prof. Dr. Marcelo MorandiniOrientador

Prof. Dr. Junia Coutinho AnacletoUniversidade Federal de Sao Carlos

Prof. Dr. Joao Luiz Bernardes Jr.Universidade de Sao Paulo

Dedico este trabalho a meu pai, que muito me apoiou

no comeco deste curso, mas que por vontade de Deus

partiu cedo e com certeza esteve ao meu lado nesta

caminhada.

Agradeco primeiramente a Deus e a Nossa Senhora

Aparecida por permitir que eu realizasse mais

esta etapa, me proporcionando forcas para nunca

desistir. Agradeco a minha esposa Claudete, pela

compreensao, apoio e principalmente paciencia com

todas as minhas viagens, ausencias e muitas vezes,

nervosismos, com as tarefas a realizar. Obrigado por

todo carinho, dedicacao, voce foi fundamental para

conclusao deste trabalho. Ao meu grande orientador,

Prof. Marcelo Morandini, pela confianca, por todas

as orientacoes, pelos ensinamentos, pela amizade, por

ter me apresentado ao mundo da pesquisa cientıfica

e por todas as oportunidades. Muito Obrigado por

tudo! Ao meu pai (in memoriam), minha mae,

avos e todos os familiares, por sempre me apoiarem

neste trabalho e por todo esforco realizado para me

ajudar a chegar ate aqui. Agradeco aos meus amigos,

alunos e demais professores que, de alguma forma,

contribuıram para conclusao deste trabalho.

Sabei que o Senhor e Deus: ele nos fez, e a Ele perten-

cemos. Somos o seu povo e as ovelhas de seu rebanho

(Salmo 99:3)

Resumo

COLETI, Thiago Adriano. Um ambiente de avaliacao da usabilidade de soft-ware apoiado por tecnicas de processamento de imagens e reconhecimento defala. 2014. 155 f. Dissertacao (Mestrado em Ciencias) – Escola de Artes, Ciencias eHumanidades, Universidade de Sao Paulo, Sao Paulo, 2013.

A filmagem e a verbalizacao sao metodos de teste de usabilidade considerados funda-mentais para apoiar a avaliacao da usabilidade de software, pois permitem ao avaliadorcoletar dados reais da capacidade de interacao de um sistema e sua influencia sobre ousuario. Os testes sao, geralmente, realizados com usuario reais do software para queos mesmos possam submeter a interface as mais diversas situacoes. Embora eficazes, afilmagem e a verbalizacao sao pouco eficientes, pois necessitam de muito trabalho paraanalise dos dados coletados e identificacao de problemas de usabilidade. Pesquisas jarealizadas na area apontam para um tempo de analise de duas a dez vezes o tempo doteste. Este trabalho teve como objetivo desenvolver um ambiente computacional que uti-lizava eventos de pronuncia de palavras chave e reacoes faciais para apoiar o processode coleta, analise e identificacao de interfaces com possıveis problemas de usabilidade deforma rapida e segura. O ambiente foi composto por um aplicativo que monitorava (emsegundo plano) a utilizacao de um determinado aplicativo registrando palavras chave pro-nunciadas pelo participante e imagens faciais em determinados intervalos de tempo. Alemdestes dados, imagens das telas do sistema (snapshots) tambem eram registrados a fimde indicar quais interfaces eram utilizadas no momento de um determinado evento. Aposa coleta, estes dados eram organizados e disponibilizados para avaliador com destaquespara eventos que poderiam indicar insatisfacao do participante ou possıveis problemasna utilizacao. Foi possıvel concluir que os eventos relacionados a verbalizacao com pa-lavras chave foram eficazes para apoiar a tarefa de analise e identificacao de interfacesproblematicas, pois as palavras estavam relacionadas com classificadores que indicavamsatisfacao ou insatisfacao por parte do usuario. A atividade de verbalizacao se mostroumais eficiente quando a analise de seus dados foi aplicada em conjunto com as imagensfaciais, pois permitiram uma analise mais confiavel e abrangente. Nesta analise, o avalia-dor teve condicoes de identificar quais interfaces do sistema foram mal classificadas pelousuario e qual era o foco de visao/utilizacao do usuario no momento do evento. Paraanalises efetuadas com utilizacao de palavras chave com/sem utilizacao de imagens, otempo gasto para identificar as interfaces e possıveis problemas foi reduzido para menosde duas vezes o tempo de teste.

Palavras-chave: Avaliacao da Usabilidade, Teste de Usabilidade, Processamento de

Fala, Processamento de Imagens, Analise de Dados.

Abstract

COLETI, Thiago Adriano. An enviornment to support usability evaluationusing image processing and speech recognition. 2014. 155 p. Dissertation (Masterof Science) – School of Arts, Sciences and Humanities, University of Sao Paulo, Sao Paulo,2013.

Filming and verbalization are considered fundamental usability test methods to sup-port software usability evaluation, due to the reason that allows the evaluator to collectreal data about the software interaction capacity and how it influences the user. Thetests are, usually, performed by real software users because they can submit the system toseveral situations that were not presupposed by evaluator in the labs. Although effective,the filming and the verbalization are not efficient due to the reason that require a longtime to analyzing the data and identify usability problems. Researches performed in thearea present that the time to data analysis is two to ten times the test time. This researchaimed to develop an environment that used events as words pronounced and face reacti-ons to support the collect, analysis and identification of interfaces with usability problemseasily and safe. The environment is composed by a software to monitoring (background)of the user activities. The software collects key words pronounced by the participant andface images in specific time intervals. Besides these data, snapshots of the interfaces wereregistered in order to present which interfaces were in used in the event moment. Afterthe collect stage, these data were processed and available to the evaluator with highlightsto events that could indicate unsatisfactory events or potential utilization problems. Inthis research, was possible to conclude that the verbalization events using key words wereeffective to support the analysis and identification of problematic interfaces because thewords were related to specific context that indicated the user opinion. The verbalizationactivities were more effective in the moments that the data analysis was performed usingthe face images to support it, allowing more reliable and comprehensive data analysis. Inthis analysis, the evaluator was able to identify which interfaces were classified negativelyby the participant and which was the user focus of view/use in the event moment. Inanalysis performed using key words and/or not using the face images, the time to iden-tifying the interfaces and potentials usability problems was reduced to less than twice thetime of test.

Keywords: Usability Evaluation, Usability Test, Speech Processing, Image Proces-

sing, Data Analysis.

Lista de Figuras

1 Modelo de qualidade em uso da ISO 25010 . . . . . . . . . . . . . . . . . . 25

2 Laboratorio de usabilidade . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

3 Imagem de aplicacao de filtro de suavizacao com base na vizinhanca. Fonte:

(NUNES, 2011) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44

4 Imagem de aplicacao de filtro de realce (NUNES, 2011) . . . . . . . . . . . . 44

5 Atividades do processamento de imagens (GONZALEZ; WOODS, 2000) . . . 46

6 Histograma de uma imagem em tons de cinza . . . . . . . . . . . . . . . . 48

7 Vetores de caracterısticas de uma imagem . . . . . . . . . . . . . . . . . . 49

8 Atividades de Processamento de Fala . . . . . . . . . . . . . . . . . . . . . 53

9 Linhas de codigo para acesso a funcoes da ferramenta Coruja . . . . . . . . 54

10 Abordagem do sistema EvaLogger (BALAGTAS-FERNANDEZ; HUSSMANN,

2009) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61

11 Abordagem de Avaliacao da Usabilidade de Hasan, Morris e Probets (2013) 67

12 Modelo de Cartao de emocoes de Fernandez et al. (2012) . . . . . . . . . . 68

13 Resultados dos experimentos de Fernandez et al. (2012) . . . . . . . . . . . 69

14 Resultados da analise de emocoes de Fernandez et al. (2012) . . . . . . . . 70

15 Comparacao dos resultados da abordagem de Fernandez et al. (2012) com

os Criterios Ergonomicos . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71

16 Configuracao de testes para o aplicativo Morae . . . . . . . . . . . . . . . 73

17 Tela do aplicativo Morae Observer http://www.techsmith.com . . . . . . . 74

18 Abordagem do sistema ErgoMonitor (MORANDINI, 2002) . . . . . . . . . . 76

19 Arquivos de configuracao do Coruja . . . . . . . . . . . . . . . . . . . . . . 81

Lista de Figuras

20 Interface do prototipo de teste da ferramenta Coruja . . . . . . . . . . . . 82

21 Reconhecimento facial com OpenCV (OLIVEIRA; JAQUES, 2008) . . . . . . 85

22 Teste de reconhecimento facial com OpenCV . . . . . . . . . . . . . . . . . 85

23 Diagrama de Caso de Uso do ErgoSV . . . . . . . . . . . . . . . . . . . . . 87

24 Diagrama de Caso de Uso do ErgoSV . . . . . . . . . . . . . . . . . . . . . 88

25 Diagrama de Classe ErgoSV . . . . . . . . . . . . . . . . . . . . . . . . . . 89

26 Interface de registro de participantes do ErgoSV . . . . . . . . . . . . . . . 91

27 Tela inicial do sistema ErgoSV . . . . . . . . . . . . . . . . . . . . . . . . 92

28 Fluxograma de inicializacao de testes com o ErgoSV . . . . . . . . . . . . . 93

29 Fluxograma de reconhecimento de fala . . . . . . . . . . . . . . . . . . . . 94

30 Fluxograma de reconhecimento de face . . . . . . . . . . . . . . . . . . . . 95

31 Tela inicial do sistema ErgoSV Analyzer . . . . . . . . . . . . . . . . . . . 96

32 Tela para funcionalidade de processamento de imagens faciais . . . . . . . 97

33 Tela para analise de dados de fala - modulo Complete Informations . . . . 100

34 Tela para funcionalidade de processamento de imagens faciais . . . . . . . 102

35 Imagens da tela de apresentacao de graficos . . . . . . . . . . . . . . . . . 103

36 Tela com a relacao de imagens descartadas . . . . . . . . . . . . . . . . . . 104

37 Interface de selecao de intervalos de tempo . . . . . . . . . . . . . . . . . . 105

38 Interface de visualizacao de imagens de interface . . . . . . . . . . . . . . . 106

39 Interface de visualizacao de imagens faciais . . . . . . . . . . . . . . . . . . 107

40 Graficos de valores das caracterısticas . . . . . . . . . . . . . . . . . . . . . 108

41 Imagem padrao X Nao padrao . . . . . . . . . . . . . . . . . . . . . . . . . 115

42 Variacao dos valores das caracterısticas . . . . . . . . . . . . . . . . . . . . 122

43 Imagem padrao X Imagem candidata e suas respectivas caracterısticas . . . 122

44 Estrutura de analise dos dados . . . . . . . . . . . . . . . . . . . . . . . . . 124

45 Graficos de palavras pronunciadas para analise . . . . . . . . . . . . . . . . 125

Lista de Figuras

46 Selecao de palavra e intervalo . . . . . . . . . . . . . . . . . . . . . . . . . 126

47 Estrutura de selecao de imagens de tela por palavra . . . . . . . . . . . . . 127

48 Interface reprovada por diversos participantes . . . . . . . . . . . . . . . . 127

49 Tela do PEM com muitos recursos . . . . . . . . . . . . . . . . . . . . . . . 129

50 Tela do PEM classificada como Bom . . . . . . . . . . . . . . . . . . . . . 129

51 Lista de registro de imagens com valores de similaridade . . . . . . . . . . 132

52 Imagens com expressoes faciais relevantes X Nao identificaveis . . . . . . . 133

53 Tela do ErgoSV com dados de similaridade . . . . . . . . . . . . . . . . . . 136

54 Arvore do ambiente do teste no momento de uma reacao . . . . . . . . . . 137

55 Imagem facial e imagem de tela com possıvel local de insatisfacao . . . . . 139

56 Imagem facial e imagem de tela com possıvel local de insatisfacao . . . . . 139

57 Comparativo de tempo de analise com dados de fala . . . . . . . . . . . . . 141

58 Comparativo de tempo de analise com dados de fala e dados de imagem . . 144

Lista de Tabelas

1 Contagem geral de artigos da Revisao Bibliografica Especıfica . . . . . . . 56

2 Contagem dos artigos incluıdos na Revisao Bibliografica Especıfica . . . . . 57

3 Relacao de artigos analisados . . . . . . . . . . . . . . . . . . . . . . . . . 59

4 Relacao de artigos incluıdos manualmente . . . . . . . . . . . . . . . . . . 60

5 Problemas identificados pela abordagem de Fernandez et al. (2012) . . . . 71

6 Resultados dos testes da ferramenta Coruja . . . . . . . . . . . . . . . . . 83

7 Caracterısticas das imagens extraıdas pelo ErgoSV Analyzer . . . . . . . . 98

8 Caracterısticas dos participantes dos experimentos . . . . . . . . . . . . . . 113

9 Quantidade de testes por aplicativo . . . . . . . . . . . . . . . . . . . . . . 116

10 Lista de experimentos da abordagem . . . . . . . . . . . . . . . . . . . . . 117

11 Estatısticas dos teste . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117

12 Quantidade de dados registrados . . . . . . . . . . . . . . . . . . . . . . . . 118

13 Quantidade de palavras registradas . . . . . . . . . . . . . . . . . . . . . . 119

14 Quantidade de imagens registradas versus imagens descartadas . . . . . . . 119

15 Tempos utilizados para parametros para analise . . . . . . . . . . . . . . . 123

16 Valores de similaridade por expressao facial . . . . . . . . . . . . . . . . . . 133

17 Classificacao de valores de similaridade por teste . . . . . . . . . . . . . . . 134

18 Tempos utilizados para parametros para analise . . . . . . . . . . . . . . . 145

Sumario

1 Introducao 16

1.1 Consideracoes Iniciais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

1.2 Objetivos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

1.3 Justificativa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

1.4 Organizacao do Trabalho . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

2 Conceitos Fundamentais 21

2.1 Consideracoes Iniciais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

2.2 Interacao Humano Computador . . . . . . . . . . . . . . . . . . . . . . . . 21

2.3 Usabilidade . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

2.4 Avaliacao da Usabilidade . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

2.4.1 Avaliacao em Laboratorio . . . . . . . . . . . . . . . . . . . . . . . 29

2.4.2 Avaliacao em Ambiente Real . . . . . . . . . . . . . . . . . . . . . . 30

2.4.3 Tecnicas de Observacao do Usuario . . . . . . . . . . . . . . . . . . 31

2.4.3.1 Verbalizacao (Think aloud) . . . . . . . . . . . . . . . . . 32

2.4.3.2 Registros de Imagens . . . . . . . . . . . . . . . . . . . . . 37

2.4.3.3 Monitoramento por Arquivos de Logs . . . . . . . . . . . . 38

2.5 Processamento de Imagens . . . . . . . . . . . . . . . . . . . . . . . . . . . 41

2.5.1 Conceitos Fundamentais . . . . . . . . . . . . . . . . . . . . . . . . 41

2.5.2 Ferramentas de Apoio ao Processamento de Imagens . . . . . . . . 46

2.5.3 Recuperacao de Imagens Baseada em Conteudo . . . . . . . . . . . 47

2.5.3.1 Extratores . . . . . . . . . . . . . . . . . . . . . . . . . . . 48

Sumario

2.5.3.2 Funcoes de Similaridade . . . . . . . . . . . . . . . . . . . 50

2.5.4 Consideracoes Finais sobre Processamento de Imagens . . . . . . . 50

2.6 Processamento de Fala . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51

2.6.1 Aplicativos de Processamento de Fala . . . . . . . . . . . . . . . . . 53

2.6.2 Consideracoes Finais sobre Processamento de Fala . . . . . . . . . . 55

2.7 Frameworks para Avaliacao da Usabilidade . . . . . . . . . . . . . . . . . . 55

2.7.1 Revisao Bibliografica Especıfica . . . . . . . . . . . . . . . . . . . . 56

2.7.2 Ambientes de teste de usabilidade . . . . . . . . . . . . . . . . . . . 60

2.7.2.1 EvaLogger . . . . . . . . . . . . . . . . . . . . . . . . . . . 61

2.7.2.2 Monitoramento por Arquivos de Logs - ErgoMonitor . . . 63

2.7.2.3 Eye Tracking . . . . . . . . . . . . . . . . . . . . . . . . . 64

2.7.2.4 Avaliacao para E-Commerce . . . . . . . . . . . . . . . . . 66

2.7.2.5 Modelo de Avaliacao da Usabilidade para Model Driver

Development . . . . . . . . . . . . . . . . . . . . . . . . . 67

2.7.2.6 Consideracoes Finais sobre Ambientes de Avaliacao . . . . 71

2.8 Ferramentas de Avaliacao da Usabilidade . . . . . . . . . . . . . . . . . . . 72

2.8.1 Morae . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72

2.8.2 ErgoMonitor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75

2.8.3 ErgoCoin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76

3 Metodologia de Pesquisa 78

3.1 Definicao da Estrutura do Sistema . . . . . . . . . . . . . . . . . . . . . . . 78

3.1.1 Componentes para o desenvolvimento da aplicacao . . . . . . . . . 79

3.1.1.1 Ambiente de Desenvolvimento e Linguagem de Programacao 79

3.1.1.2 Projeto Coruja - Projeto Fala Brasil . . . . . . . . . . . . 79

3.1.2 Testes com a ferramenta Coruja . . . . . . . . . . . . . . . . . . . . 81

3.1.2.1 Biblioteca OpenCV . . . . . . . . . . . . . . . . . . . . . . 83

Sumario

3.1.2.2 Consideracoes Finais sobre a Selecao de Recursos Compu-

tacionais . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85

3.1.3 Definicao e Modelagem das Funcionalidades . . . . . . . . . . . . . 86

3.1.4 Consideracoes finais sobre a Estrutura do Sistema . . . . . . . . . . 90

3.2 Estrategias de Uso da Abordagem e da Aplicacao . . . . . . . . . . . . . . 90

3.2.1 Coleta de Dados . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90

3.2.2 Analise de Dados e Geracao de Informacoes . . . . . . . . . . . . . 95

3.2.2.1 Processamento/Comparacao Facial . . . . . . . . . . . . . 97

3.2.2.2 Vizualizacao de Dados e Informacoes . . . . . . . . . . . . 99

3.2.2.3 Aba Words . . . . . . . . . . . . . . . . . . . . . . . . . . 99

3.2.2.4 Aba Face Images . . . . . . . . . . . . . . . . . . . . . . . 101

3.2.2.5 Aba Charts . . . . . . . . . . . . . . . . . . . . . . . . . . 102

3.2.2.6 Aba Discarted Images . . . . . . . . . . . . . . . . . . . . 103

3.2.2.7 Visualizacao de Imagens das Telas/Face . . . . . . . . . . 104

3.2.2.8 Funcao Features Charts . . . . . . . . . . . . . . . . . . . 107

3.2.3 Consideracoes Finais sobre a Estrategia de Uso da Aplicacao . . . . 108

3.3 Validacao da Abordagem . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109

3.3.1 Aplicativos Selecionados . . . . . . . . . . . . . . . . . . . . . . . . 109

3.3.1.1 Experimentos no WEC . . . . . . . . . . . . . . . . . . . . 109

3.3.1.2 Experimentos no WPG . . . . . . . . . . . . . . . . . . . 110

3.3.1.3 Experimentos no PEM . . . . . . . . . . . . . . . . . . . . 111

3.3.1.4 Consideracoes finais sobre a escolha dos aplicativos . . . . 112

3.3.2 Selecao de Participantes . . . . . . . . . . . . . . . . . . . . . . . . 112

3.3.3 Estrategias de Validacao da Abordagem . . . . . . . . . . . . . . . 113

3.3.4 Experimentos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116

3.3.4.1 Coleta de Dados . . . . . . . . . . . . . . . . . . . . . . . 116

Sumario

3.3.5 Pre Processamento dos Dados . . . . . . . . . . . . . . . . . . . . . 119

3.3.6 Analise dos Dados . . . . . . . . . . . . . . . . . . . . . . . . . . . 123

3.3.6.1 Analise Somente com Dados de Voz . . . . . . . . . . . . . 124

3.3.6.2 Analise Somente com Dados de Imagens . . . . . . . . . . 130

3.3.6.3 Analise com Dados de Voz e Imagens . . . . . . . . . . . . 136

3.4 Resultados da Validacao . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140

3.4.1 Analise dos dados de voz . . . . . . . . . . . . . . . . . . . . . . . . 140

3.4.2 Analise com dados de imagem . . . . . . . . . . . . . . . . . . . . . 142

3.4.3 Consideracoes Finais dos Resultados . . . . . . . . . . . . . . . . . 143

4 Conclusao 147

4.1 Contribuicoes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147

4.2 Limitacoes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148

4.3 Trabalhos Futuros . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148

4.4 Publicacoes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149

Referencias 151

16

Capıtulo 1

Introducao

1.1 Consideracoes Iniciais

O desenvolvimento de interfaces graficas para sistemas computacionais se tornou uma

das principais atividades do processo de desenvolvimento de software e vem recebendo

atencao especial de empresas e instituicoes de ensino que atuam na area de Interacao

Humano Computador (IHC). Interfaces sao recursos computacionais que permitem a in-

teracao do usuario com o sistema, ou seja, permitem sua utilizacao em tarefas diversas.

A importancia dispensada nas atividades de design de interfaces levou ao aumento de

investimentos na area e o surgimento/crescimento de empresas, laboratorios de pesquisa,

cursos, metodos e tecnicas com objetivo de desenvolver sistemas com usabilidade (CYBIS;

BETION; FAUST, 2010).

O termo usabilidade refere-se ao principal objetivo daqueles que atuam na tarefa da

concepcao da IHC de um produto. A usabilidade e definida como a capacidade que um

sistema interativo oferece a seu usuario dentro de um determinado contexto de realizar

suas tarefas com eficacia (completitude), eficiencia (melhores recursos) e satisfacao (bem

estar do usuario) (ISO9241, 2002). Por se tratar de um conceito que remete, de forma

geral, a qualidade de interacao de um sistema e a capacidade que o mesmo oferece a seu

usuario de realizar suas tarefas, a usabilidade se tornou fator crıtico de sucesso e aceitacao

do produto por seus usuarios (CYBIS; BETION; FAUST, 2010; PREECE; BORGES; SHARP,

2005; ROCHA; BARANAUSKAS, 2003).

O processo realizado por equipes de designers para alcancar altos nıveis de usabili-

dade compreende atividades como: identificacao do contexto e da necessidade do usuario,

producao de prototipos para elucidar requisitos, desenvolvimento do produto final e ava-

liacao da usabilidade. Todas as atividades citadas sao de suma importancia no processo

de design e nenhuma delas deve ser ignorada. Entretanto, a atividade de avaliacao da

usabilidade deve ser considerada por desenvolvedores como uma das mais importantes

neste processo devido a capacidade de gerar informacoes sobre a usabilidade do sistema

1.1 Consideracoes Iniciais 17

por ser realizada em todos os estagios do desenvolvimento da interface. Esta caracterıstica

pode evitar que sistemas venham a ser entregues com problemas de interacao que com-

prometam a capacidade de utilizacao e levem a rejeicao por parte de seus usuarios (CYBIS;

BETION; FAUST, 2010; NIELSEN, 1993; PREECE; BORGES; SHARP, 2005).

A avaliacao da usabilidade pode ser realizada de duas formas: inspecao de usa-

bilidade e teste de usabilidade. A primeira refere-se a atividades que visam verificar

se uma interface esta de acordo com um determinado padrao de qualidade como os

Criterios Ergonomicos de Dominique Scapin e Christian Batien (SCAPIN; BASTIEN, 1997)

ou as Heurısticas de Jakob Nielsen (NIELSEN, 1993); a segunda refere-se a atividades sis-

tematicas com objetivo de verificar como uma pessoa ou um grupo de pessoas interagem

com a aplicacao e como a mesma interfere positiva ou negativamente em suas atividades,

ou seja, tem como principal intencao verificar a capacidade de interacao oferecida pela

interface ao seu usuario. (CYBIS; BETION; FAUST, 2010; NIELSEN, 1993; PREECE; BORGES;

SHARP, 2005).

Os testes de usabilidade permitem ao avaliador identificar problemas de interacao

do sistema com o usuario e devido a isso e realizado, na maioria dos casos, com a parti-

cipacao de pessoas diretamente envolvidas com a utilizacao final do software, citados neste

trabalho como “usuarios tradicionais”ou “participantes”. Observar o usuario durante a

utilizacao da aplicacao compreende um metodo amplamente utilizado por avaliadores e

pode ser apoiado por tecnicas como a filmagem e a verbalizacao, esta ultima tambem

conhecida por Think Aloud. Enquanto a primeira tecnica consiste na utilizacao de uma

ou varias cameras de vıdeo posicionadas estrategicamente para coletar imagens do par-

ticipante realizando suas tarefas, a verbalizacao consiste em solicitar ao participante que

verbalize (fale) sua opiniao a respeito do sistema, e assim, expresse seus pensamentos

pela voz, para registro em gravadores de audio ou papel e consequentemente possam ser

utilizados para gerar informacoes sobre a usabilidade do aplicativo testado (CYBIS; BE-

TION; FAUST, 2010; NIELSEN, 1993). Ambas as tecnicas sao consideradas eficazes, porem

demoradas e de alto custo (pouco eficiente). Estes pontos negativos ocorrem devido ao

fato do avaliador precisar revisar todos os registros de vıdeo e/ou de fala mais de uma

vez para encontrar possıveis indicadores de problemas de usabilidade e de acordo Nielsen

(1993) esta atividade pode levar, no mınimo, de duas a dez vezes o tempo da avaliacao.

Portanto, um teste que demorou quinze minutos para ser realizado pelo usuario comum,

um avaliador pode levar, no mınimo, 30 minutos para identificar questoes de usabilidade.

Esta pesquisa foi desenvolvida com objetivo de implementar uma melhoria na abor-

1.2 Objetivos 18

dagem de observacao apoiada por tecnicas de filmagem e verbalizacao. As modificacoes

focam-se na coleta e processamento automatizado dados. Os dados referem-se a eventos

proporcionados pelos participantes tais como pronuncia de palavras chave e reacoes fa-

ciais. Estes dados foram utilizados na geracao de informacoes de qual(is) momento(s)do

teste o usuario pode ter demonstrado insatisfacao ou nao com o produto e assim, permitir

que o avaliador visualize de forma rapida e pratica qual(is) interface(s) estavam em uso

no momento de determinado evento reduzindo o tempo para analise e identificacao de

possıveis problemas de usabilidade.

1.2 Objetivos

Esta pesquisa teve como objetivo desenvolver uma abordagem para apoiar testes da

usabilidade utilizando eventos de verbalizacao e reacoes faciais para geracao de dados e

recursos de processamento de imagens, reconhecimento facial e reconhecimento de fala

para processamento dos dados e geracao de informacoes. As informacoes tiveram como

foco a criacao de insumos de forma automatizada que auxiliassem um avaliador na analise,

identificacao de interfaces e tomada de decisao de forma rapida, pratica e segura. Dentre

essas informacoes se destacam a indicacao de momentos no qual o participante propor-

cionou eventos como reacoes adversas, que poderiam indicar problemas na interface, ou

reacoes de satisfacao, que indicassem estruturas que deveriam ser mantidas e/ou replica-

das no software. Com o indicativo desses momentos a abordagem disponibilizou acesso

a imagens das interfaces utilizadas no momento do evento especıfica, momentos antes e

momentos apos tal evento a fim de permitir uma analise de toda situacao relacionada a

tal reacao.

A reducao do tempo na identificacao dos eventos negativos, na analise das interfaces

utilizadas e na geracao de informacoes basicas era o principal objetivos desta pesquisa.

Para atingir este objetivo geral os seguintes objetivos especıficos necessitaram ser

alcancados:

• levantamento das principais vantagens e desvantagens da metodologia de observacao

do usuario utilizando filmagem e verbalizacao;

• levantamento de pesquisas realizadas a fim de identificar solucoes para melhorar a

capacidade e agilidade do processamento e geracao de informacoes em testes feitos

com filmagem e verbalizacao;

1.3 Justificativa 19

• selecao os recursos de software adequados para aplicar na pesquisa a fim de melhor

o processamento e a geracao de informacoes em testes de usabilidade;

• identificacao, teste e selecao de recursos tecnologicos para apoiar a pesquisa;

• desenvolvimento de um aplicativo dividido em dois modulos que recebeu o nome de

ErgoSV e foi utilizado para coleta, processamento e geracao de informacoes sobre

os testes;

• realizacao de testes em aplicativos utilizando usuarios tradicionais;

• analise do comportamento da abordagem de teste durante os experimentos a fim de

verificar a eficacia e eficiencia do mesmo para a atividade fim;

• considerando os resultados dos testes, efetuar a classificacao da abordagem proposta

como adequada ou inadequada para apoiar testes de usabilidade utilizando filmagem

e verbalizacao.

Na proxima secao sera apresentada a justificativa para a realizacao desta pesquisa.

1.3 Justificativa

A necessidade de utilizacao de software por usuarios com as mais diversas carac-

terısticas somadas a grande quantidade de atividades que podem ser executadas e a im-

portancia que estas tem para o dia a dia das pessoas fez com que a experiencia do usuario

se tornasse uma preocupacao constante para desenvolvedores de IHC.

Considerar a opiniao do usuario final em relacao a qualidade da interface e fundamen-

tal para determinar o fator de sucesso para o sistema e para isso a realizacao de testes de

usabilidade se faz necessaria para identificar, qualificar e/ou quantificar a qualidade da

interacao entre usuario e sistema.

Enquanto a inspecao de usabilidade permite identificar se a interface esta de acordo

com algum padrao de qualidade e normalmente e realizada por especialistas da area, o

teste de usabilidade permite ao avaliador analisar a capacidade de interacao do sistema

com o usuario provendo dados para a elaboracao de um parecer de como o aplicativo se

comporta perante todas as situacoes nas quais e submetido, como os diversos usuarios se

comportam frente ao sistema e como fatores externos influenciam na interacao.

1.4 Organizacao do Trabalho 20

A dificuldade na realizacao do teste de usabilidade principalmente no que diz respeito

a analise e geracao de informacoes pode levar designers e avaliadores a optarem pela nao

realizacao do procedimento deixando de identificar possıveis erros na aplicacao e conse-

quentemente entregar sistemas com pessima qualidade de IHC dificultando a utilizacao

final.

A presente pesquisa se justifica pelo fato de desenvolver uma abordagem que facilite

a execucao de testes de usabilidade, principalmente na fase de analise e identificacao de

problemas. A abordagem foi apoiada por um sistema utilizado para coletar, processar e

gerar informacoes. Estes recursos podem servir de incentivo para equipes de desenvol-

vimento de IHC (em centros de pesquisas e fabricas de software) realizarem testes em

aplicativos em fase de desenvolvimento e/ou ja finalizados (produto final) com usuarios

tradicionais devido, principalmente, a reducao de tempo e a facilidade para identificacao

de dados que indiquem insatisfacao do participante.

Na proxima secao e apresentacao a organizacao desta dissertacao.

1.4 Organizacao do Trabalho

Estas atividades estao organizadas de forma a apresentar a pesquisa realizada para

que os objetivos apresentados fossem atingidos e contempla os topicos: Introducao, Fun-

damentacao Teorica, Metodologia, Resultados e Discussao e Consideracoes Finais.

Neste primeiro capıtulo sao apresentadas a contextualizacao, objetivos gerais e es-

pecıficos, justificativa e esta organizacao do trabalho.

No segundo capıtulo sera apresentada a Fundamentacao Teorica na qual se descreve

os conceitos fundamentais dos assuntos que norteiam este trabalho tais como Interacao

Humano Computador, Usabilidade, Avaliacao da Usabilidade, Processamento de Imagens,

Reconhecimento Facial e Reconhecimento de Fala, assim como uma pesquisa bibliografica

especıfica sobre a utilizacao de processamento de imagens e reconhecimento de fala para

apoiar a avaliacao da usabilidade.

No terceiro capıtulo sera explicado o processo de desenvolvimento do ambiente de

avaliacao (ErgoSV), sua estrutura e seus diagramas UML (GUEDES, 2009), estrategias de

teste, hoteses e resultados obtidos.

No ultimo capıtulo serao apresentadas as conclusoes, contribuicoes, limitacoes e tra-

balhos futuros para esta pesquisa.

21

Capıtulo 2

Conceitos Fundamentais

2.1 Consideracoes Iniciais

Neste capıtulo serao apresentados os conceitos sobre IHC, Usabilidade e Avaliacao

da Usabilidade relacionados a area principal desta pesquisa. Serao apresentados tambem

conceitos sobre processamento de imagens, reconhecimento facial e reconhecimento de

fala, temas abordados como apoio aos processos de avaliacao da usabilidade.

Uma pesquisa bibliografica especıfica contendo abordagens de teste de usabilidade ja

existentes e aplicados tambem e apresentada e discutida neste capıtulo.

2.2 Interacao Humano Computador

O termo Interacao Humano-Computador (IHC) surgiu no inıcio dos anos 80 e inicial-

mente estava relacionado ao software e hardware, ou seja, com os recursos que o usuario

utilizava para interagir com o computador. Atividades relacionadas a pesquisas e desen-

volvimento de recursos destinados e interacao entre usuario e software evoluıram para uma

nıvel no qual a preocupacao com o usuario, principalmente no aspecto fısico, cognitivo e

emocional, e uma constante. Os aplicativos passaram a ser criados visando reduzir a carga

de trabalho fısica e mental do usuario e como resultado proporcionarem maior satisfacao,

permitindo ao mesmo tempo a realizacao de tarefas com completitude e qualidade (CYBIS;

BETION; FAUST, 2010; ROCHA; BARANAUSKAS, 2003).

Embora tratada em muitos casos de forma erronea, simplesmente como o ato de

posicionar componentes nas interfaces dos sistemas, suas atividades vao muito alem, pois

tratam de questoes como entendimento dos requisitos do usuario, analise, prototipagem,

desenvolvimento e testes de recursos de interacao dos sistemas. Na realizacao destas

tarefas, questoes relacionadas a saude, bem estar, limitacoes e experiencias do usuario

final devem ser consideradas prioridades por parte dos designers (ROCHA; BARANAUSKAS,

2003).

2.2 Interacao Humano Computador 22

O processo de desenvolvimento de sistemas interativos sempre foi um desafio para o

profissional de computacao e esse desafio vem aumentando a cada ano devido aos diversos

recursos que surgem, resultados de extensas e complexas pesquisas e atividades de desen-

volvimento. Alem da vasta quantidade de recursos, a diversidade de usuarios incrementa

as dificuldades a estes desafios (CYBIS; BETION; FAUST, 2010; NIELSEN, 1993; PREECE;

BORGES; SHARP, 2005) .

No final da decada de setenta e inıcio da decada de 80 os usuarios de computadores

estavam restritos a profissionais da area, bem preparados e que desenvolviam recursos

para sua propria utilizacao e sempre observando seus proprios limites. Com o passar dos

anos, mais exatamente apos a decada de noventa e apos o surgimento de recursos como a

Internet, computadores mais baratos e aplicativos dotados de recursos diversos, fez com

que o numero de usuarios de computadores aumentasse significativamente. Os recursos

computacionais passaram a ser utilizados por todos os tipos de pessoas e com as mais

diversas habilidades. Atualmente, ha casos em que o desenvolvedor cria uma aplicacao

sem saber o perfil exato de seus usuarios finais, sabendo somente que podem variar muito.

Por exemplo, um sistema de caixa eletronico pode ser acessado por pessoas com vasto

conhecimento em informatica e tambem por pessoas que nao tem nenhuma instrucao

especıfica na area e esse nıvel de conhecimento pode estar distribuıdo em jovens, adultos,

idosos e cada um com suas possıveis limitacoes tais como visao, movimentos ou leitura

(CYBIS; BETION; FAUST, 2010; PRESSMAN, 2011).

A grande variedade de usuarios se tornou uma preocupacao constante de desenvolve-

dores de IHC devido ao fato que designers precisam criar recursos completos (que contem-

plem todas as atividades) e que possam ser utilizados pelo seu publico. Caracterısticas

como cor, tamanho de fonte, formato da interface, quantidade de informacoes exibidas em

tela devem ser consideradas por um desenvolvedor de IHC. A reutilizacao de interfaces

para fins diferentes deve ser analisada de forma cuidadosa pelo desenvolvedor porque uma

interface pode ser adequada para uma classe de usuario e nao ser boa para outra classe.

Caracterısticas das regras de negocios tambem devem ser tratadas com extrema atencao,

por exemplo, em um sistema de controle contabil o objetivo final do seu usuario pode

ser a execucao das tarefas de forma rapida e por completo, entretanto em um sistema de

trafego aereo a execucao de forma rapida pode nao ser prioridade, mas sim a execucao de

forma segura. Ja em um sistema de caixa eletronico a execucao da tarefa deve ser simples

e pratica permitindo que qualquer pessoa possa utiliza-lo (CYBIS; BETION; FAUST, 2010;

NIELSEN, 1993; PREECE; BORGES; SHARP, 2005).

2.3 Usabilidade 23

O principal objetivo da area de IHC e entregar produtos com capacidade de interacao

otimizada e que permitam que seus participantes realizem suas tarefas com eficacias,

eficiencia e consequentemente tenham satisfacao. Este conceito remete a definicao de

usabilidade, que sera explicado na proxima secao.

2.3 Usabilidade

Segundo Nielsen (1993) a usabilidade e um requisito de qualidade de software ne-

cessario e exigido para atingir a qualidade de um sistema computacional permitindo que

o mesmo seja utilizavel e facil de aprender. Um sistema que tenha boas taxas de usabili-

dade permite que seus usuarios o utilizem de forma satisfatoria, agradavel e produtiva e

assim, atinja seu objetivo. A definicao de usabilidade e apresentada pela ISO 9241, como

a capacidade que um sistema interativo oferece a seu usuario de realizar suas tarefas com

eficacia, eficiencia e satisfacao. Ainda segundo a norma, os tres parametros que sustentam

a usabilidade sao definidos como:

• Eficacia: relacionada a completitude e precisao na qual uma tarefa e executada;

• Eficiencia: refere-se a quantidade e a forma de utilizacao de recursos disponıveis

para atingir determinada meta;

• Satisfacao: relacionada ao bem-estar do usuario, ou seja, o quanto o mesmo esta

satisfeito com o resultado do sistema.

Um aplicativo com boa usabilidade evita que seu usuario tenha que aprender procedi-

mentos complexos, ajuda na memorizacao das atividades no sistema, orienta na exploracao

de seu conteudo, protege contra erros e facilita procedimentos e reduz a carga fısica e men-

tal da pessoa, alem da diminuir o tempo gasto para realizar uma tarefa (CYBIS; BETION;

FAUST, 2010).

E importante destacar que a usabilidade nao e uma caracterıstica intrınseca da inter-

face, mas um conjunto de atributos que, atuando de forma coerente, levam uma aplicacao

a ter altos nıveis de usabilidade e estes fatores podem variar de acordo com o usuario e o

contexto de aplicacao. Por exemplo, em um sistema de Home Banking a gestao de erros e

uma caracterıstica de suma importancia, pois visa evitar os erros do usuario e o possıvel

comprometimento da integridade financeira, porem somente essa caracterıstica nao seria

o suficiente para uma boa utilizacao, recursos tais como boa visibilidade das informacoes,

2.3 Usabilidade 24

design adequado para todas as idades, termos e palavras de facil entendimento agregam

qualidade a interface do sistema e conquentemente aumentam o nıvel de usabilidade da

aplicacao (CYBIS; BETION; FAUST, 2010; NIELSEN, 1993; PREECE; BORGES; SHARP, 2005).

Da mesma forma que um aplicativo com bons nıveis de usabilidade facilita a vida

de seus usuarios, a falta desse requisito pode levar a serios problemas que vao desde a

dificuldade de encontrar um componente na tela ou de memorizar determinada tarefa

ate serios problemas de saude tais como fortes cargas de stress e palpitacoes. Fatores

psicologicos podem ser afetados e provocar situacoes como falta de motivacao, medo ou

sensacao de inferioridade. Questoes tecnicas, fısicas ou psicologicas podem ser fortemente

influenciadas pelo nıvel de usabilidade, tanto para mais quanto para menos, mas e fato

que afetam diretamente a qualidade de vida dos usuarios de sistema (CYBIS; BETION;

FAUST, 2010).

A verificacao da usabilidade de um software pode ser realizada por meio da ava-

liacao da usabilidade que se trata de um conjunto de metodos e tecnicas sistematicas

que apoiam o avaliador na coleta e geracao de informacoes sobre a usabilidade (CYBIS;

BETION; FAUST, 2010; NIELSEN, 1993; PREECE; BORGES; SHARP, 2005). Porem, e comum

surgir a pergunta: Quais os atributos devem existir em um sistema para que o mesmo

possa ter usabilidade? A norma ISO 9241 apresenta uma lista com quatro atributos que

caracterizam um sistema com usabilidade e Cerrato (2012) apresenta tambem uma per-

gunta para cada atributo, que visa direcionar o leitor a uma reflexao sobre a usabilidade

de uma aplicacao. Os quatro atributos e suas respectivas perguntas sao:

• Facilidade de uso: E facil para os usuarios aprenderem como usar seu sistema?

• Eficiente para usar: Os usuarios conseguem encontrar e obter informacao rapida-

mente e efetivamente em seu produto?

• Memorizavel: Um usuario que retorne ao seu aplicativo conseguiu reter alguma

experiencia de aprendizado por ter visitado anteriormente?

• Erros dos usuarios: E uma falha do programador ou projetista do software quando

o usuario experimenta um erro?

Recentemente o termo usabilidade recebeu uma atualizacao em sua definicao com a

norma ISO 25010 publicada em 2012 e que segundo Cerrato (2012) substituiu a norma

ISO 9126.

2.3 Usabilidade 25

A norma ISO 25010 apresenta um modelo de qualidade de software que divide os

criterios de aplicacao em dois: atributos internos de qualidade e atributos externos de

qualidade (ISO 25010).

Os atributos internos referem-se a fatores internos e estaticos do sistema que normal-

mente nao sao influenciados por fatores como usuarios ou contexto de operacao tais como

arquitetura do software, estruturas de dados e componentes utilizados no sistema. A va-

lidacao e verificacao desses atributos podem ser feitos por meio de testes nos algoritmos

e nas estruturas de dados internas do sistema.

Ja os atributos externos estao relacionados a caracterısticas do sistema que influen-

ciam seu comportamento e consequentemente o comportamento de seu usuario durante

a tentativa de atingir determinados objetivos. Sua validacao pode ser feita por meio de

testes que simulem a utilizacao do aplicativo em ambiente real.

Dentro da ISO 25010 a usabilidade passou a ser definida como a medida que um

sistema pela qual um produto pode ser usado por usuario especıficos para atingir metas

especıficas com eficacia em uso, eficiencia em uso e satisfacao no uso em um contexto

especıfico de operacao.

A norma ISO 25010 tambem acrescenta a caracterıstica de usabilidade que descende

da qualidade em uso mais duas caracterısticas relacionadas a Flexibilidade e Seguranca.

A caracterıstica de Flexibilidade se refere a capacidade do sistema de adequar a diversas

formas de uso dentro de determinado contexto e a Seguranca arremete a capacidade do

sistema em evitar erros que possam comprometer quaisquer atributos relacionados ao

sistema tais como saude do usuario, integridade dos dados e ambiente de uso. A Figura

1 apresenta o diagrama da caracterıstica de qualidade em uso.

Figura 1 – Modelo de qualidade em uso da ISO 25010

2.4 Avaliacao da Usabilidade 26

Por fim, a usabilidade e uma caracterıstica (atributo) de uma aplicacao que expressa

a qualidade da IHC que permite que o software seja um produto utilizavel dentro de

determinado contexto facilitando as atividade de aprendizado, memorizacao e utilizacao

de forma geral reduzindo carga mental e fısica do operador, proporcionando tambem

eficacia e eficiencia na realizacao das atividades e satisfacao de seus usuarios.

O processo de desenvolvimento de software com altos nıveis de usabilidade e um

processo complexo e requer atividades de verificacao e validacao constante. Esta validacao

pode ser realizada por meio da avaliacao da usabilidade utilizando tecnicas como os testes

de usabilidade. Na proxima secao serao apresentados conceitos, metodos e tecnicas sobre

avaliacao e teste de usabilidade.

2.4 Avaliacao da Usabilidade

Desde a decada de 80, quando surgiram os primeiros sistemas interativos e epoca na

qual ocorreu uma expansao da utilizacao de software, existe a preocupacao em avaliar a

usabilidade de uma aplicacao (HOLLINGSED; NOVICK, 2007). O surgimento e a popula-

rizacao da Internet no inıcio da decada de 90 ajudou a expandir a ideia da avaliacao da

usabilidade, pois marca um perıodo no qual o desenvolvimento de software passa de uma

fase focada em especialistas da area de computacao para um fase na qual muitos usuarios,

com diversos nıveis de conhecimento, passaram a utilizar sistemas computacionais (PRE-

ECE; BORGES; SHARP, 2005).

Avaliar a usabilidade se tornou uma atividade fundamental no processo de design

devendo ser realizada no inıcio, durante e no final do processo de desenvolvimento, antes

da entrega para a seu usuario final (NIELSEN, 1993; ROCHA; BARANAUSKAS, 2003)

A avaliacao da usabilidade e um conjunto de metodos e tecnicas que devem ser apli-

cadas a fim de inspecionar a qualidade do design de uma interface. Dentre questoes

analisadas pelos avaliadores estao: (1) a adequacao da interface a determinados padroes

de qualidade de interface tais como Criterios Ergonomicos, Avaliacao Heurıstica e Regras

de Ouro; (2) a capacidade de interacao proporcionada pela interface a seu usuario, ou seja,

o quanto esta interface permite o seu utilizador realizar suas tarefas e “conversar”com a

aplicacao; (3) adequacao do design as tarefas do usuario; (4) capacidade de adaptacao

aos mais variados tipos de usuario, principalmente quando contempla em seus usuarios

candidatos pessoas com restricoes fısicas. Pontos negativos da interacao sao identificados

para posterior correcao e pontos positivos sao replicados para demais pontos da aplicacao


visando melhorar o maximo possıvel a qualidade da interface do sistema (CYBIS; BETION;

FAUST, 2010; NIELSEN, 1993; PREECE; BORGES; SHARP, 2005; ROCHA; BARANAUSKAS,

2003) .

Em resumo, efetuar a avaliacao da usabilidade do software apoia na identificacao de

problemas no projeto de interacao e apresenta ao projetista pontos que necessitam de

correcoes ou que sao consideradas bons e que possam ser replicadas a outros locais da

aplicacao.

Embora considerado um processo de teste e verificacao, a avaliacao da usabilidade

nao deve ser efetuada somente na fase final de desenvolvimento, mas sim durante todo o

ciclo de criacao do projeto. Para cada estagio de desenvolvimento ha tecnicas especıficas

de avaliacao e que apresentam melhores resultados para analise. Por exemplo, na fase

inicial pode-se avaliar a usabilidade de aplicativos semelhantes com objetivo de obter um

repositorio de praticas utilizadas com sucesso para replicacao dentro do projeto. Em uma

fase mais avancada do desenvolvimento podem ser efetuadas avaliacoes em laboratorio

com usuario e/ou especialistas a fim de identificar problemas nos requisitos de interface,

problemas com padroes de qualidade e, se necessario, dar novo rumo ao projeto. Na

fase final uma avaliacao com o usuario final no ambiente real de utilizacao pode ajudar a

identificar problemas de interacao que afetam a utilizacao, alem de interferencias externas

nao identificadas na fase de projeto. Na fase inicial do desenvolvimento na qual ha poucos

insumos sobre o sistema, testes mais informais podem ser realizados com a finalidade de

ajustar questoes da qualidade da interacao, porem, durante a fase final, avaliacoes formais

e mais rigorosas sao requeridas, principalmente com a participacao dos usuarios (CYBIS;

BETION; FAUST, 2010; NIELSEN, 1993; ROCHA; BARANAUSKAS, 2003).

A avaliacao e considerada por algumas organizacoes um custo adicional ao projeto e

ate mesmo um motivo de atraso nas entregas, porem, a nao realizacao desta atividade

pode levar a rejeicao do software por parte do usuario final e um consequente insucesso

do projeto (ROCHA; BARANAUSKAS, 2003).

O processo de avaliacao da usabilidade pode variar de acordo com o contexto do

software. Em uma aplicacao que sera utilizada em um caixa de supermercado para emissao

de cupom fiscal, uma bateria de testes de alguns dias e talvez meses seria suficiente para

checar e corrigir problemas de interacao. Entretanto, em uma aplicacao que tem por

objetivo controlar o trafego aereo, uma avaliacao da usabilidade pode demorar anos para

ser realizada. Para cada contexto de teste existem tecnicas que melhor se adaptam a eles,

por exemplo, para o sistema de mercado a avaliacao heurıstica pode ser suficiente, mas


para o sistema de trafego aereo tecnicas de testes de usabilidade utilizando observacao

do usuario podem ser utilizadas para agregar dados. Em certos casos pode haver a

necessidade de unir ou mesmo adaptar duas ou mais tecnicas de forma que atendam

melhor a necessidade da avaliacao (ROCHA; BARANAUSKAS, 2003).

A avaliacao pode ser efetuada utilizando dois metodos: inspecao de usabilidade ou

teste de usabilidade.

Nas inspecoes a interface da aplicacao e comparada com guidelines (guias de qua-

lidade) tais como heurısticas e/ou criterios ergonomicos. As inspecoes, porem, trazem

maior benefıcio na deteccao de problemas de usabilidade, em outras palavras, checar se o

software esta de acordo criterios de qualidade utilizados pela equipe de desenvolvimento

(ROCHA; BARANAUSKAS, 2003).

Entretanto, os testes de usabilidade tem como foco a avaliacao da qualidade das

interacoes entre usuario e o sistema. Segundo Cybis, Betion e Faust (2010) nao se trata

da elaboracao de relatorio de checagem, mas sim, descobrir como um usuario utiliza

determinada interacao e medir o impacto sobre suas atividades identificando assim, causas

de possıveis problemas na usabilidade.

O processo de avaliacao da usabilidade (tanto inspecoes como teste de usabilidade)

de um sistema computacional pode ocorrer em um laboratorio de usabilidade, utilizando

um ambiente simulado e controlado, porem, proximo ou semelhante a realidade, ou no

proprio ambiente real de utilizacao da aplicacao. Ambos os metodos de avaliacao podem

ter seus resultados alterados de acordo com o local no qual sao realizados, entretanto, a

inspecao de usabilidade tende a alterar menos considerando que independente do local

de testes as atividades se concentrarao na comparacao da interface com um determinado

criterio (CYBIS; BETION; FAUST, 2010; NIELSEN, 1993) .

Quando considerados os testes de usabilidade, cuidados devem ser tomados pelo fato

de que o teste pode sofrer mais interferencias externas em um ambiente real em relacao ao

ambiente controlado. Alem disso, em um ambiente real, o sistema e submetido a situacoes

muitas vezes difıceis de simular ou mesmo de serem imaginadas pelo avaliador (CYBIS;

BETION; FAUST, 2010).

Nos proximos topicos sera explicado como funcionam as avaliacoes em laboratorios e

no ambiente real de utilizacao.


2.4.1 Avaliacao em Laboratorio

Um laboratorio de teste de usabilidade e dotado de uma sala especial com equipa-

mentos que permitem o controle dos processos efetuados no software, dentre eles, cameras

de vıdeo, microfones, telefones para simular um sistema de help desk, vidros espelhados e

equipamentos de monitoramento para a equipe de avaliadores. Os vidros espelhados per-

mitem que o usuario realize suas atividades sem o constrangimento de estar sob observacao

direta, embora os avaliadores acompanhem o teste, o usuario nao pode visualiza-los. Alem

desses equipamentos, e comum a utilizacao de um facilitador, ou seja, uma pessoa para

acompanhar o processo de avaliacao, controlar as atividades a serem realizadas e resol-

ver pequenos problemas que possam ocorrer durante o processo. O facilitador nao tira

duvidas sobre o software, caso o usuario as tenha, deve fazer utilizando o simulador de

suporte (telefone) (CYBIS; BETION; FAUST, 2010). A Figura 2, apresenta um conceito de

laboratorio de avaliacao da usabilidade.

Figura 2 – Laboratorio de usabilidade

O teste efetuado em laboratorio e considerado ideal para software em seu estado de

concepcao. Durante a avaliacao, a equipe de avaliadores realiza experimentos controlados

simulando diversas situacoes como alteracoes nas interfaces, correcao de erros, insercao

de situacoes nao planejadas, havendo possibilidade de efetuar alteracoes nas versoes da

interface e aplicar os testes novamente (CYBIS; BETION; FAUST, 2010).

O primeiro passo para efetuar um teste em laboratorio e determinar uma hipotese

a ser testada e todas as variaveis de interesse assim como seus resultados que podem

ser validados estatisticamente, embora a validacao de variaveis seja difıcil e questionavel

quando envolve a utilizacao de seres humanos (ROCHA; BARANAUSKAS, 2003).

Essa abordagem e ideal para fornecer parametros do aplicativo em fase de desenvol-

vimento e em muitos casos dar um novo rumo ao processo de desenvolvimento, porem, a


avaliacao em laboratorio nao consegue simular 100% das situacoes que o sistema podera

ser submetido. Essas simulacoes podem ser efetuadas testando o software em ambiente

real de utilizacao (CYBIS; BETION; FAUST, 2010; ROCHA; BARANAUSKAS, 2003).

Na proxima secao serao apresentados conceitos a respeito da avaliacao no ambiente

real de utilizacao.

2.4.2 Avaliacao em Ambiente Real

O teste de usabilidade em laboratorio simula situacoes controladas e hipoteticas. Em-

bora permita a equipe de avaliacao testar o software, impede de verificar como o aplicativo

se integra com outras atividades em seu ambiente real.

Em um ambiente real de utilizacao o teste de usabilidade e feito visando submeter

o aplicativo a situacoes que podem ocorrer no local de trabalho que sera utilizado. Esse

metodo permite verificar como o sistema vai se integrar com as demais atividades do

usuario e, principalmente, avaliar como as acoes ocorridas no ambiente de trabalho, por

exemplo, telefonemas, interrupcoes por pessoas e outros agentes tecnologicos tais como

Skype, MSN e E-mail podem induzir o usuario a erros ou dificuldades na utilizacao soft-

ware (CYBIS; BETION; FAUST, 2010).

O ambiente de teste pode ser preparado utilizando cameras de vıdeo, microfones,

arquivos de check list, porem nao ha o mesmo controle do laboratorio, havendo a necessi-

dade de um rigoroso estudo posterior dos resultados da avaliacao (ROCHA; BARANAUSKAS,

2003).

A avaliacao da usabilidade no ambiente real do software pode ocorrer com a presenca

de um avaliador in loco. Embora nao possam ocorrer interferencias, o mesmo pode acom-

panhar o processo de utilizacao e em muitos casos sanar duvidas e problemas momentaneos

dentro de sua alcada. Porem, o deslocamento de avaliadores pode ser custoso financeira-

mente, alem de difıcil devido a localizacao da organizacao, transporte, etc. Devido a esse

fato, muitas avaliacoes passam a ser realizadas a distancia sem a participacao do avaliador

no local. Esse conceito denomina-se Remote Usability Evaluation (RUE), em portugues,

Avaliacao Remota de Usabilidade. Na abordagem de RUE o avaliador e o usuario podem

estar em locais, cidades e ate mesmo paıses diferentes. O avaliador pode acompanhar

remotamente e efetuar a analise dos dados em tempo real (Conceito Sıncrono) ou receber

e avaliar os dados em outra data/horario (Conceito Assıncrono) (RAMLI; JAAFAR, 2008;

VARGAS; WEFFERS; ROCHA, 2010).


Diversas tecnicas podem ser utilizadas para apoiar os testes de usabilidade tanto local

quanto remotamente e sao aplicadas com o objetivo de coletar dados, processar e gerar

informacoes sobre a interacao entre o usuario e o sistema computacional. Na proxima

secao serao apresentadas algumas tecnicas utilizadas em testes de usabilidades e seus

respectivos conceitos.

2.4.3 Tecnicas de Observacao do Usuario

Inspecionar se a interface atende a um determinado guideline pode apoiar no desen-

volvimento de interacoes dentro de boas praticas de IHC, porem, um sistema interativo

vai alem disso, ele precisa prover a seus usuarios a capacidade de interacao que permita

o mesmo realizar suas atividades com completitude, utilizando o menor e melhor numero

de recursos possıveis e como consequencia, deixar o usuario satisfeito (CYBIS; BETION;

FAUST, 2010; ROCHA; BARANAUSKAS, 2003) .

O teste de usabilidade visa identificar se existem problemas com a capacidade de

interacao oferecida pelo sistema a seu usuario dentro de um determinado contexto. Para

avaliar essa questao existe a necessidade de observar o usuario interagindo com o aplicativo

a fim de identificar tais problemas (CYBIS; BETION; FAUST, 2010).

Problemas de usabilidade podem ser identificados quando um sistema nao esta de

acordo com as necessidade do usuario e/ou nao permite que o mesmo realize suas ativi-

dades com eficacia e eficiencia e nao atenda, portanto, os atributos da norma ISO 9241

(CYBIS; BETION; FAUST, 2010; ROCHA; BARANAUSKAS, 2003).

Por esse motivo, a utilizacao de usuarios reais no processo de avaliacao da usabilidade

e fundamental para otimizar o processo de design de interface. Os usuarios da aplicacao

podem desconhecer melhores praticas de usabilidade, como heurıstica e/ou criterios er-

gonomicos, porem, podem submeter o sistema a situacoes reais de utilizacao muitas vezes

difıceis de serem levantadas nos requisitos e simuladas na implementacao. Com esta

abordagem de avaliacao o sistema e colocado em situacoes que permitem a identificacao

de fatores externos que interferem na interacao, por exemplo, telefones, comunicadores

(MSN, skype, GTalk), interferencia de outras pessoas e regras de negocio da organizacao,

que normalmente nao sao conhecidas em sua totalidade por designer e avaliadores (CYBIS;

BETION; FAUST, 2010; NIELSEN, 1993).

A observacao do usuario pode ser efetuada em laboratorio ou no ambiente real de

utilizacao, porem, o ambiente real pode prover situacoes extremamente proximas ao que


ocorre no dia a dia de um usuario, situacoes estas, que podem nao ser simuladas em

laboratorio (CYBIS; BETION; FAUST, 2010). O ambiente de avaliacao e importante para

determinar qual o foco da observacao. Preece, Borges e Sharp (2005) explicam que, no

laboratorio o foco da observacao esta nas atividades que o usuario desempenha e como

fazer no software. No caso da observacao de campo (ambiente real) o foco esta em como

as pessoas interagem uma com as outras, com a tecnologia, com o ambiente e como afetam

ou sao afetadas pelo sistema.

Observar o usuario utilizando o software pode inferir questoes importantes a serem

tratadas pela equipe de design. Ha diversas formas de observar o usuario, mas e comum

a utilizacao de tecnicas que envolvem as seguintes atividades:

• arquivos com registro de sons e fala: registram a fala do usuario durante o processo

de avaliacao;

• arquivos de vıdeo: registram as acoes do usuario por meio de filmes. O numero de

cameras e pontos a serem filmados pode variar de acordo com a equipe de avaliacao

e/ou contexto a ser avaliado.

• arquivos de logs de dados: contem informacoes sobre a utilizacao do software. Nao

se referem diretamente a imagens ou dados do usuario, mas sim aos dados sobre

acoes do usuario durante a utilizacao do sistema ou website avaliado.

A seguir serao apresentadas tres tecnicas utilizadas para observacao das acoes do

usuario durante um teste de usabilidade de software, sao elas: Verbalizacao tambem

conhecida pelo termo Think aloud ; Filmagem/Registro de Imagens e Monitoramento de

Usabilidade por arquivos de Logs.

2.4.3.1 Verbalizacao (Think aloud)

A verbalizacao e um metodo amplamente utilizado para apoiar testes de usabilidade,

porem o mesmo nao surgiu na area de IHC e sim na psicologia (BOREN; RAMEY, 2000;

HAAK; JONG; SCHELLENS, 2003). Segundo Boren e Ramey (2000) os primeiros estudos

visando verbalizacao foram feitos por W. James e W. Wundt com objetivo de estudar

teorias da mente humana.

Segundo Boren e Ramey (2000) pesquisadores da area de verbalizacao desenvolveram

um modelo de Think Aloud que se tornou a base para tecnicas utilizadas nos processos


de teste de usabilidade. Esse modelo era dividido em tres nıveis de verbalizacao no qual

cada um deles pode ser aplicado de forma diferenciada e se caracterizam, principalmente,

pela diferenca na carga mental do participante. Os tres nıveis sao:

Nıvel 1:Nesse nıvel a verbalizacao ocorre de forma direta entre o que usuario esta

pensando e o que ele precisa falar, ou seja, nao ha a necessidade de uma transformacao

do pensamento em algo para se pronunciar. Um exemplo desse nıvel e pensar em um

determinado numero, esse numero pode ser verbalizado sem a necessidade de uma grande

carga mental para transforma-lo em palavra.

Nıvel 2: Neste nıvel ocorre a necessidade de uma atividade mental maior por parte da

pessoa/usuario que esta verbalizando. Isso ocorre porque ha a necessidade de transformar

o que esta pensando em uma palavra para ser verbalizada. Por exemplo, se um usuario esta

utilizando um website e acha um recurso de interacao agradavel ele/ela precisa transformar

essa ideia em uma palavra tal como bom, ruim ou regular.

Nıvel 3: Este nıvel requer um processamento mental adicional, pois e considerado o

nıvel de verbalizacao mais complexo. Neste nıvel, o usuario/pessoa e forcado a tratar

questoes como, ”verbalizar somente o que esta relacionado ao assunto X” ou verbalizar

o resultado de um complexo calculo matematico. Outra forma relacionada a este nıvel, e

o fato do usuario recuperar informacoes ou comportamentos de sua memoria apos certo

tempo do acontecimento.

Trabalhos relacionados a usabilidade e verbalizacao podem ser encontrados desde o

inıcio da decada de noventa. Algumas pesquisas datadas entre 1990 e 2001 sao apre-

sentadas por Boren e Ramey (2000) relacionadas as areas de verbalizacao e IHC. Estes

trabalhos apresentaram a utilizacao da tecnica de verbalizacao com diversos usuarios que

utilizavam um software para executar determinadas tarefas. As atividades se resumiram

em utilizar aplicativos nos quais alguns usuarios realizavam suas tarefas em silencio e

outros precisavam verbalizar todas as suas atividades.

Em um desses trabalhos Wright e Converse utilizaram um sistema de gerenciamento

de arquivos. Durante os experimentos, alguns usuarios permaneciam em silencio e outros

forneciam explicacoes sobre suas atividades. Os participantes que estavam em condicao

de verbalizacao deveriam pronunciar o que estavam pensando durante todo o processo.

Se um participante demorasse mais de trinta segundos ou realizasse uma acao qualquer

sem verbalizar, o mesmo era advertido. Como resultado, os usuarios em condicao de

verbalizacao cometeram menos erros e consumiram menos tempo para realizacao das

tarefas em relacao aos usuarios que permaneceram em silencio. Os pesquisadores nao


identificaram diferencas relacionadas a facilidade de uso e/ou carga mental (WRIGHT;

CONVERSE, 1992 apud HERTZUM; HANSEN; ANDERSEN, 2009).

Essas pesquisas mostraram que a verbalizacao e uma tecnica eficiente para avaliacao,

porem, nao ha um padrao na interpretacao dos resultados. No trabalho de Boren e Ramey

(2000) e apresentada uma divergencia entre as pesquisas em relacao ao melhor nıvel de

verbalizacao utilizado para avaliacao, nao havendo um destaque de determinado nıvel,

mas os resultados variaram de acordo com o aplicativo testado, usuarios e metodologia,

ocorrendo, em determinados casos, sucesso dos nıveis 1 e 2 e em outros, sucesso do nıvel

3.

A dificuldade na determinacao de um padrao para avaliacao da usabilidade utilizando

verbalizacao foi comentada por Deffner que notou uma grande dificuldade em avaliar a

eficiencia da verbalizacao em fatores humanos e computacionais ocorre devido a grande

diversidade de procedimentos empregados por diferentes pesquisas (DEFFNER, 1990 apud

BOREN; RAMEY, 2000).

Atualmente a verbalizacao e um dos metodos mais utilizados para o teste de usa-

bilidade (BOREN; RAMEY, 2000; HAAK; JONG; SCHELLENS, 2003; HERTZUM; HANSEN;

ANDERSEN, 2009; NIELSEN, 1993). Uma pesquisa foi efetuada por McDonald, Edwards

e Zhao (2011) com uma amostra de 207 participantes que utilizavam a verbalizacao para

avaliar a usabilidade, contemplando praticantes, pesquisadores, estudantes e profissionais

de desenvolvimento. Dessa amostragem 90% dos pesquisadores e academicos utilizam a

verbalizacao com maior frequencia e 76% de praticantes e desenvolvedores afirmaram a

mesma situacao.

A verbalizacao tem grande aceitacao e utilizacao por parte da comunidade de IHC. Isto

ocorre porque a verbalizacao e um metodo que fornece dados importantes a respeito da

usabilidade do software. Isto ocorre, principalmente, porque o usuario, como conhecedor

da regra de negocios, pode verbalizar suas atividades permitindo identificar opinioes,

dificuldades e demais situacoes nao planejadas e com estes dados o avaliador e a equipe

de design podem identificar e corrigir possıveis problemas de interacao. Duas tecnicas

de verbalizacao sao defendidas por Cybis, Betion e Faust (2010), Nielsen (1993), Preece,

Borges e Sharp (2005) sao elas:

Verbalizacao Simultanea:nesta tecnica o usuario/participante e constantemente convi-

dado a verbalizar seus pensamentos ao mesmo tempo em que executa determinada tarefa.

Esta tecnica esta relacionada aos nıveis 1 e 2, definidos por Ericsson e Simons. Durante

a avaliacao o avaliador deve sempre convidar o participante a verbalizar com questoes


como:

• voce poderia me dizer o que esta pensando?

• o que voce esta tentando fazer?

• por que voce fez isso?

A verbalizacao simultanea e considerada simples e eficiente porque o usuario esta

focado na atividade e com a opiniao/pensamento ativo em sua mente, mas necessita de

uma carga cognitiva maior por parte do participante porque o mesmo precisa dividir

a atencao entre realizar as atividades no sistema, mentalizar e verbalizar a palavra. O

avaliador/analista deve gerenciar o processo de teste para nao causar sobrecarga cognitiva

e com isso atrapalhar ou induzir o usuario ao erro (CYBIS; BETION; FAUST, 2010).

O avaliador, nesta abordagem, deve atuar como um gerente das atividades. Dentre

suas atividades esta a manutencao do foco do usuario nas tarefas evitando que assun-

tos nao relacionados a avaliacao interfiram, distraiam ou sobrecarreguem o participante.

Manter o usuario verbalizando e outra tarefa do avaliador, ou seja, ele/ela deve sempre

alertar o participante quando o mesmo deixa de verbalizar advertindo o mesmo caso per-

maneca de 15 a 60 segundos em silencio e deve faze-lo de forma adequada para que o

alerta nao seja interpretado de forma ameacadora ou abusiva. Segundo Cybis, Betion e

Faust (2010), o avaliador pode chamar a atencao com uma simples frase, por exemplo,

“Continue falando”.

Durante a verbalizacao simultanea de um website de compras o usuario pode pronun-

ciar frases ou palavras que auxiliam o avaliador a identificar problemas ou qualidades da

interface, por exemplo:

• estou com dificuldade para encontrar o produto;

• recurso de busca bem simples;

• que ruim!!;

• legal!!;

• quais informacoes sao obrigatorias??

Verbalizacao Consecutiva: Nesta tecnica o usuario e submetido a uma entrevista apos

a realizacao do teste e encorajado a verbalizar sobre determinada atividade ao mesmo


momento tempo em que assiste a algum registro de sua performance como um vıdeo ou

arquivo de audio. Durante a realizacao da tarefa o usuario pode permanecer em silencio

sendo obrigado a dialogar somente quando solicitado (apos a tarefa). Os comentarios

consecutivos podem apresentar boas sugestoes relacionadas a usabilidade, porem, requer

uma carga mental maior por parte do usuario, levando em conta que o mesmo devera

lembrar porque realizou tal atividade daquela forma. Outra desvantagem e o tempo para

realizacao da avaliacao que podera duplicar em relacao a verbalizacao simultanea. Os

dados para analise podem ser registrados em arquivos de vıdeo e audio.

Para exemplificar, podemos apresentar o mesmo exemplo da verbalizacao simultanea

em um website de compras, o usuario pode verbalizar utilizando termos como:

• ocorreu dificuldade para realizar tal atividade;

• nao gostei da interface;

• nao identifiquei informacoes obrigatorias;

• ficou muito bom este recurso;

Outra questao importante a ser tratada na verbalizacao sao os fillers ou preenchimen-

tos, em portugues. Os fillers sao termos verbais utilizados para “preencher”uma frase

como (“um”, “ah”, “eh”) alem do silencio do participante. Estes termos e o silencio, em-

bora nao sejam ideais para a verbalizacao, nao devem ser desconsiderados no momento da

analise. Psicologos apontam que preenchimentos verbais e silencio podem ocorrer quando

ha uma sobrecarga mental e o usuario necessita priorizar uma atividade ou porque o

usuario esta realizando processamentos mentais muito grandes (COOKE, 2010).

Por fim, a verbalizacao e uma tecnica para apoiar os testes usabilidade amplamente

utilizada por pesquisadores e especialistas e tem eficacia comprovada, levando em consi-

deracao que os usuarios sao encorajados a falar sobre suas atividades e com isso emitem

opinioes importantes a respeito da interatividade do software. Os dados sao registrados

em arquivos de audio e/ou vıdeo para uma posterior analise. O processo utilizado na ver-

balizacao pode variar de acordo com as caracterısticas do teste ou do participante, porem

mantem o fundamento de que o usuario deve verbalizar (falar) o que pensa a respeito de

um sistema computacional.

Na proxima secao serao apresentados conceitos sobre a observacao do usuario por

meio de filmagens.


2.4.3.2 Registros de Imagens

O registro de imagens dos testes e uma tecnica bastante utilizada para avaliacao e e

considerada fundamental para avaliadores que necessitam registrar a interacao do usuario

com o sistema de forma detalhada, minuto a minuto, para posterior analise. A utilizacao

de cameras e comum em laboratorios de usabilidade onde testes sao efetuadas de forma

controlada simulando situacoes pre programadas por avaliadores (CYBIS; BETION; FAUST,

2010; NIELSEN, 1993).

Nielsen (1993) considerava a utilizacao de cameras de vıdeo uma ferramenta de apoio

importante e barata, visto que, com uma unica camera era possıvel registrar todas as

atividades, identificar problemas de usabilidade e assim, definir uma possıvel correcao.

Porem, o autor define a tecnica como demorada devido a nao automacao do processo de

analise da interacao. Assistir aos vıdeos com o objetivo de identificar problemas pode

levar de 2 a 10 vezes o tempo de duracao da avaliacao. Por exemplo, se uma avaliacao

demorou trinta minutos para ser realizada, a analise de seu vıdeo pode levar de noventa ate

trezentos minutos para analise. O autor explica tambem que, em muitos casos, equipes

de avaliacao gravam imagens somente para fins de conferencia, pois um problema de

usabilidade e tao visıvel que e possıvel localiza-lo na primeira vez que ocorre nao havendo

necessidade de assistir as imagens para identifica-los, porem e uma atitude de extremo

risco, pois pode ocasionar a desconsideracao de algum detalhe importante.

A tecnica de filmagem consiste na utilizacao de uma ou mais cameras de vıdeo po-

sicionadas de forma a capturar imagens do ambiente no qual o software e testado. O

posicionamento e a quantidade de cameras pode variar de acordo com a necessidade da

equipe de avaliacao, mas na maioria dos casos sao posicionadas no rosto, visando identifi-

car expressoes faciais e acompanhar o foco do olhar na tela do computador, no teclado e

mouse para identificar as acoes realizadas nos dispositivos e se for necessario, no ambiente

ao redor do participante. E comum a equipe registrar imagens da tela do computador

como forma de relacionar os dados das cameras com a funcionalidade testada (CYBIS;

BETION; FAUST, 2010; NIELSEN, 1993).

A evolucao do hardware e software trouxe significativas melhoras para estas tecnica.

Dispositivos atuais ja provem recursos que facilitam o registro de dados tais como web-

cam integrada e algoritmos que permitem fazer o sanapshot da interface enriquecendo a

quantidade e qualidade dos dados registrados com esta tecnica.

A evolucao de recursos de vıdeo tambem pode ser atribuıda a evolucao de componentes


software, permitindo apoiar as atividades de coleta e processamento de imagens. Recursos

como a biblioteca OpenCV foram desenvolvidas com a finalidade de auxiliar areas como

IHC, processamento de imagens, identificacao de objetos, dentre outras. A OpenCV

foi desenvolvida utilizando a linguagem de programacao C++ e pode ser utilizada em

ambientes de desenvolvimento como Microsoft Visual Studio, Eclipse e outros. Com

estas ferramentas, pesquisadores, desenvolvedores e avaliadores podem aplicar tecnicas de

processamento de imagens visando melhorar as atividades de design de interacao (LIMA

et al., 2008).

Em resumo, a filmagem e uma tecnica utilizada para avaliacao da usabilidade de soft-

ware que permite gravar o comportamento do usuario durante a utilizacao da aplicacao

alem de registrar imagens da tela e demais objetos/locais de interesse do avaliador. Por

ser uma tecnica que apoia a identificacao de problemas de interacao, e amplamente utili-

zada em laboratorios de usabilidade e atualmente tem se disseminado para avaliacoes no

ambiente real de trabalho, tanto in loco quanto remotamente.

Na proxima secao serao apresentados conceitos sobre monitoramento de usabilidade

por arquivos de logs.

2.4.3.3 Monitoramento por Arquivos de Logs

A utilizacao de um website e uma situacao comum e e feita com a intencao de rea-

lizar uma serie de atividades que vao desde o entretenimento ate atividades comerciais

e empresariais. As interfaces dos websites encontram-se em constante evolucao e a preo-

cupacao com a usabilidade dessas aplicacoes e constante entre engenheiros e projetistas

(MORANDINI, 2002).

Dentro da arquitetura utilizada para websites e possıvel que dados relacionados a

utilizacao de um website possam ser registrados em arquivos chamados de Arquivos de

Logs. Os registros contem dados sobre a utilizacao de um sıtio eletronico e seus recursos

tais como endereco solicitado, horario, dados do navegador dentre outros (CYBIS; BETION;

FAUST, 2010; MORANDINI, 2002).

Os dados podem ser gerados no lado do servidor, local no qual ficam armazenados

arquivos do website e onde sao executados na Internet e/ou no lado do cliente (computador

que solicita acesso ao site). No primeiro caso ha uma economia de recursos porque os dados

sao gerados e armazenados no proprio servidor sem ocorrer a necessidade de transferencia

pela Internet, situacao que ocorre quando o arquivo e gerado no lado cliente alem de


reduzir o risco de perda dos dados durante uma transmissao, situacao obrigatoria na

coleta de dados no lado do cliente (CYBIS; BETION; FAUST, 2010).

Segundo Cybis, Betion e Faust (2010) e Morandini (2002), dentre as vantagens do

monitoramento por arquivos de logs as duas que mais se destacam: sao a capacidade de

coletar dados a grandes distancias; e o fato de nao ser intrusivo. Os dados representam as

atividades desempenhadas por um grande numero de usuarios espalhados pelo planeta que

realizam atividades no seu navegador interagindo com uma aplicacao web. Esta tecnica e

considerada pouco intrusiva devido ao fato que os dados sao coletados em silencio durante

a realizacao das atividades do usuario no website. Um aplicativo executa uma serie de

atividades de selecao, coleta e envio dos dados sem atrapalhar em absolutamente nada

quem utiliza o website.

O ponto fraco do monitoramento por logs e explicado por Cybis, Betion e Faust

(2010) como a dificuldade em ter maiores informacoes sobre o usuario da aplicacao. Os

arquivos registram dados sobre o percurso do usuario na pagina, por exemplo, hyperlinks

selecionados, botoes acionados, duracao da visita, paginas acessadas e horarios, porem,

nao permitem ao avaliador identificar o que pode ter ocorrido com o usuario durante este

perıodo como interrupcoes e/ou reacoes emocionais do usuario.

Os logs sao escritos em arquivos configuraveis e necessitam de ferramentas especıficas

para leitura e interpretacao desses dados. Os logs files sao criados pelo servidor no mo-

mento em que processa uma solicitacao de um computador cliente. Os dados registrados

em um arquivo variam de acordo com o tipo de servidor utilizado e com o padrao ado-

tado, mas em geral. Cybis, Betion e Faust (2010), Morandini (2002) apresentam que um

arquivo contem os seguintes dados:

• endereco IP do computador que solicitou um servico;

• data e horario da requisicao;

• URL requisitada;

• tamanho do arquivo solicitado;

• protoloco empregado na requisicao;

• navegador e sistema operacional utilizado;

Um exemplo de um registro gravado em um log file pode ser apresentado como:

135.217.50.100 – [16/Jun/2012:13:57:10 - 0000] ”GET /ergosv/cadastro.aspx HTTP/1.1”200


743 ” ergosv/cadastrocliente.aspx””Mozilla/4.0 [en](Win7; I).

Um arquivo pode conter varios registros e sua interpretacao depende de ferramentas

especializadas como o Fast Stats Analyzer, ErgoMonitor (MORANDINI, 2002) ou o Ergo-

Parser (CERRATO, 2012). Essas ferramentas tem a capacidade de ler e interpretar os

dados contidos em arquivos de log e gerar metricas de usabilidade para apoiar a analise

dos websites.

O numero de registros em um arquivo nao significa, necessariamente, a quantidade

de requisicoes. Devido ao cache do lado do cliente, paginas carregadas sao armazenadas

na memoria da maquina do cliente por determinado tempo e de acordo com o espaco

de memoria disponıvel. Morandini (2002) exemplifica utilizando os comandos de Back

(Voltar uma Pagina) e Foward (Proxima Pagina). Estes comandos nao sao registrados

em log files por estarem arquivados na memoria da maquina, porem, um comando de

Reload (Recarregar Pagina) e registrado no arquivo.

A tecnica de monitoramento da usabilidade por analise de arquivos de logs se tornou

fundamental, principalmente para equipes de desenvolvimento de websites. Esta tecnica e

amplamente utilizada tanto para monitorar a experiencia do usuario na aplicacao quanto

para pesquisas de publicidade, propaganda e dados estatısticos de acesso a conteudos do

website (CYBIS; BETION; FAUST, 2010).

Segundo Cybis, Betion e Faust (2010), Morandini (2002) as medidas fornecidas por

ferramentas de monitoramento podem ser divididas em quatro grupos:

1. visitas: quantidade de visitas (novas e frequentes), taxa de repique (visitas rapidas),

duracao das visitas, quantidade de paginas visitadas por visita, localizacao ge-

ografica do visitante e dados sobre seu ambiente tecnologico;

2. referencia: lista de websites de onde partem as visitas, termos utilizados em fer-

ramentas de buscas, percentual de usuario que acessaram digitando o endereco da

pagina diretamente no navegador;

3. conteudo: paginas mais visitadas;

4. navegacao: caminhos internos utilizados pelos usuario para acessar determinada

pagina ou realizar determinada tarefa.

Em resumo, a tecnica de monitoramento utilizando arquivos de logs tornou-se incon-

tornavel para equipes que visam o desenvolvimento de paginas interativas para Internet.

2.5 Processamento de Imagens 41

Como se trata de um recurso pouco intrusivo e com ampla capacidade de cobertura nos

testes, permite que avaliadores submetam o sistema a situacoes reais de utilizacao em

diversas partes do planeta, por diversos usuarios a um custo relativamente baixo. A tec-

nologia pode ser implementada do lado servidor, coletando dados sobre o comportamento

do usuario no website sem que o mesmo saiba do monitoramento. A unica consideracao

negativa encontrada a respeito desta tecnica e o fato da mesma monitorar as acoes do

usuario no programa sem identificar comportamento emocional da pessoa e o que acontece

no ambiente em que o usuario se encontra e que pode ocasionar erros de manipulacao.

Nas proximas secoes serao apresentados os conceitos sobre processamento imagens e

processamento de fala.

2.5 Processamento de Imagens

Esta secao apresenta conceitos basicos sobre Processamento de Imagens alem de de-

finicoes de tecnicas utilizadas para extracao de caracterısticas e calculo de similaridade

de imagens.

2.5.1 Conceitos Fundamentais

Diversos recursos computacionais ja foram implementados com objetivo de apoiar ati-

vidades diversas realizadas anteriormente de forma manual. O Processamento de Imagens

contem relevantes e significativas contribuicoes para o ser humano. Segundo Gonzalez e

Woods (2000) o Processamento de Imagens e um vasto conjunto de operacoes que podem

ser aplicadas em uma representacao matematica de uma imagem com objetivo de resolver

determinado problema.

Atualmente tecnicas de processamento de imagens sao amplamente utilizadas em areas

como medicina, geografia, arqueologia, fısica, interacao humano computador, eletronica

e outros (GONZALEZ; WOODS, 2000). Na medicina, atividades como interpretacao de

imagens de raios-X, melhoria na qualidade de imagens de ultrassonografia e apoio a

treinamento medico sao situacoes nas quais trabalhos com imagens sao aplicados. Na

geografia pode-se citar exemplos de utilizacao em sistemas de reconhecimento de terre-

nos e simulacoes e na interacao humano computador pode-se apontar a realidade virtual,

apoio ao ensino e aprendizagem, reconhecimento facial e apoio a sistemas com recursos

de acessibilidade (NUNES, 2011).


Uma imagem e apresentada por Gonzalez e Woods (2000) como a representacao de

um objeto fısico que pode ser armazenada, manipulada e interpretada de acordo com as

necessidades dos interessados. Matematicamente uma imagem pode ser definida como a

intensidade de sinal retornada ao sensor. Segundo Nunes (2006, 2011) e Gonzalez e Woods

(2000) a maioria das imagens sao bidimensionais e definidas pelas formulas f=(x,y), onde

x e y sao coordenadas espaciais e f fornece a intensidade da imagem no ponto.

Um caso especial de imagem e constituıdo por imagens digitais. Nesta abordagem, a

imagem e representada por um vetor de valores discretos (NUNES, 2006). Normalmente o

vetor trata-se de um conjunto de linhas e colunas e cada ındice das mesmas representa um

ponto da imagem e os valores armazenados nestes ındices identificam o nıvel de cinza na-

quele ponto. Os elementos da matriz sao chamados de elementos da imagem ou elementos

da figura ou pixels, este ultimo e uma abreviacao de picture elements (GONZALEZ; WO-

ODS, 2000). Segundo Nunes (2006) os valores assumidos em cada ponto sao quantificados

por numeros pertencentes a uma escala de cores diferentes e em geral sao representadas

por escalas de cinza onde o valor zero representa a cor mais escura (preto) e o valor mais

alto M representa a cor mais clara (branco). A equacao retirada do trabalho de Nunes

(2006) apresenta uma matriz de imagem digital onde n e m correspondem a quantidade

de linhas e colunas respectivamente.

f = (x, y)

f0,0 f0,1 ... f0,n-1

f1,0 f1,1 ... f1,n-1

.

.

.

m,-1,0 m-1,1 ... m-1,n-1

Segundo Gonzalez e Woods (2000) a atividade de processamento de imagens abrange

uma ampla classe de hardware, software e fundamentos teoricos. Os autores explicam que

o objetivo global desta atividade e produzir resultado a partir do domınio de um problema

utilizando imagens. Por exemplo, ler o endereco em uma correspondencia ou identificar

um rosto em uma foto podem ser domınios a serem resolvidos.

Coleta, armazenamento, processamento e exibicao sao atividades relacionadas ao pro-

cessamento de imagens. A atividade de processamento merece destaque dentre as demais

porque de acordo com Gonzalez e Woods (2000) refere-se aos algoritmos computacio-

nais que realizam a manipulacao de uma imagem retornando uma imagem final proces-

sada. Gonzalez e Woods (2000) apresentam, de forma tecnica, as atividades de proces-


samento como Aquisicao de Imagens, Pre-Processamento, Segmentacao, Representacao e

Descricao, Reconhecimento e Interpretacao.

A Aquisicao de Imagens e primeira atividade necessaria para o processamento de

imagens e visa obter uma imagem digital. Pode ser feita utilizando dispositivos de video

capaz de coletar e digitalizar o sinal produzido pelo equipamento tais como cameras

digitais, webcam ou um leitor que permita capturar uma linha da imagem.

Apos obter a imagem o Pre Processamento deve ser realizado com objetivo de melhorar

a imagem aumentando assim as chances de sucesso do processamento em si. Uma forma

de melhoria da imagem e a suavizacao que e utilizada para reducao de efeitos da coleta da

imagem que comprometem sua qualidade, por exemplo, ruıdos. Outra tecnica e conhecida

por realce que tem o objetivo de destacar detalhes relevantes da imagem e melhorar a

visualizacao de bordas.

Nunes (2011) apresenta dois exemplos de tecnicas de suavizacao (pre processamento)

da imagem conhecidos por Media Vizinhanca, Mediana Vizinhanca e uma tecnica de

realce chamada Quantizacao. A Media Vizinhanca e uma das tecnicas mais classicas

e seu processamento consistem em gerar uma imagem no qual o valor de cada pixel e

obtido por meio do calculo da media dos pixels vizinhos. A Mediana Vizinhanca tem

processo semelhante a Media Vizinhanca, mas diferente da primeira, na segunda tecnica

cada pixel da imagem final e substituıdo pelo valor mediano da vizinhanca do pixel. O

valor mediano de um conjunto de valores (m) e tal que a metade dos valores no conjunto

sao menores que m e outra metade e formada por valores maiores que m. A Figura 3

retirado de Nunes (2011) apresenta exemplos de uma imagem adquirida e de duas imagens

finais, uma suavizada pela Media Vizinhanca e outra pela Mediana vizinhanca nas quais

e possıvel identificar uma melhora na qualidade final da imagem.

Outra tecnica de melhoria da imagem apresentada por Nunes (2011) e a quantizacao.

Nesta tecnica, percorre-se os pixels da imagem ajustando seus valores para numeros pre

determinados, considerando uma quantidade de cores definidas para tal acao. A Figura

4 tambem extraıda do trabalho de Nunes (2011) mostra um exemplo de realce realizado

em uma imagem medica na qual e aplicado um filtro com dez nıveis de cinza. A melho-

ria do contraste e visıvel na imagem e destacado pela autora como forma de apresentar

informacoes relevantes da figura. A aplicacao de realce em atividades que utilizam pro-

cessamento de imagens e considerada fundamental por destacar estruturas de interesse

para seus utilizadores.

A proxima fase e conhecida por Segmentacao. Segundo Gonzalez e Woods (2000) esta


Figura 3 – Imagem de aplicacao de filtro de suavizacao com base na vizinhanca. Fonte:(NUNES, 2011)

e um dos estagios mais importantes do processamento de imagens. De forma geral, na

segmentacao a imagem de entrada e dividida em parte ou objetos constituintes para ser

processado. A segmentacao compreende os algoritmos utilizados para realizar as ativida-

des de processamento. Um bom algoritmo de segmentacao pode favorecer a solucao do

problema e da mesma forma, algoritmos fracos ou erraticos podem comprometer severa-

mente o processo. Um processo de segmentacao, por exemplo, poderia extrair caracteres

individuais de uma palavra ou selecionar parte de uma imagem que correspondam a ima-

gens faciais. Considerando o objetivo desta pesquisa a segmentacao pode realizar a busca

de um rosto dentro de uma imagem proposta retornando uma serie de pixels que forma a

imagem facial.

Figura 4 – Imagem de aplicacao de filtro de realce (NUNES, 2011)


Outra atividade de segmentacao aplicavel a esta pesquisa e o processo de comparacao

facial que consiste na entrada de duas imagens faciais, nas quais sao aplicados algoritmos

de comparacao de imagens para detectar se sao iguais ou nao, ou a taxa de semelhanca

entre elas.

A fase seguinte e composta pela Representacao e Descricao. Representacao consiste

em determinar se o processamento computacional sera realizado com base nas fronteiras

ou por regiao. Na representacao por fronteira e adequada quando o interesse se concentra

em caracterısticas como cantos ou pontos de inflexao e a representacao por regiao deve

ser aplicada quando o interesse esta em propriedades internas como texturas ou forma do

esqueleto, podendo ocorrer coexistencia das duas representacoes em algumas aplicacoes.

A descricao consiste em extrair dados que permitam a identificacao de caracterısticas

e resultem em informacao quantitativa de interesse para discriminacao entre objetos e

classes. Em um processo de reconhecimento de letras, descritores, como concavidades,

sao caracterısticas que permitem identificar uma letra ou outra. Em um processo de reco-

nhecimento facial, a quantidade de faces identificadas em uma imagem, seu histograma,

a media e desvio padrao do histrograma sao considerados dados para identificacao das

imagens (BERGAMASSO, 2010).

O ultimo estagio envolve o Reconhecimento e a Interpretacao. Enquanto o Reconheci-

mento e o processo de atribuir um rotulo a um objeto com base nas informacoes fornecidas

pelo seu descritor, a Interpretacao envolve a atribuicao de significado a um conjunto de

objetos reconhecimentos. Para o exemplo de reconhecimento de caracteres a identificacao

do caracter C requer associacao dos descritores para aquele rotulo. Considerando o reco-

nhecimento ou comparacao facial, considerar uma imagem igual ou diferente ou indicar a

taxa de similaridade pode ser considerada uma atividade deste estagio.

Segundo Gonzalez e Woods (2000) estas atividades sao realizadas com apoio de uma

base de conhecimentos previamente desenvolvida com o domınio do problema. O conheci-

mento codificado pode ser simples como o detalhamento de regioes de uma imagem na qual

se sabe a informacao de interesse quanto um conhecimento mais detalhado e complexo

como uma lista de defeitos em uma analise de material ou as condicoes que caracterizam

as varias emocoes expressadas pelas pessoas.

A base de conhecimento direciona a operacao de cada fase do processamento de ima-

gens e controla a interacao entre as mesmas. A Figura 5 extraıda de Gonzalez e Woods

(2000) apresenta a dinamica das tarefas de processamento de imagens.


Figura 5 – Atividades do processamento de imagens (GONZALEZ; WOODS, 2000)

2.5.2 Ferramentas de Apoio ao Processamento de Imagens

A utilizacao de Processamento de Imagens levou ao surgimento de ferramentas e

aplicativos para apoiar tal atividade reduzindo a necessidade do desenvolvimento de al-

goritmos complexos. Exemplo dessas ferramentas sao a OpenCV e a ferramenta AForge.

A OpenCV e uma biblioteca open source utilizada para processamento de imagens

offline ou em tempo real. Ela pode ser utilizada para atividades como identificacao de

objetos, reconhecimento de faces, gestos e demais atividades relacionados a computacao

e imagens (LIMA et al., 2008). A biblioteca foi desenvolvida originalmente na linguagem

C/C++ e permite integracao com ambientes de desenvolvimento como Microsoft Visual

Studio, Eclipse e C++ Builder.

Algumas distribuicoes foram criadas com a finalidade de adaptacao a um maior

numero de linguagens e ambientes de programacao, exemplo delas e a EMGU OpenCV

disponıvel em (http://www.emgu.com/wiki/index.php/OpenCV). Nesta distribuicao fo-

ram implementados metodos para utilizacao junto a linguagem C# permitindo uma maior

integracao com o ambiente Microsoft Visual Studio. Outra distribuicao conhecida e a Ja-

vaCV e permite a integracao da OpenCV com ambientes de desenvolvimento baseados

na plataforma Java.

Outra ferramenta, semelhante a OpenCV e a ferramenta AForge. A AForge pode ser

adquirida gratuitamente no site http://www.aforgenet.com/ e utilizada em ambientes de

desenvolvimento com o Visual Studio e o Visual C#. A Ferramente contem uma seria de


algoritmos que permitem acesso e execucao de uma serie de atividades como reconheci-

mento facial, manipulacao de objetos em terceira dimensao e algoritmos para realizacao

de funcoes matematicas sobre numeros das imagens como Funcao de Similaridade.

Estas ferramentas foram criadas com objetivo de facilitar a implementacao da com-

putacao visual, permitindo que seus usuario realizem acesso a recursos de processamento

de imagens utilizando codigos pequenos e enxutos, sem a necessidade de implementar com-

plexos codigos fontes. Diversas funcionalidades de computacao visual podem ser acessadas

por linguagens de programacao de alto nıvel, tais como Java ou C# de forma simples,

atraves de funcoes com ou sem parametros, dispensando, assim, a implementacao de

grande variedade de codigos.

Lima et al. (2008) apresentam em seu artigo uma serie de funcionalidades aplicadas

a biblioteca OpenCV, da mesma forma, no website http://www.aforgenet.com/ e possıvel

ter acesso a toda documentacao da respectiva ferramenta e assim, a seus algoritmos e

funcionalidades.

Uma das funcionalidadas encontradas na OpenCV e a capacidade de identificacao de

objetos dentro uma denterminada imagem. Utilizando classificacores treinados conhecidos

por Viola Jones, a ferramenta realiza a segmentacao de uma imagem identificando e

destacando as faces encontradas dentro de uma imagem. Os classificadores sao treinados

em forma de cascata, ou seja, um algoritmo mais complexo (cascata maior) e formado

por diversas cascatas menores (nao menos complexos que a maior) nas quais as imagens

faciais sao identificadas e/ou descartadas. O algoritmo de reconhecimento de objetos pode

ser utilizado para identificacao de faces e pode ser facilmente adaptado (treinado) para

identificacao de outros objetos.

O Processamento de Imagens realiza atividades a fim de resolver problemas para uma

serie de domınios. Um desses domınios e o Reconhecimento e a Comparacao Facial que

se tratam de algoritmos utilizada para identificar faces em uma imagem e posteriormente

compara-las com outras imagens de face para verificar se sao semelhantes. A seguir serao

apresentados conceitos sobre Reconhecimento Baseado em Conteudo.

2.5.3 Recuperacao de Imagens Baseada em Conteudo

A recuperacao ou reconhecimento de imagens baseada em conteudo, tambem conhe-

cido por CBIR e uma tecnica que tem por objetivo apresentar aos usuarios imagens

armazenadas em uma base de dados que sejam relevantes ou mais similares a uma ima-


gem modelo. As imagens analisadas a fim de verificar sua relevancia ou similaridade sao

conhecidas por imagens candidatas (BERGAMASSO, 2010; NUNES, 2011).

A analise das imagens e feita por meio da extracao de caracterısticas de todas as

imagens envolvidas no processamento. As caracterısticas sao dados matematicas extraıdos

das imagens por funcoes conhecidas por extratores (BERGAMASSO, 2010).

2.5.3.1 Extratores

Os extratores sao algoritmos que extraem caracterısticas das imagens em forma de

informacoes matematicas que representam o conteudo de uma determinada imagem. Os

extratores podem ser globais (caracterıstica de uma imagem toda) ou locais (caracterıstica

de um determinado ponto da imagem). As caracterısticas sao agrupadas em vetores

chamados de Vetores de Caracterısticas nos quais sao aplicados funcoes de similaridades

que apontam o quanto uma imagem e semelhante a outra (SOUZA; SANTOS; GULIATO,

2008).

Ha tres tipos de extratores: Cor, Textura e Forma.

Os extratores de cor sao algoritmos voltados a extrair caracterıstica por meio da

aplicacao de cores de uma imagem. E um extrator robusto e independe de tamanho e

posicionamento da imagem alem de ser facil de assimilar, o que incentiva seu uso (BER-

GAMASSO, 2010). A implementacao do extrator pode ser realizada utilizando qualquer

modelo de cor disponıvel tais como RGB, CMY, HSV ou HSI. Uma tecnica especıfica

para implementacao deste tipo de extrator e o Histograma.

O Histograma e um recurso que retorna a frequencia de uma determinada cor na

imagem, permitindo a comparacao e analise estatıstica delas. Quanto maior a variacao

do Histograma, maior a variacao de cores na imagem. A Figura 6 apresenta o Histograma

de uma imagem em nıveis de cinza.

Figura 6 – Histograma de uma imagem em tons de cinza


O segundo tipo de extratores, conhecidos por extratores de texturas apresentam o

arranjo estrutural da imagem medindo propriedades como orientacao, regularidade e gra-

nularidade. Uma das tecnicas utilizadas se chama Matriz de Co-Ocorrencia e consiste

em demonstrar o relacionamento espacial entre pixels e por meio de formulas como a de

entropia, contraste e energia, calcular a probabilidade de regioes com texturas e obter o

vetor de caracterısticas (BERGAMASSO, 2010).

Por ultimo, os extratores de forma sao considerados os mais difıceis por exigirem um

pre processamento da imagem antes de aplicar o extrator, considerando que os objetos

de interesse devem estar separados do fundo. Momentos Invariantes de Hu e uma tecnica

utilizada para analisar propriedades como forma, rotacao e escala, por meio de 7 momentos

invariantes.

Cada caracterıstica extraıda e representada matematicamente por seu valor e o con-

junto de valores extraıdos forma o vetor V composto por n elementos no qual n e a

quantidade de caracterısticas registradas e Vi e o valor da Iesima caracterıstica da ima-

gem (NUNES, 2011). Por exemplo, em uma situacao na qual sao extraıdas quatro ca-

racterısticas de uma imagem: Media de Histograma de Cinza, Desvio Padrao de Cinza,

Media dos Pixels em Cinza, Desvio Padrao dos Pixels em Cinza, para cada imagem exis-

tira um vetor com quatro posicoes no qual cada posicao representara uma caracterıstica

da imagem e armazenara seu respectivo valor. A Figura 7 apresenta dois modelos de

vetores contendo dados de caracterısticas de duas imagens para o exemplo citado. Neste

exemplo, a primeira tabela apresentada poderia ser associada a uma imagem modelo,

enquanto a segundo tabela a uma imagem candidata.

Figura 7 – Vetores de caracterısticas de uma imagem

Entretanto, segundo Nunes (2011) somente os vetores de caracterısticas nao sao su-

ficiente para determinar a similaridade ou relevancia de uma imagem candidata, para

determinar esses valores e necessario aplicar os valores a uma funcao de similaridade,

conforme sera explicado na proxima secao.


2.5.3.2 Funcoes de Similaridade

Como mencionado anteriormente o Processamento de Imagens permite a extracao

de caracterısticas de imagens e a cricao de vetores nos quais cada posicao e preenchida

com um valor matematico que representa uma caracterıstica de uma determinada ima-

gem. Porem, somente esta acao nao e suficiente para identificar a similaridade entre duas

imagens, para isto e necessario aplicar esses valores a uma funcao de similaridade.

Uma funcao de similaridade compara dois vetores e retorna um valor nao negativo

entre 0 e 1 sendo menor a similaridade quando o valor se aproxima de 0 (zero) e maior

quando se aproxima de 1 (um) (NUNES, 2011). Existem varias funcoes de similaridade,

Nunes (2011) apresenta algumas tecnicas utilizadas e Bergamasso (2010) apresenta duas

como as mais comuns: Distancia de Manhattan e Distancia Euclidiana.

A distancia de Manhattan e o a soma das diferencas absolutas entre suas coordenadas,

enquanto a distancia Euclidiana e a raiz da diferenca absoluta entre suas coordenadas ao

quadrado (BERGAMASSO, 2010).

Utilizando como exemplo dois vetores V1 = [0.3, 0.5, 0.8, 0.4] e V2 = [0.2, 0.6, 0.7,

0.9] e aplicando os vetores a funcao de distancia Euclidiana. Se o valor resultando for

0,993 significa que a imagem candidata tem grande semelhanca com a imagem padrao

e caso o valor resultante for 0,321 a imagem candidata e consideravelmente diferente da

imagem utilizada como base para comparacao (NUNES, 2011).

Por fim, o reconhecimento de imagens baseado em conteudo e uma tecnica que utiliza

algoritmos extratores para obter valores matematicos de figuras. Os valores sao armaze-

nados em vetores diferentes (uma para cada imagem) e podem ser comparados por meio

de funcoes de similaridade que retornam um valor ajustado entre 0 e 1 que determina o

quanto uma imagem e semelhante de outra. Esta tecnica pode ser aplicada em diversas

areas como comparacao facial, busca de imagens relevantes em base de dados e demais

areas de processamento de imagens.

2.5.4 Consideracoes Finais sobre Processamento de Imagens

Em resumo, o processamento de imagens permite que um determinado problema base-

ado em imagens seja solucionado por meio da coleta, processamento e saıda de um objetivo

relacionado a um contexto. Com isso, pesquisas envolvendo area de medicina, IHC, ge-

ografia e outras utilizam destas tecnicas para obter informacoes relevantes por meio de

2.6 Processamento de Fala 51

imagens. O processamento de imagens tem por base algoritmos relativamente complexos

contendo a base de conhecimento necessaria para trabalhar uma imagem, porem, a grande

utilizacao de processamento de imagens aliado a tecnologia permitiu o surgimento de fer-

ramentas que apoiam atividades de coleta, pre-processamento e sintetizacao de forma a

melhorar as atividades em relacao ao tempo, custo e qualidade.

Dentre as tecnicas de processamento o CBIR permite realizar atividades nas quais

sao gerados vetores contendo valores matematicos que representam caracterısticas das

imagens e atraves de funcoes de similaridade efetuar a comparacao dos vetores a fim

de identificar a similaridade entre elas. Tecnicas como esta permitem a comparacao de

imagens dentro de contextos especıficos, por exemplo, comparacao de imagens facial.

Na secao seguinte serao apresentados conceitos e trabalhos relacionados ao processa-

mento de fala.

2.6 Processamento de Fala

A fala de uma pessoa tem importancia comprovada, pois nao transmite somente a fala,

mas tambem o genero da pessoa, sua identidade e suas emocoes. Estudos relacionados

a area neurologica confirmam a existencia de uma area no cerebro especializada em sons

vocais (AGUS et al., 2010). Seu importante contexto pessoal/cultural torna a voz uma

importante area de estudos e seu processamento computacional e considerado importante

e util para diversas areas dentre elas a IHC.

O processamento de fala se trata do processo de interpretacao da voz humana em

um computador. Para tal interpretacao e necessaria a construcao de sistemas para ma-

peamento de sinais acusticos para palavras escritas (NETO; PATRICK; KLAUTAU, 2010;

SHARIAH et al., 2007).

Entretanto, Neto, Patrick e Klautau (2010) nao se restringem ao ato de processar

um sinal de voz e apresentar em forma de textos e apresenta o processamento de fala de

duas formas que atuam em sentidos diferentes: Automatic Speech Recognition (ASR) e

Text-To-Speech(TTS).

Na abordagem ASR que em portugues significa Reconhecimento Automatico de Fala

a voz e capturada em forma de sinal digital e convertida para texto escritos (NETO;

PATRICK; KLAUTAU, 2010; SHARIAH et al., 2007). Na abordagem TST, que traduzindo,

significa Texto para Fala, textos escritos em linguagem natural sao convertidos para falas


sintetizadas.

Neto, Patrick e Klautau (2010) explicam tambem que o processamento de fala tem

uma ampla area de pesquisa devido, principalmente, a quantidade e a diferenca de idio-

mas que implica em maiores cuidados no momento da implementacao de um aplicativo

para tal atividade, alem de fatores relacionados a capacidade de IHC de ferramentas

computacionais que podem ser melhoradas por meio de processamento de fala.

De acordo com Shariah et al. (2007) ha diversas tecnicas para processamento de fala

dentre elas, Linear Predictive Coding (LPC), Perceptual Linear Prediction (PLP) e Mel-

Frequency Cepstral Coefficient (MFCC) e que o MFCC e o metodo mais utilizado para

processamento de fala.

Estas tecnicas de processamento de fala podem variar em relacao a atividades es-

pecıficas com caracterısticas proprias, ou seja, na quantidade de atividades para realizar

o processamento e/ou na complexidade de algoritmos utilizados, porem, todos os proces-

sos seguem uma logica:

• coletar o som (sinal analogico), por meio de uma interface de entrada como micro-

fones;

• processamento do sinal para digital para conversao em texto que pode compreender:

– divisao e normalizacao do sinal de voz em varias camadas;

– transformacao do sinal de voz em palavras e/ou palavras em unidades de re-

conhecimento (estruturas como arvores lexicas podem ser utilizadas para esta

atividade);

– identificacao dos termos (palavras) e configuracoes foneticas que se adequem

as unidades.

– transformacao das palavras em textos utilizando como base modelos de lingua-

gem e dicionarios foneticos especıficos.

• devolucao dos termos devidamente processados em forma de textos por meio de uma

interface de saıda.

A Figura 8 apresenta uma representacao das atividades de processamento de fala

citados pelos autores acima com base nas explicacoes de Neto, Patrick e Klautau (2010)

e Shariah et al. (2007).


Figura 8 – Atividades de Processamento de Fala

Considerando o TTS as atividade sao realizadas de forma ”invertida”, ou seja: (1)

recebe o texto a ser processado, (2)efetua as atividades de processamento, (3) executa o

audio sintetizado resultante do processamento.

2.6.1 Aplicativos de Processamento de Fala

Os algoritmos utilizados para processamento de fala se apresentam, na maioria dos ca-

sos, de forma complexa, principalmente pela necessidade de treinamento de modelos para

realizacao dos processos de transformacao de voz em texto e vice-versa. Visando facilitar

a vida de usuarios e equipes de desenvolvimento de software, que nao tem por objetivo

o desenvolvimento e conhecimento de modelos, mas sim de componentes computacionais

que permitam a utilizacao deste recurso para resolucao de diversos problemas, surgiram

(Application Programming Interfaces) (API´s), ou seja, uma serie de funcoes acessıveis

para ambientes de programacao (NETO et al., 2010).

Um trabalho desenvolvido no Brasil com resultados relevantes nesta area foi realizado

pelo grupo de pesquisa Fala Brasil do Laboratorio de Processamento de Sinais (LaPS)

da Universidade Federal do Para (UFPA). A equipe do Fala Brasil, coordenada pelo

Prof. Dr. Aldebaro Klautau, desenvolveu uma API na linguagem de programacao C++

com suporte a Common Language Runtime (CLR) para processamento de fala no idioma

Portugues-Brasileiro. A ferramenta descende da ferramenta Julius, um reconhecedor de

fala de alta performance para grandes vocabularios (NETO; PATRICK; KLAUTAU, 2010).

A API recebeu o nome de Coruja e assim como a biblioteca OpenCV permite a imple-


mentacao em ambientes de desenvolvimento como Microsoft Visual Studio. Sua principal

vantagem esta em esconder a plataforma baixa de desenvolvimento, ou seja, algoritmos

complexos de treinamento e processamento da fala. Fica a cargo do desenvolvedor que

utiliza a API a codificacao de metodos de forma pratica informando, quando necessario,

parametros solicitados. Dentre metodos que podem ser acessados estao:

• SREngine: carrega e inicializa o reconhecedor;

• startRecognition: inicia processo de reconhecimento;

• stopRecognition: desliga o reconhecimento;

• OnRecognition: metodo chamado quando uma sentenca e realizada;

• OnSpeechReady: metodo chamado quando o reconhecedor e ativado.

Uma aplicacao completa de exemplo e disponibilizada na pagina do LaPS, assim

como seu codigo fonte. A aplicacao tem por objetivo controlar a apresentacao de traba-

lhos na ferramenta Microsoft Power Point com comandos de voz. Palavras como: Voltar,

Proximo, Anterior e Regular sao configuradas na aplicacao para utilizacao. Esta aplicacao

e demonstrada por Neto et al. (2010) o qual apresenta detalhes das configuracoes e requi-

sitos mınimos de utilizacao.

O exemplo de Neto et al. (2010) serviu de base para estabelecer a ferramenta de apoio

as atividades desta pesquisa. A Figura 9 apresenta cinco linhas de codigo fonte adaptados

do trabalho de Neto et al. (2010) para aplicacao no contexto desta pesquisa:

Figura 9 – Linhas de codigo para acesso a funcoes da ferramenta Coruja

O algoritmo apresentado na Figura 9 realiza, de maneira simples e facil, o acesso a

funcoes de processamento de fala. As atividades realizadas pelo algoritmo sao:

• Linha 01: Indica o arquivo de configuracao da ferramenta Julius que contem os

modelos acustico e de linguagem;

2.7 Frameworks para Avaliacao da Usabilidade 55

• Linha 02: Inicia o motor de reconhecimento de fala;

• Linha 03: Indica a funcao a ser executada no momento do reconhecimento da fala;

• Linha 04: Grava a palavra reconhecida em uma variavel do tipo texto;

• Linha 05: Grava a taxa de confianca (percentual de reconhecimento da ferramenta)

em uma variavel.

Estes algoritmos foram aplicados na linguagem de programacao C# tanto no trabalho

de Neto et al. (2010) quanto no exemplo desta pesquisa.

2.6.2 Consideracoes Finais sobre Processamento de Fala

Em resumo, o processamento de fala, assim como processamento de imagens abrange

atividades relevantes que podem apoiar diversas atividades relacionadas a IHC, inclusive

a avaliacao. Composta por algoritmos complexos e bases de conhecimento que precisam

de treinamento sao altamente influenciadas por sotaques, gırias e ruıdos. Atualmente

API´s estao surgindo com o intuito de apoiar o processamento de fala e principalmente

disponibilizar ferramentas de acesso facil a metodos de reconhecimento por desenvolvedo-

res.

O processamento de fala e uma importante ferramenta para apoiar atividades de IHC

principalmente no aspecto de interacao mediada por voz e/ou interfaces multi modais. Seu

processamento pode prover recursos de apoio a atividades para pessoas com limitacoes

fısicas e permitir uma melhor comunicacao entre usuario e maquina. Embora seus al-

goritmos sejam complexos e requerem um maior tempo de desenvolvimento, ferramentas

como o projeto Coruja tem por objetivo facilitar a vida dos desenvolvedores e expandir a

utilizacao de recursos de processamento de fala.

2.7 Frameworks para Avaliacao da Usabilidade

Esta secao apresenta um levantamento bibliografico realizados para identificar am-

bientes (frameworks) para apoiar testes de usabilidade que utilizassem processamento

de imagens/fala e efetuassem, analise automatizada de dados ou que apresentem contri-

buicoes relevantes para a atividade de teste de usabilidade.


2.7.1 Revisao Bibliografica Especıfica

Uma pesquisa bibliografica foi realizada com objetivo de identificar abordagens de

avaliacao da usabilidade que utilizassem processamento de imagens e reconhecimento de

fala ou abordagem que automatizassem o processo de analise e geracao de informacoes.

Esta pesquisa tinha objetivo verificar a existencia de trabalhos que se enquadrassem

nos seguintes criterios de pesquisa

• Existem ambiente ou frameworks para apoiar a avaliacao da usabilidade, mais es-

pecificamente teste de usabilidade que utilizam processamento de imagens ou reco-

nhecimento de fala?

• Existem frameworks para apoiar a avaliacao da usabilidade, mais especificamente

testes de usabilidade que geram informacoes automatizadas?

A busca destes trabalhos foi realizada em 4 fontes de pesquisas: (1) www.ieee.org

na qual foi utilizado o termo ”Usability Evaluation Framework and Usability Test”; (2)

www.acm.org com o termo ”Usability Evaluation Framework”; (3) www.scopus.com uti-

lizando as palavras chave ”Usability Evaluation Framework”; (4) www.informaworld.com

com os termos ”Usability Evaluation Framework”.

O total de artigos identificados na primeira revisao sao apresentados na Tabela 1.

Nesta tabela nao foram descartados possıveis artigos repetidos, mas somente uma conta-

gem simples por base de dados a fim de identificar a relevancia de cada fonte de pesquisa.

Tabela 1 – Contagem geral de artigos da Revisao Bibliografica Especıfica

Base de Dados QuantidadeIEEE.org 49ACM.org 29Scopus.com 19InformaWorld.com 5

Apos levantamento inicial, os artigos foram lidos e avaliados por meio de seus abstract.

A leitura do abstract tinha por objetivo identificar se o trabalho se encaixava em um dos

seguintes criterios de inclusao:

• trabalhos relacionados ao ambientes de avaliacao/teste de usabilidade apoiados por

processamento de imagens e/ou processamento de fala;


• trabalhos relacionados ao ambientes de avaliacao/teste de usabilidade que geravam

informacoes automatizadas sobre os testes.

Foram descartados trabalhos que tratavam de avaliacoes de usabilidade de ferramen-

tas e ambientes diversos. Tambem foram excluıdos trabalhos relacionados a geracao au-

tomatizada de informacoes, processamento de imagens, reconhecimento de fala e que nao

estavam relacionados a avaliacao/teste de usabilidade. Alem da utilizacao destes criterios

de exclusao, foram descartados tambem artigos relacionados a avaliacao da usabilidade

para recursos como eletrodomesticos e TV por assinatura e com isso, procurou-se manter

o foco em software tradicionais, websites e dispositivos moveis.

A quantidade de artigos selecionados em cada base apos leitura do abstract e apre-

sentada na Tabela 2.

Tabela 2 – Contagem dos artigos incluıdos na Revisao Bibliografica Especıfica

Base de Dados QuantidadeIEEE.org 7ACM.org 2Scopus.com 9InformaWorld.com 0

Apos leitura completa, os artigos foram classificados segundo 3 aspectos:

1. (A1) Artigos que tratavam de Teste de Usabilidade: Resposta: S (Sim), N (Nao),

NA (Nao abordado);

2. (A2) Artigos que abordavam teste de usabilidade apoiados por processamento de

imagens e/ou reconhecimento de fala: S (Sim), N (Nao), NA (Nao abordado);

3. (A3) Artigos que apresentavam abordagens que automatizava a analise e geracao

dos dados dos testes: S (Sim), N (Nao), NA (Nao abordado);

A utilizacao do termo ”NA”para o conceito A1 foi aplicada para artigos que nao

deixaram claro qual a metodologia utilizada (Inspecao ou Teste). Para artigos que dei-

xaram claro a utilizacao da abordagem da inspecao, os mesmos foram descartados por se

enquadrarem em um criterios de exclusao.

Apos a leitura completa dos artigos seguida por analise de seus conceitos, abordagens

e relevancia para esta pesquisa e enquadramento nos criterios de inclusao, foi estabelecida


uma lista final de artigos sendo ela apresentada na Tabela 3. De todos os artigos anali-

sados, 7 artigos foram considerados adequados aos criterios de inclusao e 11 foram con-

siderados inadequados, sendo o principal fator de descarte tratar ambientes de avaliacao

da usabilidade utilizando inspecao, ou seja, questionarios. Outro fator foi a aplicacao de

metodologias e tecnicas comuns na literatura, sem apresentar nenhuma contribuicao, para

avaliar a usabilidades de aplicativos especıficos.

Os artigos incluıdos apresentaram tambem aplicacoes, experimentos e resultados de

suas respectivas abordagens. Alem disto pode-se identificar abordagens para testes com

dispositivos moveis, website e aplicativos especıficos tais como software para Model Driven

Development (MDD).


Tabe

la3

–R

elac

aode

arti

gos

anal

isad

os

ID.

Tıt

ulo

Auto

res

Fonte

A1

A2

A3

1A

Met

hodol

ogy

and

Fra

mew

ork

toSim

plify

Usa

bilit

yA

nal

ysi

sof

Mob

ile

Applica

tion

s

Flo

rence

Bal

agta

sF

ernan

dez

and

Hei

nri

chH

uss

man

nIE

EE

.org

SN

S

2P

inp

ointi

ng

Usa

bilit

yIs

sues

Usi

ng

anE

ffor

tB

ased

Fra

-m

ewor

k

Dan

E.

Tam

ir,

Mem

ber

and

Car

lJ.

Muel

ler

IEE

E.o

rgS

SS

3A

nem

pir

ical

appro

ach

for

eval

ua-

ting

the

usa

bilit

yof

model

-dri

ven

tool

s

Nel

lyC

ondor

iF

ern

andez

,Jos

eIg

-nac

ioP

anac

h,A

rthur

Iwan

Baa

rs,

Tan

jaV

os,

and

Osc

arP

asto

r

AC

M.o

rgS

SS

4A

uto

mat

edan

dU

nsu

per

vis

edU

ser

Inte

ract

ion

Log

ging

asB

asis

for

Usa

bilit

yE

valu

atio

nof

Mob

ile

Applica

tion

s

Flo

rian

Let

tner

and

Cle

men

sH

olzm

ann

AC

M.o

rgS

NS

5U

sabilit

yE

valu

atio

nF

ram

ewor

kA

uto

mat

edIn

terf

ace

Anal

ysi

sfo

rA

ndro

idA

pplica

tion

s

Flo

rian

Let

tner

and

Cle

men

sH

olzm

ann

AC

M.o

rgS

NN

A

6T

he

Res

earc

hF

ram

ewor

kof

Eye

-tr

ackin

gB

ased

Mob

ile

Dev

ice

Usa

bilit

yE

valu

atio

n

Shiw

eiC

hen

gA

CM

.org

SS

S

7E

-com

mer

cew

ebsi

tes

for

dev

elo-

pin

gco

untr

ies:

ausa

bilit

yev

alu-

atio

nfr

amew

ork

Lay

laH

asan

,A

nne

Mor

ris

and

Ste

veP

rob

ets

Sco

pus

SN

S


Alem dos artigos apresentados na Tabela 3 outros artigos foram incluıdos manu-

almente por apresentarem conteudos relevantes para esta pesquisa. A lista de artigos

incluıdos manualmente sao mostrados na Tabela 4

Tabela 4 – Relacao de artigos incluıdos manualmente

Tıtulo AutoresA Method for Remote and Semi-AutomaticUsability Evaluation of Web-based Applica-tions Through Users Behavior Analisys

Ariel Vargas, Harold Weffers and Heloısa Vi-eira da Rocha

Definition and Prototyping of ErgoMonitor Marcelo Morandini and Walter de Abreu Cy-bis

Eye Tracking in Human-Computer Interac-tion and Usability Research: Ready to Deli-ver the Promises

Robert J.K. Jacob and Keith S. Karn

Eye Tracking in Usability Evaluation: APractitioner´s Guid

Joseph H. Goldberg and Anna M. Wichansky

Estes artigos foram incluıdos por apresentarem pesquisas com contribuicoes significa-

tivas relacionadas a metodologias ou ferramentas para apoiar a avaliacao da usabilidade

e o monitoramento do usuario. Dentre as contribuicoes podemos citar:

• proposta de ambiente para teste de usabilidade remoto;

• aplicativo/ambiente para monitoramento da utilizacao de website utilizando arqui-

vos de log ;

• utilizacao do dispositivo Eye Tracking (rastreador de olhares) para atividades de

IHC, dentre elas, avaliacao da usabilidade.

Na proxima sub secao sera apresentado um resumo dos resultados da revisao bibli-

ografica.

2.7.2 Ambientes de teste de usabilidade

O desenvolvimento ou melhorias nas abordagens de avaliacao de usabilidades relacio-

nadas as tecnicas de usabilidade e uma realidade para pesquisadores e desenvolvedores de

IHC, principalmente pela adequacao a necessidade de conhecer como o usuario interage

com o software e como o aplicativo impacta no resultado final da utilizacao.

Diversas abordagens de avaliacao foram desenvolvidas a fim de apoiar e observar as

acoes dos usuario em um teste de usabilidade e assim identificar caracterısticas de in-

teracao proporcionados pelo software. Dentre as varias melhorias e possıvel destacar


ambientes para utilizacao com IPhones, Tablets e dispositivos moveis em geral, utilizacao

de Eye Tracking (Sistema rastreador de movimentos oculares), filmagem do participante

e a consideracao das reacoes emocionais como dados de avaliacao. A seguir serao apre-

sentados alguns trabalhos considerados relevantes para esta pesquisa.

2.7.2.1 EvaLogger

Para dispositivos moveis podem ser citados trabalhos como o de Balagtas-Fernandez

e Hussmann (2009) que desenvolveram uma tecnica de teste de usabilidade baseado em

monitoramento por arquivos de logs para dispositivos moveis. Nesta abordagem, um

aplicativo de monitoramento chamado EvaLogger e instalado no dispositivo movel de

forma a monitorar todas as acoes realizadas por seus usuarios. O aplicativo contem uma

classe denominada EvaWriter que processa dos dados coletados e envia os mesmos para

um arquivo XML utilizado para geracao de dados em graficos. A classe pode ser estendida

para geracao de dados em outros formatos desejados, entretanto os autores nao detalham

os tipos de saıda. A Figura 10 apresenta a abordagem de coleta e processamento de dados

do sistema EvaLogger.

Figura 10 – Abordagem do sistema EvaLogger (BALAGTAS-FERNANDEZ; HUSSMANN,2009)

Segundo Balagtas-Fernandez e Hussmann (2009), as fases apresentadas na Figura 10

representam as seguintes atividades: A Preparacao consiste na configuracao do aplica-

tivo para habilitar a coleta de dados necessarios para apoiar a avaliacao da usabilidade

por meio de arquivos log. Nem todos os aplicativo contem recursos para configuracao

para registros de dados com Log e muitas vezes e necessaria uma serie de atividades para

otimizar esta tarefas, tal como determinar o melhor formato (layout) do arquivo para


um processo de analise e extracao com mais qualidade. A fase de Coleta consiste na

realizacao das tarefas nos dispositivos e em certificar se a aplicacao esta registrando to-

dos os dados necessarios nos arquivos de log. Ja a fase de Extracao e uma das mais

complicadas, pois se refere a etapa de extracao dos dados registrados durante o teste e a

transferencia para um aplicativo que permita a leitura e analise dos arquivos de Log. Esta

fase e considerada delicada, pois pode exigir a manipulacao de uma grande quantidade

de dados registrados. A ultima fase, Analise, consiste no estudo dos dados registrados

para identificar quais partes do sistema tem problemas de interacao.

O processo de analise dos dados no EvaLogger e feita com base em graficos que apre-

sentam numeros para gerar metricas diversas. Dentre os dados sao apresentadas taxas

de acesso a botoes, rotulos e demais componentes de interface como forma de avaliar a

quantidade de acoes e transicoes de tela. A taxa de aprendizado, eficacia e memorizacao e

tratada utilizando dados de tempo para finalizacao de tarefas, assim como a simplicidade

e medida pelo esforco para realizar as tarefas. As informacoes dos graficos sao comparadas

com a interface atual para verificar se alguma interface nao foi utilizada e pode ser remo-

vida ou para determinar bons padroes de interface (BALAGTAS-FERNANDEZ; HUSSMANN,

2009).

Outros trabalhos voltados para dispositivos moveis foram realizados por Lettner e

Holzmann. Em ambos os trabalhos, (LETTNER; HOLZMANN, 2011, 2012), os autores

propoem modelos de monitoramento das atividades dos usuarios em dispositivos moveis.

Os trabalhos apresentam a utilizacao de um recurso que pode ser baixado e instalado em

aplicativos moveis, com destaque para plataforma Android.

No primeiro trabalho Lettner e Holzmann (2011) apresenta um framework para uti-

lizacao com Android baseado em injecao de codigos em estruturas bases da codificacao

Java, tais como entrada e saıda de metodos. Esse modulo pode se adaptar de forma rela-

tivamente facil a demais aplicativos da plataforma sem a necessidade de recompilacao de

grande quantidade de codigos. Alem disso, o autor destaca a seguranca da aplicacao que

nao tem acesso a dados pessoais do usuario, mas somente a funcionalidades atividades.

No segundo artigo Lettner e Holzmann (2012) destacam o funcionamento da aplicacao

que e dividida em tres estagios: Coleta de dados, modulo instalado no dispositivo movel

que monitora a utilizacao do participante; Server Backend que contem recursos para

recebimento dos dados, analise, processamento e geracao de metricas e por ultimo; Web

Frontend para visualizacao e analise por parte de avaliadores.

As metricas geradas pelo aplicativo de Lettner e Holzmann (2012) e disponibilizadas


para analise foram:

• Contadores: valores simples de contagem de determinadas acoes realizadas no

dispositivo;

• Relacoes/Proporcoes: apresenta a relacao de valores coletados dentro de deter-

minados contextos de operacao

• Agregacao: apresenta valores gerais de utilizacao e acesso de um software. Esta

metrica esta relacionada a utilizacao geral e nao com recursos especıficos;

• Segmentacao: apresentada valores de determinados pontos do sistema em deter-

minado perıodo de tempo pre estabelecido;

• Individual: metricas utilizadas para analisar o comportamento de um usuario em

determinado perıodo de tempo

Esses pesquisadores consideraram esta abordagem como eficaz para coleta automati-

zada de dados e geracao de metricas de baixo nıvel considerando, principalmente, erros

de navegacao e de comportamento do participante. Como trabalho futuro, os trabalhado-

res pesquisam para criar uma ferramenta que visa o tratamento e exibicao otimizada de

informacoes, assim como a melhora da capacidade de coleta de dados, visando considerar

tambem o comportamento dos participantes.

Os trabalhos apresentados acima apresentaram propostas de frameworks para apoiar

testes de usabilidade para dispositivos moveis. O destaque destes modelos e a utilizacao

da abordagem de monitoramento, ou seja, os autores nao estao preocupados somente com

padroes de qualidade ou guias de padrao de interface, mas tambem com a capacidade de

interacao entre usuario e sistema.

A geracao de informacoes pelos sistemas citados pode auxiliar na melhoria de sistemas

moveis, algo tao comum na atualidade e que tende a ter sua area de cobertura ampliada.

2.7.2.2 Monitoramento por Arquivos de Logs - ErgoMonitor

O monitoramento de dados nao e um recurso exclusivo para dispositivos moveis. Mo-

randini (2002) apresentou uma proposta da utilizacao de arquivos de log para monitorar

o ambiente web e assim gerar metricas para apoiar a avaliacao da usabilidade de websites.

O autor apresentou a proposta da ferramenta ErgoMonitor que permite a coleta de dados

dos servidores no qual sao hospedados os websites para posterior analise por ferramentas


especıficas. Cybis, Betion e Faust (2010) e Morandini (2002) apontam a tecnica como

uma das mais eficientes para coleta de dados devido ao baixo nıvel de intrusividade, pois

o usuario nao e afetado pelo registro dos dados e muitas vezes nao percebe as atividades

de monitoramento. Outro fator positivo para este tipo de monitoramento e a capacidade

de gerar dados reais, de utilizacoes verdadeiras em qualquer lugar do planeta. Entretanto,

como ponto negativo, os autores apresentam a dificuldade de identificar o comportamento

do usuario, considerando que os arquivos de log identificam cliques em botoes e rotulos,

caminhos de navegacao e utilizacao do website.

2.7.2.3 Eye Tracking

Outro recurso amplamente utilizado para apoiar os testes de usabilidade e o Eye

Tracking. Trata-se de um dispositivo computacional que se utiliza de processamento de

imagens para identificar e rastrear os movimentos dos olhos. Este dispositivo ja era de-

fendido por Jacob (2003) como uma ferramenta para apoiar uma serie de atividades em

IHC, atividades estas que variam de questoes tecnicas como avaliacao da usabilidade ate

a utilizacao para auxiliar na interacao de pessoas com deficiencia fısica com computado-

res. Este recurso tambem e apresentado por Goldberg e Wichansky (2003) para apoiar

a avaliacao da usabilidade por permitir identificar exatamente qual o foco de visao do

usuario na interface utilizada.

Dois trabalhos com aplicacoes praticas foram identificados utilizando este recurso. No

primeiro trabalho, chamado de Pinpointing, analisado e desenvolvido por Tamir, Member

e Mueller (2010) utilizou o Eye Tracking como ferramenta para coleta de dados de um

ambiente de avaliacao da usabilidade. No segundo trabalho, feito por Cheng (2011) foi

utilizado o rastreador de olhar para apoiar avaliacao da usabilidade de dispositivos moveis.

Pinpointing: Este ambiente se baseia no esforco do participante para realizar e

aprender suas tarefas em um software. Os esforcos sao classificados pelos autores como

esforcos mentais e esforcos fısicos. Enquanto os esforcos mentais sao apresentados como

tempo de fixacao do olhar, media do tempo de fixacao e numero de fixacoes, os esforcos

fısicos sao mostrados como movimentos rapidos dos olhos e movimentos transversais.

A coleta de dados deste ambiente era realizada utilizando tres fontes de dados: mo-

vimentos do mouse: clicks, rolagem, acionamento de recursos diversos; Acoes no Teclado

e por ultimo, um Eye Tracking para registrar os dados do movimento dos olhos. Como

acrescimo aos dados foram registrados os horarios de todas as acoes registradas. Segundo

Tamir, Member e Mueller (2010) estes dados podem representar os esforcos realizados pe-


los usuarios para realizar suas tarefas pois apontam tanto esforcos fısicos de movimentacao

dos olhos e acionamento de recursos como esforcos mentais de analise de informacoes.

Como resultado, os autores concluıram que esta abordagem foi eficaz para identifi-

car problemas de usabilidade com base em dados como clicks do mouse, acionamento do

teclado e identificacao de movimentos oculares. Experimentos realizados mostraram que

os dados registrado permitiram a geracao de informacoes que auxiliasse a identificacao

de problemas de usabilidade, principalmente por permitir a identificacao do componente

exato que apresentou problemas de usabilidade. Com isto, a abordagem permitiu efe-

tuar comparacao entre varias versoes de interfaces e entre prototipos e versoes completas

podendo assim efetuar melhorias. Por fim, a abordagem apresentou dados reais de in-

teracao, pois era aplicada a testes de usabilidade realizados por usuarios reais em versoes

de software que seriam utilizados em ambiente de producao(TAMIR; MEMBER; MUELLER,

2010).

Um segundo trabalho utilizando Eye Tracking foi apresentado por Cheng (2011).

Neste segundo trabalho o autor utilizou a tecnologia para testar a usabilidade de disposi-

tivos moveis com base em duas abordagens diferentes: utilizando um dispositivo remoto

e um dispositivo portatil. Segundo Cheng (2011) o Eye Tracking remoto ou Remote Eye-

Tracking e um dispositivo de rastreamento de olhar posicionado ao lado de um monitor

para registrar os movimentos em um posicionamento semelhante a uma webcam. O Eye

Tracking portatil ou Portable e um dispositivo que funciona acoplado ao usuario de forma

semelhante a um oculos e o mesmo contem os recursos necessarios para o rastreamento

de olhar.

Dois experimentos foram realizados para avaliar dispositivos moveis, um com cada

tipo de dispositivo. Entretanto, o Eye Tracking remoto foi aplicado aos experimentos

com emuladores e o dispositivo portatil foi utilizado em um teste com dispositivos moveis

reais. Os testes foram realizados focando em tarefas relacionadas a selecao, execucao e

manutencao de arquivos de musicas.

Foram registrados dados quantitativos para a primeira abordagem (simulador) que

permitiu a criacao de informacoes como tempo de fixacao em determinadas tarefas, tempo

de atencao para cada tarefa e movimentos oculares. Com estes dados, o avaliador tambem

efetuou comparacoes entre testes de participantes diferentes a fim de verificar o compor-

tamento dos mesmos durante a utilizacao e as taxas de fixacao e realizacao de tarefas.

Ja com o dispositivo portatil, foram coletados dados qualitativos que permitiram a

identificacao de comportamentos errados do participante, por exemplo. Em determinadas


tarefas o tempo de fixacao foi alto e os dados do Eye Tracking mostraram que o mesmo

olhava para uma posicao errada da tela e por esse motivo nao encontrava o recurso dese-

jado.

Este trabalho e concluıdo apresentando as vantagens de cada tipo de teste, sendo o

teste remoto melhor para identificacao de problemas em fase de projeto pois permite que o

mesmo seja efetuado em simuladores e permite gerar dados quantitativos para uma analise

com mais qualidade. Entretanto, Cheng (2011) aponta o fato de que este tipo de teste

e ideal para analise de interfaces de forma isolada ou unica. Para testes com alternancia

entre varias interfaces o mesmo pode apresentar dados difıceis de serem analisados. Ja o

segundo teste apresentou a vantagem de permitir o monitoramento do comportamento do

usuario com o software em dispositivo real e em ambiente real permitindo assim identificar

problemas de interacao. Como ponto negativo desta forma de teste esta a necessidade

de utilizar o dispositivo bem proximo aos olhos para que o Eye Tracking possa atuar de

forma efetiva e o incomodo que o uso em excesso do dispositivo pode causar.

Em demais casos, abordagens de teste de usabilidade foram apresentadas com objetivo

especıfico de avaliar determinadas categorias de aplicativos tais como E-commerce ou

Model Driven Development.

2.7.2.4 Avaliacao para E-Commerce

O trabalho de Hasan, Morris e Probets (2013) teve como objetivo o desenvolvimento

de uma nova abordagem de avaliacao da usabilidade. Esta nova abordagem foi criada com

base em 3 ja existentes: Monitoramento por meio do Google Analytics, Teste/Observacao

por meio de Filmagem e Avaliacao Heurıstica.

Os testes foram realizados utilizando websites de comercio eletronico de origem do

paıs da pesquisa. As tres tecnicas citadas anteriormente foram utilizadas considerando

que, a princıpio, necessitava de uma analise dos resultados de cada uma delas. Segundo

os autores os resultados das avaliacoes em cada abordagem foram:

Monitoramento por Google Analytics (GA): Esta abordagem de avaliacao proveu da-

dos importantes que foram considerados potenciais problemas de usabilidade. O aplicativo

classificou os dados em 6 areas distintas: navegacao, conteudo, arquitetura, ferramentas

de busca, servicos para cliente e valor de servicos. Duas metricas se destacaram entre

os avaliadores: quantidade de visitantes e valores financeiros tratados nos websites. En-

tretanto, as questoes apontadas como possıveis problemas de usabilidade nao permitiram


aos avaliadores se aprofundarem e relacionar tal informacao com determinados contextos

de operacao do usuario (HASAN; MORRIS; PROBETS, 2013).

Testes e Observacao X Heuriticas: Segundo Hasan, Morris e Probets (2013) as Heurısticas

permitiram a identificacao de um numero maior de problemas de usabilidade. Porem, os

mesmos foram classificados como problemas pequenos e de menor relevancia. Os tes-

tes permitiram aos avaliadores identificar problemas de maior relevancia, por exemplo,

quando um usuario efetuava uma tarefa com erro e nao tinha condicoes de abortar a

atividade.

Com base nos resultados, Hasan, Morris e Probets (2013) criaram uma abordagem de

avaliacao que posiciona em, sequencia, todas as abordagens comumente utilizadas para

avaliar a usabilidade. Os passos da abordagem sao apresentados na Figura 11.

Figura 11 – Abordagem de Avaliacao da Usabilidade de Hasan, Morris e Probets (2013)

Os autores apontaram a tecnica como satisfatoria e detalharam que as tecnicas per-

mitiram identificar problemas de usabilidade de pontos de vista diferentes. Para avaliacao

inicial, o monitoramento realizado pela ferramenta GA permitiu identificar, de forma agil

e rapida, paginas e pontos nos quais o usuario teve problemas de interacao. Identificado

pontos da interface com possıveis problemas, a aplicacao das heurısticas em conjunto

com testes de usabilidade permitiram identificar de forma detalhar quais os problemas de

usabilidade e assim aplicar correcoes especıficas para cada situacao.

2.7.2.5 Modelo de Avaliacao da Usabilidade para Model Driver Development

Um outro trabalho, desenvolvido por Fernandez et al. (2012), mostrava o uso de uma

abordagem empırica para avaliacao da usabilidade de sistema para Model Driven Develop-


ment (MDD), ou, Desenvolvimento Baseado em Modelos (portugues). Nesta abordagem,

os autores realizaram testes de usabilidade em ferramentas de MDD utilizando uma serie

de participantes com habilidade diferentes que realizaram atividades diferenciadas.

Neste experimentos os participantes foram classificados em 3 nıveis: Novatos, Inter-

mediarios e Especialistas. As hipoteses dos trabalhos foram: os participantes realizariam

suas atividades com eficiencia independente do nıvel de complexidade e; os participantes

alcancariam a solucao otima independente do nıvel do usuario e complexidade.

Os testes deste ambiente foram realizados utilizando a ferramenta Noldus, disponıvel

em (http://www.noldus.com), a fim de registrar imagens do usuario e de suas expressoes

faciais e identificar se as tarefas foram efetuadas por completo alem do tempo para re-

alizacao destas atividades. Para analisar as expressoes faciais foram utilizados 16 emo-

cards, cartoes que continham imagens de expressoes faciais masculinas e femininas, ou

seja, havia 8 imagens de expressoes masculinas e 8 de expressoes femininas. A Figura 12

apresenta uma adpatacao do modelo de cartao de expressoes apresentado por Fernandez

et al. (2012).

Figura 12 – Modelo de Cartao de emocoes de Fernandez et al. (2012)

Na Figura 12 e possıvel perceber que as emocoes foram classificadas em quadrantes,

sendo os 2 superiores relacionados as emocoes nas quais as pessoas se apresentam mais

ativas. Nos quadros inferiores, sao consideradas as expressoes classificadas como ”sonolen-

tas”e por fim, as expressoes neutras que se posicionam como um divisor dos quadrantes.

De forma lateral, as emocoes foram classificadas como ”Satisfatorias”e ”Insatisfatorias”.

Com base neste conceito e nos numeros apresentados na Figura 12 as imagens faciais

apresentadas nos quadrantes se referiam a:


1. Atento e Reacao Neutra;

2. Atento e Reacao Satisfatoria;

3. Exitacao media e Satisfatoria;

4. Sonolencia e Satisfatoria

5. Sonolencia e Reacao Neutra;

6. Sonolencia e Insatisfacao;

7. Exitacao Media e Instatisfatoria;

8. Atento e Insatisfacao.

No cartao eram apresentadas figuras que representavam expressoes masculinas e fe-

mininas para cada quadrante e tipo de expressao disponibilizada.

Como resultado geral da avaliacao da ferramenta, os autores concluıram que o nıvel

de complexidade versus o nıvel de qualificacao do participante afetou significativamente

os valores dos resultados. Os usuarios mais experientes demoraram mais para realizar as

tarefas, porem, realizaram as mesmo com maior completitude, enquanto usuarios inter-

mediarios e novatos apresentaram taxas inferiores de conclusao das tarefas. Para tarefas

simples, a diferenca e menor, entretanto, para tarefas complexas, a diferenca e muito

grande conforme mostram os graficos da Figura 13.

Figura 13 – Resultados dos experimentos de Fernandez et al. (2012)

Segundo Fernandez et al. (2012), o aplicativo de monitoramento apoiou a coleta de

dados que levaram a geracao dessas estatısticas.


Em relacao a analise de emocoes, alem da filmagem, os participantes receberam 1

emocard por tarefa e para cada atividade deveria apontar no emocard qual a reacao que

melhor se adequava a opiniao dele. No final dos experimentos os resultados foram contados

e agrupados por tarefa e expressao e gerou os graficos apresentados na Figura 14.

Figura 14 – Resultados da analise de emocoes de Fernandez et al. (2012)

Como pode ser visualizado na Figura 14 para os tres nıveis de tarefas (simples, medio

e completo) as reacoes emocionais dos participantes ficaram no quadrante inferior o que

indica uma maior ındice de tarefas que levaram a situacoes de sonolencia. Entretanto,

para tarefas simples os participantes se mostraram relaxados e de certa forma, satisfeitos,

situacao contraria para tarefas medias e difıceis nas quais os participantes se mostraram

calmos, porem insatisfeitos.

A abordagem utilizada permitiu a identificacao de problemas de usabilidade nas 18

tarefas executadas. Os problemas foram classificados de acordo com os Criterios Er-

gonomicos: Conducao, Carga de Trabalho, Controle de Usuario, Adaptabilidade, Geren-

ciamento de Erro, Consistencia e Significado de codigos. A Tabela 5 apresentada por

Fernandez et al. (2012) relaciona os problemas de usabilidade identificados e suas res-

pectivas quantidades classificadas pela complexidades das tarefas nas quais os problemas

foram encontrados.

Por fim, os avaliadores compararam os resultados da abordagem com os resultados

obtidos separadamente por meio de uma inspecao utilizando os Criterios Ergonomicos.

A abordagem permitiu identificar todos os defeitos encontrados pela inspecao com os

Criterios Ergonomicos e em maior quantidade. Um percentual pequeno de defeitos foi

encontrado somente pelos Criterios Ergonomicos ou somente pela abordagem, conforme

mostra a Figura 15 tambem de Fernandez et al. (2012).


Criterio Simples Medias ComplexasConducao 5 3 2Carga de Trabalho 2 2 0Controle de Usuario 0 1 0Adaptabilidade 2 1 0Gerenciamento de Erros 2 4 1Consistencia 2 2 0Significado de codigos 2 2 1

Tabela 5 – Problemas identificados pela abordagem de Fernandez et al. (2012)

Como resultado final, alem de problemas identificados na ferramenta de MDD, o traba-

lho apresenta a abordagem como eficiente e rapida para apoiar testes de usabilidade nesta

categoria de software. A utilizacao dos emocards e a forma como os mesmos permitiram

classificar as emocoes de todos os participantes (Novatos, Intermediarios e Experientes)

em cada tarefa foi considerado pelos autores como o ponto forte desta tecnica de teste de

usabilidade.

Figura 15 – Comparacao dos resultados da abordagem de Fernandez et al. (2012) comos Criterios Ergonomicos

2.7.2.6 Consideracoes Finais sobre Ambientes de Avaliacao

Por fim, o uso de abordagens diversas para apoiar testes de usabilidade e monitorar a

utilizacao de um sistema por seu usuario esta se destacando dentro de projeto de avaliacao

da usabilidade. Abordagens e ambientes de teste que utilizam recursos como registro de

imagens, Eye Tracking, registro de voz e coleta de dados de utilizacao por meio de arquivos

de logs puderam ser identificados nesta pesquisa.

Entretanto, nao foi possıvel identificar trabalhos que utilizassem, em conjunto, reco-

nhecimento facial e reconhecimento de fala com objetivo de gerar informacoes que possam

reduzir o tempo de identificacao de possıveis problemas de usabilidade e assim agilizar o

2.8 Ferramentas de Avaliacao da Usabilidade 72

processo de analise e tomada de decisoes em relacao a qualidade da interface.

2.8 Ferramentas de Avaliacao da Usabilidade

No inicio das atividades da pesquisa foram realizadas buscas por ferramentas que au-

xiliam a avaliacao da usabilidade. As pesquisas bibliograficas com objetivo de realizar

levantamento de dados a respeito de IHC, usabilidade e sistemas interativos, automatica-

mente remeteram a sistemas computacionais utilizados para a avaliacao.

Algumas ferramentas foram localizadas e, dentre elas, tres foram selecionadas devido

a relacao com o tema da pesquisa. Estas ferramentas foram desenvolvidas por pesquisa-

dores e/ou empresas com objetivo de apoiarem o monitoramento da avaliacao, ou seja,

sao ferramentas utilizadas em tecnicas de observacao do usuario. As tres ferramentas

escolhidas foram:

• Morae: Sistema para observacao de interacao do usuario com o sistema;

• ErgoManager: Ambiente gerenciador de Interfaces com o usuario, subdividido em:

– ErgoMonitor: Sistema de Monitoramento de Atividades em websites

– ErgoCoin: Sistema de avaliacao da Usabilidade por listas de inspecoes

2.8.1 Morae

O aplicativo Morae e apresentado por Cybis, Betion e Faust (2010) como exemplo de

aplicativo para tecnicas de avaliacao com base na observacao do usuario. Este aplicativo

esta disponıvel em http://www.techsmith.com/morae-features.html. Sua distribuicao nao

e gratuita, porem, pode ser adquirida uma versao para teste sem custo por um perıodo

de 30 dias.

O sistema Morae e composto por tres ferramentas distintas que realizam tarefas dife-

rentes, sao elas:

Morae Recorder, aplicativo administrativo que permite aos avaliadores estabelecerem

as caracterısticas dos testes, dentre elas, tipo de avaliacao, recursos que serao armazena-

dos, tarefas executadas, marcadores diversos, cenarios de uso e instrucoes gerais. O Morae

permite armazenar tanto a imagem da webcam quando as palavras pronunciadas e capta-

das pelo microfone da aplicacao. Devido a isso, o administrador pode configurar a melhor


maneira de trabalhar com estes dois recursos. Para iniciar uma avaliacao, o responsavel

deve criar um arquivo contendo as caracterısticas configuradas e este arquivo sera aces-

sado pelo computador da avaliacao. A Figura 16 apresenta duas telas de configuracao de

atividades no Morae.

(a) Configuracao de Estudo no Morae (b) Definicao de Cenarios no Morae

Figura 16 – Configuracao de testes para o aplicativo Morae

Morae Observer e o aplicativo chave para o funcionamento do Morae pois esta ferra-

menta e instalada no principal computador empregado para a avaliacao e por meio de uma

rede se conecta ao computador do Morae Recorder. Empregando o Recorder o usuario

podera efetuar marcacoes, parar e recomecar a avaliacao, criar comentarios que sao envi-

ados para a equipe de avaliacao. Anotacoes e marcacoes podem ser inseridas pela equipe

de observacao quando achar necessario. Estes dados sao registrados em arquivos de logs

que posteriormente auxiliarao na tomada de decisoes sobre a interatividade da aplicacao.

Os arquivos sao enviados para a equipe de observacao, porem, o avaliador pode ter uma

copia em sua maquina para conferencia imediata. A Figura 17 apresenta a interface do

componente Morae Observer.

Morae Manager e o aplicativo para analise e geracao de informacoes com base nos

dados coletados pelo Observer. Os arquivos de logs sao importados para o Manager sem

causar danos aos dados originais, ou seja, os dados sao copiados do arquivo do Observer

para dentro do sistema Manager. Para efetuar a analise o avaliador deve criar um projeto

no qual podem ser trabalhados um ou varios arquivos do observador. Isso ocorre porque

um avaliador pode necessitar utilizar varias pessoas para utilizar o software ou avaliar em

varias fases diferentes necessitando unir estes dados posteriormente.

O Morae Manager permite a confeccao de graficos com base nos dados da avaliacao.


Figura 17 – Tela do aplicativo Morae Observer http://www.techsmith.com

A avaliacao permite mensurar informacoes como:

• tempo de tarefa: apresenta informacoes quantitativas sobre o tempo medio para

realizacao de uma determinada atividade;

• Mouse Clicks: indica a quantidade de clicks disparados pelo mouse;

Os dados coletados tais como imagens do usuario e da tela e os sons coletados permi-

tem aos observadores mensurarem dados como:

• sucesso na realizacao das tarefas: apresenta se os usuarios alcancaram ou nao o

sucesso na realizacao das tarefas, onde ocorreu, se foi realizada com sucesso, fracasso

e por que;

• aprendizagem: se a tarefa for realizada mais de uma vez, se a mesma ocorreu em

pouco tempo e com poucos erros;

• satisfacao: aponta a satisfacao do usuario antes, durante e depois da avaliacao;

• movimentos do mouse: indica a distancia entre movimentos do mouse;

• caminho da tarefa: compara o caminho efetuado por um usuario a um caminho

pre-definido.

Em resumo, o sistema Morae e um sistema que apoia a avaliacao da usabilidade com

base na observacao do usuario. O aplicativo disponibiliza recursos de vıdeo, sons alem


de registrar dados da avaliacao em arquivos de logs. Porem, diferente de sistema de

monitoramento por log files o Morae registra dados inseridos pelos usuario da aplicacao

e nao a coleta automatica. Um componente gerador de relatorios permite aos avaliadores

gerar informacoes com base nos arquivos de logs alem de permitir a geracao de graficos.

Embora o Morae se apresente como uma ferramenta para observacao do usuario em

si o mesmo ignora a coleta e utilizacao de imagens faciais e palavras pronunciadas como

criterio de avaliacao, mas utiliza estes recursos coletados de forma natural, ou seja, nao e

inserida nenhuma tecnica de processamento de imagem ou fala.

A seguir serao apresentadas duas ferramentas desenvolvidas por pesquisadores que

incluem pesquisadores da Escola de Artes, Ciencias e Humanidades da Universidade de

Sao Paulo (EACH-USP): ErgoMonitor e ErgoCoin.

2.8.2 ErgoMonitor

O ErgoMonitor e uma ferramenta de avaliacao da usabilidade de websites que se

utiliza de logfiles ou arquivos de logs. Os arquivos contem dados relacionados a utilizacao

do website por parte do usuario (CYBIS; SCAPIN; MORANDINI, 2005; MORANDINI, 2002).

A coleta de dados e silenciosa, seletiva e muitas vezes imperceptıvel ao usuario e por

isso e considerada uma tecnica de baixa interferencia no processo de avaliacao (MORAN-

DINI, 2002).

Os dados coletados permitem ao avaliador gerar informacoes sobre os nıveis inter-

mediarios de usabilidade de uma um website. As informacoes sao consideradas medias por-

que as medidas podem variar de acordo com o contexto de operacao do sistema, potencia

da Internet, nıvel de conhecimento de informatica e negocio por parte do usuario (CYBIS;

SCAPIN; MORANDINI, 2005).

Segundo Cybis, Scapin e Morandini (2005), o principal objetivo do ErgoMonitor e

ajudar desenvolvedores e gerentes de websites a enfrentar um grande desafio: assegurar a

usabilidade constante das interfaces mesmo com as frequentes mudancas e atualizacoes de

informacoes e funcoes de forma simples, objetiva, barata e pouco intrusiva para o usuario.

Morandini (2002), responsavel pela proposta desta ferramenta, afirma que o objetivo

do ErgoMonitor e a coleta de dados diretamenta das interacoes em websites e por meio

delas produzir taxas e metricas de usabilidade que devem ser comparadas, em sequencia,

com taxas relativas a boas e mas praticas em websites semelhantes ao avaliado. O Ergo-


Monitor permite a producao de relatorios quantitativos e apoia uma interacao entre estes

e relatorios qualitativos. A ferramenta auxilia na confirmacao de informacoes qualitativas

elaboradas previamente ou na geracao de novos insumos deste genero.

A Figura 18 apresenta a abordagem da ferramenta ErgoMonitor.

Figura 18 – Abordagem do sistema ErgoMonitor (MORANDINI, 2002)

Portanto, o ErgoMonitor e uma ferramenta desenvolvida com o objetivo de coletar

dados sobre a interacao do usuario com um website de forma segura e pouco intrusiva

permitindo ao avaliador gerar quantitativos apoiando assim relatorios qualitativos. Por

ser um ambiente de pouca interferencia na interacao, o aplicativo tem como ponto forte a

capacidade de nao interferir nos dados da avaliacao, pois o participante nao percebe que

esta sendo monitorado nao causando constrangimentos ou interrupcoes aos participantes.

O baixo custo da avaliacao e outra caracterıstica positiva, pois evita a obrigatoriedade

da presenca de um participante in loco em laboratorios de avaliacao economizando com

deslocamento e infraestrutura.

2.8.3 ErgoCoin

O ErgoCoin e uma ferramenta desenvolvida para apoiar a elaboracao de relatorios

qualitativos. Este componente se baseia em uma tecnica de avaliacao chamada de Inpecao

por Lista de Verificacao. Este sistema foi desenvolvido atendendo a questoes como: o

desenvolvimento de website cresce de maneira acelerada levando a um grande numero de

desenvolvedores muitas vezes, nao especialistas em usabilidade e ergonomia de software

e o curto perıodo de tempo e custo disponıveis para o desenvolvimento das aplicacoes


(MORANDINI et al., 2011).

O sistema foi construıdo sustentado por uma base de conhecimento composta por

questoes sobre ergonomia e qualidade de interfaces, questoes estas, que devem ser apli-

cadas a usuarios e projetistas por meio de questionarios fechados. A aplicacao deste

questionario deve ser realizada utilizando um website ja desenvolvido e em operacao com

usuarios reais. Sao necessarios, tambem, projetistas com tempo disponıvel para realizacao

das tarefas. A base de conhecimento foi elaborada com base nos trabalhos de Scapin e

Bastien (CYBIS; SCAPIN; MORANDINI, 2005).

A ferramenta implementa as tres abordagens determinadas pelos autores como pi-

lares para avaliacao utilizando o ErgoCoin. As abordagens se baseiam nas etapas de

Analise Contextual que se trata de questionarios aplicados a usuarios e projetistas a

fim de identificar caracterısticas do contexto do website uteis para as inspecoes. A es-

tapa de Inspecao Avaliativa preve uma comparacao entre as informacoes fornecidas

pelos usuarios e projetistas com as interfaces avaliadas. Por ultimo a etapa de Docu-

mentacao refere-se a elaboracao de documentos reportando apenas as discordancias e

desconformidades verificadas (CYBIS; SCAPIN; MORANDINI, 2005).

Em resumo, o ErgoCoin se apresenta como uma ferramenta para coleta de dados

para avaliacao ergonomica de baixo custo e complexidade voltado para a metodologia

de inspecao por listas de verificacao que podem ser utilizadas por desenvolvedores nao

especialistas em usabilidade.

O proximo capıtulo apresenta as atividades relacionadas ao desenvolvimento da abor-

dagem e da ferramenta proposta nesta pesquisa.

Esta pesquisa foi desenvolvida com objetivo de prover uma abordagem de teste de

usabilidade apoiada por tecnicas de processamento de imagens e reconhecimento de fala

para apoiar as atividades de analise de dados e na geracao de informacoes sobre um

teste de usabilidade reduzindo o tempo de estudo e tomada de decisao. Para isso, foi

desenvolvida uma ferramenta que continha recursos para execucao da abordagem proposta

e foi batizada de ErgoSV e dividia em tres modulos: Coleta, Pre-Processamento e Analise.

O processo de desenvolvimento dessa abordagem e da ferramenta foi dividido em

quatro etapas: Definicao da Estrutura do Sistema, Coleta de dados e Validacao/Analise

Final dos Dados.

As proximas secoes e subsecoes apresentarao detalhes do desenvolvimento da aplicacao

e dos experimentos para validacao assim como seus resultados.

78

Capıtulo 3

Metodologia de Pesquisa

Esta pesquisa foi desenvolvida com objetivo de prover uma abordagem de teste de

usabilidade apoiada por tecnicas de processamento de imagens e reconhecimento de fala

para apoiar as atividades de analise de dados e na geracao de informacoes sobre um

teste de usabilidade reduzindo o tempo de estudo e tomada de decisao. Para isso, foi

desenvolvida uma ferramenta que continha recursos para execucao da abordagem proposta

e foi batizada de ErgoSV e dividia em tres modulos: Coleta, Pre-Processamento e Analise.

O processo de desenvolvimento dessa abordagem e da ferramenta foi dividido em

quatro etapas: Definicao da Estrutura do Sistema, Coleta de dados e Validacao/Analise

Final dos Dados.

As proximas secoes e subsecoes apresentarao detalhes do desenvolvimento da aplicacao

e dos experimentos para validacao assim como seus resultados.

3.1 Definicao da Estrutura do Sistema

O objetivo desta pesquisa foi o desenvolvimento de uma abordagem de teste de usa-

bilidade com tecnicas de processamento de imagens e reconhecimento de fala para apoiar

atividades de aquisicao de dados, identificacao de problemas de usabilidade e geracao

de informacoes basicas. Esta pesquisa foi possıvel somente com o uso de um (software)

desenvolvido especificamente para este trabalho.

O primeiro desafio do processo de desenvolvimento das aplicacoes foi o de identificar e

selecionar as ferramentas e componentes para serem utilizadas no sistema. Considerando

esta necessidade e ciente de que o objetivo da pesquisa nao era o desenvolvimento ou

melhoria de novos recursos para processamento de imagens e/ou processamento de fala,

iniciou-se um trabalho a fim de identificar e testar recursos computacionais (software)

que poderiam ser utilizados na implementacao e permitissem a execucao das atividades

da pesquisa sem a necessidade de implementar novos e complexos algoritmos. Alem de

recursos de imagens e fala, foram analisados tambem tres ambientes de desenvolvimento

a fim de escolher qual plataforma e linguagem de programacao que seriam empregadas.

3.1 Definicao da Estrutura do Sistema 79

As ferramentas e recursos escolhidos sao apresentados nas secoes seguintes.

3.1.1 Componentes para o desenvolvimento da aplicacao

Nesta secao serao apresentadas as atividades realizadas para escolha dos componentes

e ferramentas selecionadas para implementacao do aplicativo ErgoSV e os criterios que

levaram a escolha das mesmas.

3.1.1.1 Ambiente de Desenvolvimento e Linguagem de Programacao

O ambiente de desenvolvimento escolhido foi o Microsoft Visual Studio na sua versao

Express e a linguagem de programacao foi o C Sharp (C#). Os recursos apontados sao

distribuıdos pela Microsoft na versao completa utilizando licenca paga, porem o ambiente

na versao Express e disponibilizado com licenca gratuita (CAMACHO, 2008).

A escolha do Microsoft Visual C# Express se deu devido a tres fatores principais:

(1) a ampla quantidade de recursos disponibilizados que apoiariam de forma eficiente o

desenvolvimento da pesquisa; (2) a integracao da ferramenta com componentes selecio-

nados para apoiar o reconhecimento facial e o reconhecimento de fala apresentados nas

proximas secoes deste capıtulo; (3) o bom conhecimento da linguagem de programacao

que otimizaria o processo de desenvolvimento da aplicacao.

A aquisicao das ferramentas foi feita por meio de download dos instaladores no site

http://www.microsoft.com/visualstudio/ptb/products/visual-studio-express-products na

versao 2008.

Na proxima secao serao apresentadas as atividades de teste e selecao da ferramenta

Coruja, utilizada para apoiar o reconhecimento de fala.

3.1.1.2 Projeto Coruja - Projeto Fala Brasil

O Projeto Fala Brasil e um trabalho do grupo de pesquisa Fala Brasil do Laboratorio

de Processamento de Sinais (LaPS) da Universidade Federal do Para (UFPA) que atua

em pesquisas relacionadas ao processamento de sinais. Diversas aplicacoes foram e estao

sendo trabalhadas por essa equipe. Dentre elas projetos relacionados ao framework de

processamento de fala no padrao Speech To Text (STT) ou Fala para Texto (TTS) para

o portugues brasileiro.

A equipe do Fala Brasil, coordenada pelo Prof. Dr. Aldebaro Klautau, desenvolveu


uma ferramenta, chamada de Coruja, na linguagem de programacao C++ com suporte a

Common Language Runtime (CLR), ou seja, com capacidade de integracao com lingua-

gens de programacao suportadas pela Microsoft, para processamento de fala no idioma

Portugues-Brasileiro. A ferramenta disponıvel em http://www.laps.ufpa.br/falabrasil/ des-

cende da ferramenta Julius disponıvel em(http://julius.sourceforge.jp/en/) que e um reco-

nhecedor de fala de alta performance para grandes vocabularios (NETO; PATRICK; KLAU-

TAU, 2010). Dentre as vantagens da ferramenta esta a implementacao dos complexos

algoritmos de processamento de fala permitindo assim seu acesso por funcoes simples e

rapidas dentro de uma linguagem de programacao, ou seja, fica a cargo do desenvolvedor

somente codificar metodos de forma pratica informando, quando necessario, parametros

solicitados.

A gratuidade da ferramenta, a capacidade de integracao com outros ambientes de

desenvolvimento e o vasto material de apoio disponibilizado pelos seus criadores foram

outras vantagens que contribuıram para sua escolha. Entretanto, um criterio fundamental

foi para escolha do componente: a analise dos resultados dos testes realizados pelo labo-

ratorio responsavel pelo desenvolvimento da ferramenta e dos testes feitos especificamente

para esta pesquisa. O primeiro teste foi realizado por Silva et al. (2010) que comparou esta

ferramenta, com base no reconhecedor Julius, com outras duas disponıveis na area. Uma

delas tem o nome de HDecoder e outra IBM Via Voice. As duas ferramentas de terceiros

apresentaram melhor desempenho que a ferramenta Julius pois reconheceram uma media

de 70,5% das palavras enquanto a ferramenta apresentada pelos pesquisadores reconheceu

cerca de 60%, porem, o Coruja foi mais rapido que a outras ferramentas.

Os testes realizados com objetivo especıfico de verificar a eficiencia da ferramenta

Coruja para esta pesquisa foram efetuados com apoio de um prototipo de software que

continha os recursos necessarios para realizar o processamento de fala obtidos por meio

do sistema Coruja e os recursos testados no prototipo foram os mesmos utilizados na

versao final da ferramenta. Antes de iniciar os testes, o aplicativo Coruja foi adquirido

no website da universidade e seus arquivos copiados para o diretorio raiz ”C:”de uma

maquina com Windows versao 7 de 32 bits. Apos a aquisicao foram disponibilizadas

diversas pastas contendo arquivos de controle tais como o reconhecedor Julius, arquivos

DLL para integracao com as ferramentas de programacao e arquivos XML para controle

da ferramenta Coruja.

Alguns arquivos do Coruja requerem atencao especial da equipe de desenvolvimento,

pois esses serao responsaveis por realizar a conversao dos sons (sinais) capturados em


palavras escritas, alem de gerenciar o aplicativo para trabalhar no modelo de reconheci-

mento especificado pelo usuario, visto que o Coruja pode ser configurado para reconhecer

qualquer palavra ou somente palavras especıficas (NETO; PATRICK; KLAUTAU, 2010). Para

esses teste, tres arquivos foram modificados a princıpio: comandos.dict, comandos.voca e

comandos.xml. Foram especificadas nesses arquivos as palavras chave escolhidas para o

teste e a respectiva configuracao fonetica de cada uma delas. A configuracao fonetica e um

conjunto de sımbolos que permitem identificar como uma palavra deve ser pronunciada

(NETO; PATRICK; KLAUTAU, 2010). Este recurso e fundamental para o bom funciona-

mento do sistema Coruja, principalmente para o reconhecimento de palavras especıficas.

As palavras escolhidas para os testes e para utilizacao no ErgoSV foram: Otimo, Bom,

Ruim, Regular e Pessimo. Estas palavras foram selecionadas por serem pequenas, faceis

de memorizar e por representarem conceitos e/ou opinioes de qualidade em relacao a de-

terminados contexto. Portanto, essas palavras foram configuradas nos arquivos do sistema

Coruja conforme apresentam as Figuras 19(a) que representa o arquivo comandos.dict e

19(b) que apresenta o arquivo comandos.xml.

(a) Comandos.dict (b) Comandos.xml

Figura 19 – Arquivos de configuracao do Coruja

3.1.2 Testes com a ferramenta Coruja

Os testes foram efetuados com um pequeno aplicativo criado na linguagem de pro-

gramacao C# no qual foram integrados os recursos do aplicativo Coruja. Foram sele-

cionadas quinze pessoas do sexo masculino e feminino com idade entre 18 e 50 anos,

dentre elas, algumas com maior experiencia em desenvolvimento de software e as demais

com conhecimentos basicos em informatica. Visando verificar a eficiencia do sistema em

funcao de apoiar essa pesquisa, o aplicativo de teste foi configurado para reconhecer so-

mente as cinco palavras chave pretendidas para a pesquisa: Otimo, Bom, Ruim, Regular

e Pessimo. A Figura 20 apresenta a interface do prototipo de teste na qual sao listadas

algumas palavras reconhecidas durante um teste.


Figura 20 – Interface do prototipo de teste da ferramenta Coruja

Durante os testes com a ferramenta os participantes eram incentivados a pronunciarem

as palavras de forma aleatoria utilizando um notebook. Nao havia criterio para pronuncia

das palavras, simplesmente foi solicitado aos participantes que pronunciassem pelo menos

uma vez cada palavra chave. O computador continha um microfone externo que coletava

sons pronunciados no ambiente e tambem conectores para utilizacao de headfones ou fones

de ouvido com microfone. Dentro da disponibilidade de cada participante foram realizados

testes com microfone externo e com fones de ouvidos. Alem do recurso tecnologico, o

ambiente no qual se instalou o computador (uma sala de aula de uma faculdade) levou

a ocorrencia de diversas variacoes de ruıdos sendo em determinados momentos um local

silencioso e em outros com mais barulhos.

O tipo de microfone utilizado e a variacao de sons no ambiente influenciaram sig-

nificativamente a avaliacao da ferramenta levando a cuidados especiais na realizacao de

cada experimento. Os resultados mostraram que a ferramenta se comportava muito bem

quando utilizada com um fone de ouvido com resultados ainda melhores em ambientes

com pouco barulho. Ja o microfone externo apresentou bons resultados em testes feitos

em situacao de silencio ou baixıssimo ruıdo, para ambientes com barulho o percentual de

reconhecimento foi baixo.

Os ruıdos nao foram os unicos fatores a interferir no reconhecimento: o volume, tom

da voz e sotaque tambem interferiram no processamento de algumas palavras. Alguns

participantes pronunciaram palavras em volume/tom de voz muito baixo o que dificultou

o trabalho da ferramenta Coruja. Ao serem corrigidos e alertados a falarem mais alto e

com tom de voz firme o problema de reconhecimento era solucionado. O sotaque foi o

terceiro fator que influenciou o processamento da fala, principalmente de palavras com a

letra ”R”como Regular ou Ruim, com destaque para a primeira palavra. A forma como

alguns participantes pronunciaram a letra R ocasionou a uma dificuldade de interpretacao

no sistema, porem, nao foi possıvel identificar um padrao para essa divergencia. Os

resultados dos testes sao apresentados na Tabela 6.


Tabela 6 – Resultados dos testes da ferramenta Coruja

Microfone Ambiente % ReconhecimentoHeadfone Silencioso 90Headfone Barulho 65Externo Silencioso 85Externo Barulho 30

A falha nos reconhecimentos ocorreu de duas maneiras: no primeiro a palavra pro-

nunciada nao era escrita na tela sinalizando que a aplicacao nao recebeu o sinal de voz

ou nao conseguiu efetuar reconhecimento; no segundo caso a palavra escrita na tela era

diferente da palavra pronunciada e apresentava uma taxa de confianca (percentual no qual

a ferramenta Coruja aponta a qualidade de reconhecimento) muito baixa.

Os resultados apontavam para a necessidade de realizacao dos testes de usabilidade

em ambientes silenciosos, ou com baixo nıvel de ruıdos, independente da utilizacao do

headfone ou de um microfone externo, em outras palavras, o silencio na sala de testes

deveria ser rigorosamente controlado para nao afetar os dados e consequentemente o

resultado final do teste e/ou afetar o percentual de confianca do reconhecimento das

palavras.

Embora tenha apresentado limitacoes no reconhecimento das palavras, o percentual

de sucesso nos testes foi considerado satisfatorio para o desenvolvimento do aplicativo

ErgoSV e tambem para os experimentos desta pesquisa, sendo portanto, selecionada para

tais atividades.

Na proxima secao serao apresentados os testes efetuados na ferramenta OpenCV a

fim de apoiar as atividades de processamento de imagens e reconhecimento facial.

3.1.2.1 Biblioteca OpenCV

O grande numero de atividades relacionadas ao processamento de imagens levaram

ao surgimento de ferramentas computacionais para apoiar tais atividades. Dentre elas a

biblioteca OpenCV que e um frameword Open Source utilizada para processamento de

imagens offline ou em tempo real. Ela pode ser utilizada em areas como IHC, identificacao

de objetos, segmentacao, reconhecimento de faces, gestos e demais atividades relacionadas

a computacao visual (LIMA et al., 2008). Ela foi desenvolvida originalmente na linguagem

C/C++ e permite integracao com ambientes de desenvolvimento como Microsoft Visual

Studio, Eclipse e C++ Builder.


Distribuicoes (releases paralelas) foram criadas com a finalidade de permitir a adaptacao

da ferramenta a um maior numero de linguagens e ambientes de programacao, exemplo de-

las e a EMGU OpenCV disponıvel em (http://www.emgu.com/wiki/index.php/OpenCV).

Nesta distribuicao foram implementados metodos especıficos para utilizacao junto a lin-

guagem C# melhorando a capacidade de integracao com o ambientes como o Microsoft

Visual Studio. Outra distribuicao conhecida e a JavaCV que permite a integracao com a

plataforma de desenvolvimento Java.

A distribuicao da OpenCV estudada para esta pesquisa foi a EMGU OpenCV de-

vido ao fato da implementacao ser realizada utilizando o C#. A integracao e feita por

meio de arquivos DLL permitindo que funcoes que exigiam grande quantidade de linhas

de codigo para implementacao fossem acessadas por meio de metodos simples, situacao

semelhante a apresentada para processamento de fala. Um exemplo da aplicacao desta

biblioteca e utilizacao do algoritmo para identificacao de faces dentro de uma imagem.

A funcionalidade e facilmente acessada pelo comando grayFrame.DetectHaarCascade no

qual sao atribuıdos parametros execucao do mesmo. Esta funcao identifica e destaca com

um desenho (quadro com bordas pretas) as imagens de rostos encontrados na imagem.

A aplicacao desta funcao no ambiente de desenvolvimento Visual C# Express em

conjunto com um contador de tempo com atualizacao automatica permitiu que a funcao

fosse executada durante todo o tempo de uma filmagem.

Um trabalho desenvolvido por Oliveira e Jaques (2008) foi realizado com auxilio da

biblioteca OpenCv que teve o objetivo de capturar imagens da face do usuario e utilizando

uma base de conhecimento complexa contendo informacoes sobre as caracterısticas de

emocoes, o sistema deveria reconhecer qual a emocao expressada pelo usuario. O processo

de deteccao facial foi efetuado com auxilio da OpenCv.

Isto deve-se ao fato da biblioteca implementar o metodo Haar-like features, conhecido

tambem por Metodo de Viola Jones. Para efetuar o processamento a imagem e submetida

a biblioteca OpenCV que, utilizando o metodo de Viola Jones, procura por uma face

dentro da imagem demarcando a regiao que contem tal informacao (LIMA et al., 2008). A

Figura 21 apresenta um exemplo de demarcacao da regiao facial realizado pela biblioteca

OpenCV e o metodo de Viola Jones (OLIVEIRA; JAQUES, 2008). No quadro a esquerda e

apresentada a imagem completa obtida por meio de uma camera; no quadro a direita e

exibida a imagem ja processada com destaque somente a area da face.

Os experimentos para verificar a eficiencia da OpenCV para esta pesquisa foram re-

alizados de forma similar aos testes com a ferramenta Coruja. Um pequeno aplicativo


Figura 21 – Reconhecimento facial com OpenCV (OLIVEIRA; JAQUES, 2008)

(prototipo) foi criado com a unica funcao de se conectar com a webcam e efetuar o reco-

nhecimento facial das pessoas que participavam dos testes. Neste software foram inseridos

os arquivos DLL que permitem a integracao com os algoritmos de reconhecimento facial,

alem de codificados os algoritmos para execucao das funcoes de reconhecimento e conexao

com a camera. Uma pequena tela contendo um display para exibir a face do participante

foi posicionado no centro da tela conforme apresenta a serie de imagens que compoe a

Figura 22.

(a) Face 01 (b) Face 02 (c) Face 03 (d) Face 04

Figura 22 – Teste de reconhecimento facial com OpenCV

Os resultados apontaram para uma capacidade de reconhecimento superior a 90%

levando a conclusao de que a ferramenta seria adequada para apoiar a execucao dessa

pesquisa.

3.1.2.2 Consideracoes Finais sobre a Selecao de Recursos Computacionais

Os recursos selecionados para apoiar o desenvolvimento desta pesquisa foram esco-

lhidos considerando resultados estabelecidos e publicados em outros trabalhos cientıficos

alem dos resultados dos experimentos feitos especificamente para este trabalho. Opinioes

tecnicas de desenvolvedores de software e especialistas da area de computacao, mas nao

vinculados a area de pesquisa tambem foram levados em consideracao. Os recursos seleci-


onados foram unidos e utilizados no desenvolvimento da aplicacao ErgoSV e consequente-

mente nos experimentos deste projeto. No proximo topico sera apresentada a definicao das

atividades e a modelagem utilizando diagramadas da Unified Modeling Language (UML).

3.1.3 Definicao e Modelagem das Funcionalidades

Com todos os recursos a serem utilizados no desenvolvimento selecionados iniciou-se

a fase de definicao das funcionalidades do aplicativo. As funcionalidades foram definidas

com base na reflexao da seguinte pergunta: “O que um aplicativo deveria ter para apoiar

testes de usabilidade utilizando reconhecimento facial e reconhecimento de fala?”Apos es-

tudos sobre o foco da pesquisa e das funcionalidades necessarias, elaboracao de rascunhos

e analise das funcionalidade e recursos do ponto de vista tecnico foi possıvel definir as

funcionalidades da aplicacao e consequentemente sua arquitetura.

Em relacao a arquitetura da aplicacao ficou decidido que: (1) o sistema seria de-

senvolvido na plataforma desktop ou seja, com padrao de interface convencional para

plataforma Windows. Antes desta decisao cogitou-se a possibilidade do desenvolvimento

para plataforma web, porem nesta abordagem poderiam ocorrer problemas para gerenciar

determinadas funcoes do aplicativo. Por exemplo, minimizar a aplicacao durante o teste e

executa-la em segundo plano. Alem disso, a plataforma desktop oferecia um maior numero

de recursos necessarios para o bom funcionamento da aplicacao e, por ultimo, por nao

ser o foco desta pesquisa o desenvolvimento de um sistema web, mas de uma plataforma

para apoiar a avaliacao da usabilidade utilizando tecnicas de processamento de sons e

imagens; (2)as atividades de processamento deveriam ser organizadas na arquitetura de

forma a nao comprometer as atividades de coleta e analise dados. Deveriam ser consi-

deradas, tambem, as caracterısticas e limitacoes das ferramentas utilizadas para registrar

imagens e audio de forma a otimizar a utilizacao de seus recursos. Apos aprofundado

estudo decidiu-se dividir o software em dois modulos: ErgoSV e ErgoSV Analyzer.

ErgoSV: Esse aplicativo foi desenvolvido contendo uma estrutura focada em recursos

para efetuar a coleta de dados. Neste aplicativo foram implementadas as funcoes do

framework Coruja para realizar o processamento das palavras chave pronunciadas e da

ferramenta OpenCV para efetuar a comunicacao com a webcam o registro da imagem

e a execucao do processamento que permitiu identificar imagens faciais. Alem destas

funcionalidades o modulo ErgoSV apresentava os recursos funcionais demonstrados no

Diagrama de Caso de Uso da Figura 23.

O caso de uso Registrar Usuario se refere as atividades de aquisicao de dados dos


Figura 23 – Diagrama de Caso de Uso do ErgoSV

participantes que realizam os testes. A insercao dos dados no sistema e feita pelo proprio

participante que informa dados como nome, endereco, idade e instituicao. O caso de uso

Configurar Avaliacao e uma tarefa destinada ao avaliador que insere dados relativos a

caracterısticas dos testes como: tipo de teste, abordagem utilizada e nome do aplicativo.

Por ultimo, o caso de uso Realizar a avaliacao consiste na tarefa de execucao do teste,

iniciada e finalizada pelo participante, que passa a ser monitorado constantemente pelo

sistema ErgoSV.

Foi integrado ao ErgoSV um recurso de coleta de snapshots das telas dos aplicativos

utilizados no momento de determinada reacao a fim de utiliza-las como dados para analisar

qual funcionalidade do sistema em teste provocou uma reacao positiva ou negativa do

participante. As imagens de tela foram registradas em intervalos de tempo em segundos

pre determinados. Estes valores podem ser determinados pelo avaliador no momento da

execucao do teste e influenciara na quantidade de imagens de interfaces disponıveis para

analise.

ErgoSV Analyzer: Este modulo do aplicativo foi criado visando realizar atividades

de Pre Processamento (enriquecimento) dos dados coletados pelo ErgoSV e a apoiar

na geracao das informacoes. O aplicativo acessa a mesma base de dados utilizada pelo

primeiro software e foi criado com a intencao de separar a atividade de coleta de dados

da analise e geracao de informacoes. O aplicativo ErgoSV Analyzer seria o responsavel

por gerar as informacoes alem de exibir e permitir o gerenciamento da mesma por parte

do avaliador. As funcoes definidas para esse aplicativo que poderiam ser realizadas pelo

avaliador foram:


• visualizar a lista de avaliacoes: permite visualizar uma lista com a relacao de testes

realizados com dados sobre o participante e o teste como data, horario de inicio e

fim;

• gerenciar as avaliacoes: modulo de acesso aos dados completos da avaliacao;

• gerenciar dados de fala e imagens: manutencao de dados de imagem e fala como

consulta e visualizacao;

• visualizar interfaces registradas durante os testes: funcionalidade que existe as in-

terfaces que estavam em uso em momentos proximos a um evento especıfico;

• realizar o processamento offline das imagens: calcular a similaridade das imagens

faciais.

A busca e organizacao dos dados coletados de forma clara e eficiente para analise

que compreende o destaque para situacoes relevantes, criacao de graficos e classificacao

e imagens e palavras pronunciadas e realizada de forma automatizada pelo ErgoSV. As

funcoes basicas nao compreendem o processo de comparacao das imagens faciais que foi

definida como uma tarefa a ser acionada pelo avaliador. A Figura 24 apresenta o Diagrama

de Caso de Uso do ErgoSV Analyzer.

Figura 24 – Diagrama de Caso de Uso do ErgoSV


As funcionalidades dos aplicativos foram definidas e classificadas de forma que per-

mitissem um melhor aproveitando dos recursos para as atividades de coleta de dados,

processamento, geracao e visualizacao de informacoes alem de considerar as atividades do

participante e do avaliador. A regra de negocio estabelecida para o ErgoSV foi modelada

utilizando o diagrama de classes conforme apresenta a Figura 25 seguindo o paradigma

de desenvolvimento orientado a objetos (GUEDES, 2009).

Figura 25 – Diagrama de Classe ErgoSV

O Sistema Gerenciador de Banco de Dados (SGBD) utilizado foi o PostgreSQL. Esse

SGBD foi escolhido por ser gratuito, robusto e apresentar todos os recursos necessarios

para o desenvolvimento da aplicacao. Uma base de dados foi modelada e criada para

armazenar os dados dos testes realizados. A estrutura de tabela seguiu rigorosamente a

estrutura de negocios apresentada no diagrama de classe da Figura 25, ou seja, dentre

as tabela criadas pode-se citar tabelas para: registro de dados dos testes, imagens dos

testes, palavras pronunciadas, cadastro de participantes, imagens das interfaces dos testes,

caracterısticas das imagens e seus respectivos valores.

Na proxima secao serao apresentadas as consideracoes finais sobre a estrutura do

software ErgoSV.

3.2 Estrategias de Uso da Abordagem e da Aplicacao 90

3.1.4 Consideracoes finais sobre a Estrutura do Sistema

O processo de escolha das ferramentas para serem utilizadas no ErgoSV (reconhe-

cimento de voz, reconhecimento facial e plataforma de desenvolvimento) envolveu ativi-

dades relacionadas aos testes, validacao e estudos de componentes computacionais que

permitissem a implementacao de um software para apoiar a abordagem proposta nesta

pesquisa. Recursos para processamento de fala, processamento de imagens, linguagens de

programacao e ambientes de desenvolvimento foram testados e escolhidos de acordo com

seus resultados, considerando que seriam adequados para implementacao.

A estrutura do software referente a regra de negocios e funcionalidades foi estabe-

lecido buscando realizar um enlace entre as ferramentas computacionais e as funcoes a

serem desempenhadas pelo aplicativo. Esta analise levou a conclusao da necessidade do

desenvolvimento da ferramenta em dois modulos, um para coleta de dados e outro para

analise e geracao de informacoes.

Na proxima secao serao apresentadas as estrategias para o uso dos sistemas ErgoSV

e ErgoSV Analyzer.

3.2 Estrategias de Uso da Abordagem e da Aplicacao

Esta secao apresenta as etapas necessarias para realizacao dos testes de usabilidade,

do processamento dos dados, da analise dos dados e para o acesso as informacoes geradas.

Primeiramente sao apresentadas as atividades necessarias para execucao do ErgoSV para

coleta de dados e apos as atividades relacionadas ao aplicativo ErgoSV Analyzer.

Considerando o interesse de possıvel divulgacao e disponbilidade de utilizacao para

testes em laboratorios de usabilidade, os aplicativos ErgoSV e ErgoSV Analyzer tiveram

suas interfaces desenvolvidas no idioma Ingles.

3.2.1 Coleta de Dados

As atividades de coleta de dados foram realizadas utilizando o aplicativo ErgoSV que

continha recursos para aquisicao, processamento e registro das palavras chave pronunci-

adas, das imagens faciais dos participantes e das imagens de telas tambem registradas

durante um teste.

O processamento de fala consiste na verificacao da palavra pronunciada pelo parti-


cipante em uma base de dados em caso de reconhecimento, tal palavra e escrita em um

display e posteriormente armazenada em um base de dados para os testes. Essa veri-

ficacao e feita por algoritmos que inspecionam uma serie de arquivos do aplicativo Coruja

alem de iniciar a execucao dos complexos codigos fonte existentes na ferramenta. Ja o

processamento de imagens e o reconhecimento facial se refere a identificacao de uma face

em uma determinada imagem executado pela ferramenta OpenCV e em caso de identi-

ficacao de face, a mesma e registrada na base de dados dos testes. Esta ferramenta auxilia

tambem no registro e exibicao da imagem da webcam em uma interface especıfica.

O processo de teste de usabilidade se inicia executando-se o sistema ErgoSV no qual o

participante se depara com uma tela de login com campos para informar o nome do usuario

e a senha. Caso o participante ja tenha efetuado seu cadastro, o mesmo deve informar

os dados requisitados, entretanto, se e a primeira vez que do participante em um teste de

usabilidade com o ErgoSV o mesmo necessita preencher um formulario conforme apresenta

a Figura 26. A tela de login foi criada com objetivo de identificar quais participantes

realizaram quais testes para posterior identificacao das caracterısticas dos mesmos.

Figura 26 – Interface de registro de participantes do ErgoSV

Efetuado o Login no sistema, e exibido o painel de gerenciamento de testes, divi-

dido em duas partes: a primeira contem um quadro com duas tabulacoes (abas): na

primeira tabulacao, chamada Webcam Video, e exibida a imagem da webcam para ajuste,

posicionamento e visualizacoes necessarias; e na segunda, chamada Words Pronounced e

apresentada a lista de palavras reconhecidas em um teste. Este painel apresenta tambem

outras duas divisorias nas quais em uma se encontra o formulario para preenchimento dos

dados do teste e no outro se encontram os botoes que permitem a manutencao do teste.

O formulario de dados do teste deve ser preenchido antes de se iniciar uma avaliacao

e os dados apresentados sao utilizados na analise dos dados e para orientar o aplicativo

em relacao a seu funcionamento tal como intervalo de tempo para registro de imagens da


tela do sistema e da face do participante. Este formulario apresenta os campos:

• Application Name: campo para informar o nome da aplicacao ou website a ser

testado;

• Approach: Filming or Think Aloud: campo no qual deve ser selecionada quais

funcionalidades de reconhecimento/processamento serao ativadas para uso um teste

de usabilidade;

• Screen Interval: campo para indicacao do intervalo de tempo em segundos no

qual o aplicativo ErgoSV deve registrar uma imagem da tela;

• Face Interval: campo para indicacao do intervalo de tempo em segundos para

registro de imagens da face do participante;

• Stage: o avaliador deve indicar o estagio da aplicacao testada, nesse caso, Prototipo

(Prototype) ou Produto Final (Final Product) para aplicacoes encerradas.

A Figura 27 apresenta a tela principal do ErgoSV na se encontra o formulario para

realizar a configuracao dos testes.

Figura 27 – Tela inicial do sistema ErgoSV

Apos o preenchimento dos campos, o botao com o rotulo ”Configuration OK”deve ser

acionado para ativar as configuracoes escolhidas.

Informadas as caracterısticas do teste, o participante pode inicializar o mesmo utili-

zando o botao Position the Camera. Este botao aciona o recurso da biblioteca OpenCV

que conecta o aplicativo a uma webcam do computador e exibe a imagem no painel do

ErgoSV para que o participante possa posiciona-la. Apos realizar o posicionamento cor-

reto, o participante deve acionar o botao Start para dar inicio ao teste. Entretanto, antes


de comecar o teste em si, e necessaria a obtencao de uma imagem padrao do partici-

pantes, ou seja, uma foto do rosto da pessoa com uma reacao neutra (CASTILHO, 2011).

Esta imagem sera utilizada para comparacao com as demais imagens registradas durante

o teste. Devido a isso, e exibida uma mensagem solicitando o registro de uma imagem

padrao. Apos confirmacao da foto padrao o teste de usabilidade e inicial assim como o

monitoramento das atividades e do usuario. A Figura 28 apresenta o fluxograma com o

processo de inicializacao de um teste de usabilidade.

Figura 28 – Fluxograma de inicializacao de testes com o ErgoSV

Com a imagem padrao devidamente registrada o aplicativo ErgoSV e minimizado

para nao interferir na interacao entre usuario e sistema. Ao ser iniciado o teste, tres

recursos de reconhecimento sao ativados: reconhecimento de fala, reconhecimento facial

e registro de snapshots.

O recurso de reconhecimento de fala fica ativo durante todo o processo de avaliacao

tentando identificar palavras pronunciadas. Caso o participante pronuncie uma das pala-

vras chave do teste e o aplicativo receba o sinal sonoro, o mesmo efetua o processamento

do sinal e analisa se a palavra encontrada estabelecida em seus arquivos de configuracao

retornando assim uma string (texto escrito) contendo a palavra e o percentual de con-

fianca determinado para o reconhecimento. A Figura 29 apresenta o fluxograma com o

processo de reconhecimento de fala.

O sistema de reconhecimento facial tem seu processo de funcionamento diferenciado do

reconhecimento de fala pelo fato de que o controle de imagens reconhecidas e registradas e

feito dentro do intervalo de tempo estipulado pelo avaliador no inıcio do teste. O sistema


Figura 29 – Fluxograma de reconhecimento de fala

e composto por tres contadores de tempo: um contador para conexao com a webcam,

um contador para registro de imagens do participante e um contador para registros de

imagens da tela. Esses contadores sao explicados a seguir:

O contador de tempo para conexao com a camera tem um intervalo fixo configurado

no codigo fonte da aplicacao e executa constantemente a conexao e a exibicao das imagens

de forma a nao comprometer o registro da foto do participante no exato momento em que

e executa determinada atividade. No caso das imagens do participante, ao atingir o tempo

de intervalo determinado, o aplicativo registra uma imagem de todo o ambiente ao alcance

da camera e logo em seguida executa um algoritmo de reconhecimento facial disponıvel na

biblioteca OpenCV que permite a deteccao de faces dentro da imagem e, em caso positivo

(face detectada), separa somente a imagem da face para posterior armazenamento no

banco de dados. Em caso negativo, a imagem e separa como uma imagem descartada

e assim como uma imagem facial, a imagem descartada tambem e armazenada na base

de dados. O terceiro e ultimo contador efetua uma serie de copias das imagens das telas

para posterior registro no banco de dados quando o contador de tempo para este processo

atingir o intervalo determinado previamente. Para os tres casos e registrado, tambem, o

momento (horario) que cada imagem foi coletada.

Apos finalizados os testes, os dados coletados (imagens faciais, imagens descartadas e

snapshots) sao registrados na base de dados da aplicacao para posterior acesso, processa-

mento e consulta no sistema ErgoSV Analyzer. A Figura 30 apresenta o fluxograma com

a dinamica das atividades de reconhecimento facial.


Figura 30 – Fluxograma de reconhecimento de face

Na proxima secao serao apresentados detalhes do aplicativo ErgoSV Analyzer uma

parte do sistema ErgoSV desenvolvido para fins especıficos de analise, processamento,

geracao e visualizacao de informacoes.

3.2.2 Analise de Dados e Geracao de Informacoes

As atividades de visualizacao e analise de dados, alem de algumas atividades de pro-

cessamento sao realizadas no modulo ErgoSV Analyzer desenvolvido especificamente para

tais finalidades. Dentre as funcionalidades deste modulo do sistema estao o processa-

mento (comparacao) de imagens faciais, apresentacao organizada dos dados, geracao de

informacoes basicas e assistencia na identificacao de reacoes e situacoes proximas a mo-

mento especıficos e assim, de possıveis interfaces com problemas de usabilidade. E impor-

tante destacar que os dados apresentados neste aplicativo se referem a aqueles coletados

no sistema ErgoSV e que ambos os aplicativos acessam a mesma base de dados.

Ao executar o ErgoSV Analyzer o avaliador tem acesso a uma tela contendo a lista

dos testes efetuados com os seguintes campos:

• Participant : nome de cada participante;

• Username: usuario utilizado para acessar o ErgoSV ;

• Number : numero do teste (identificador);

• Software: nome do aplicativo testado;


• Type: tipo de teste executado (Video e Voz, Somente Voz ou Somente Video);

• Start : horario de inicio dos testes;

• Finish: horario de termino dos testes.

Abaixo da lista de testes, o software apresenta seis botoes nos quais seus nomes e

funcionalidades sao:

• Data Processing : permite acesso a funcionalidade de processamento e comparacao

de imagens faciais;

• Complete Information: opcao de acesso a tela de informacoes completas (voz +

imagens da face) dos testes;

• Only Words Information: opcao de acesso a tela de informacoes geradas somente

com dados de voz;

• Only Face Information: opcao de acesso a tela de informacoes geradas somente com

dados de imagens faciais;

• Feature Charts : permite acesso a tela para analise dos graficos gerados com dados

de caracterısticas das imagens da faciais do teste.

A Figura 31 apresenta a interface inicial do ErgoSV Analyzer na qual e possıvel

identificar a lista de testes realizados, encontrada na parte superior da tela e o painel de

botoes que dao acesso as funcionalidades.

Figura 31 – Tela inicial do sistema ErgoSV Analyzer


3.2.2.1 Processamento/Comparacao Facial

Para ter acesso as informacoes corretas o avaliador deve realizar, primeiramente, a

segunda parte do processamento das imagens faciais que consiste na execucao de uma

serie de passos necessarios para comparar as imagens candidatas (registradas durante

o teste) com a imagem padrao a fim de determinar sua similaridade. O processo de

comparacao facial consiste nas seguintes atividades: Extracao de Caracterısticas e Calculo

da Similaridade.

O sistema ErgoSV foi desenvolvido contendo como recurso de comparacao facial o

CBIR que em portugues significa Reconhecimento de Imagens Baseada em Conteudo. O

CBIR utiliza vetores com caracterısticas das imagens expressadas em valores matematicos

para comparar imagens candidatas com uma imagem padrao e determinar o percentual de

similaridade entre as imagens. Para isto, utiliza-se funcoes de similaridade que efetuam

calculos matematicos nos vetores de caracterısticas de cada imagem (BERGAMASSO, 2010).

Portanto, o primeiro passo para este processamento e criar os vetores de caracterısticas

de cada imagem. Uma funcionalidade foi inserida no aplicativo ErgoSV Analyzer que

permite tal atividade. A Figura 32 apresenta a interface do sistema ErgoSV Analyzer que

executa tais funcoes e o processamento das imagens (extracao de caracterısticas) deve ser

iniciado por meio da funcao Start Faces Processing.

Figura 32 – Tela para funcionalidade de processamento de imagens faciais

A Extracao de Caracterısticas e criacao do vetor de caracterısticas para a imagem

padrao e para todas as imagens registradas no teste que tiveram uma face reconhecida,

aqui chamadas de imagens candidatas. O vetor e criado por meio de extratores, ou

seja, algoritmos que extraem valores matematicos que representam as caracterısticas das

imagens que, apos transformacao em numeros, podem representar o conteudo da imagem

(BERGAMASSO, 2010). Os algoritmos utilizados neste trabalho, com excecao de ajustes

efetuados para se adequar ao ErgoSV, foram os mesmos utilizados por Bergamasso (2010)

em seu trabalho.


Para este projeto (ErgoSV ) os algoritmos geram um vetor para cada imagem con-

tendo as caracterısticas apresentas a Tabela 7. As descricoes de cada caracterıstica sao

apresentadas no capıtulo 2.5.3

Tabela 7 – Caracterısticas das imagens extraıdas pelo ErgoSV Analyzer

Tipo NomeC or Media do histograma em nıvel de cinzaC or Desvio padrao do histograma em nıvel de cinzaC or Media dos pixels em nıvel de cinzaC or Desvio padrao dos pixels em nıvel de cinzaC or Media do histograma em RGBC or Desvio padrao dos histograma em RGBC or Media dos pixels em RGBC or Desvio padrao dos pixels em RGBF orma EscalaF orma RotacaoF orma Translacao

Para as caracterısticas que utilizam padroes de cores RGB existia um extrator para

cada cor do padrao (Vermelhor - R, Verde - G, Azul - B), totalizando 19 caracterısticas

por imagem.

Embora Bergamasso (2010) apresente outras caracterısticas passıveis de extracao tais

como obliquidade, contraste e entropia, as mesmas nao foram utilizadas nesta pesquisa.

A Obliquidade foi retirada seguindo resultados apresentados pela autora que apontavam

para problemas quando tratava imagens em ambientes controladas, como imagens faciais,

e que essa caracterıstica seria melhor aplicada a imagens em ambientes mais amplos como

paisagens. O Contraste e a Entropia foram descartados devido ao grande processamento

computacional necessario, considerando que uma imagem demorava aproximadamente de

10 a 15 minutos para ter sua caracterıstica extraıda e que um teste de 1 minuto pode ter

60 imagens, essa caracterıstica comprometeria seriamente a qualidade do processamento.

As caracterısticas das imagens sao representadas por valores matematicos, entretanto

para identificar a taxa de similaridade e necessario realizar o Calculo da Similaridade que

utiliza de funcoes de similaridade. As funcoes de similaridade sao responsaveis por calcular

matematicamente quanto uma imagem e similar a outra aplicando uma serie de calculos

nos vetores de caracterısticas (BERGAMASSO, 2010). Para isso, e necessaria a escolha de

uma funcao especıfica que no caso desta pesquisa foi utilizada distancia Euclidiana que,

segundo Bergamasso (2010) e a raiz das diferencas absolutas entre cada caracterısticas ao

quadrado.


O calculo de similaridade para todas as imagens do teste pode ser realizado no ErgoSV

Analyzer acionando a funcao Similarity apresentada na Figura 32, entretanto e obrigatoria

a extracao de caracterısticas antes de realizar esta tarefa. O resultado sera um valor real

aplicado para cada imagem do teste entre 0 e 1 no qual, quanto mais proximo a zero, menos

similar e quanto mais proximo a 1 mais similar. Por exemplo, para uma imagem candidata

com similaridade 0.98551125221 significa que ela e 98,55 % similiar a imagem padrao e

uma outra imagem candidata com similaridade 0.541252215 significa que a imagem e

54,12% similar a imagem padrao.

Apos esta fase de processamento os dados e com os dados enriquecidos, as imagens

sao disponibilizadas para analise nos modulos explicados a seguir. Na proxima secao serao

apresentados os procedimentos para visualizacao dos dados e informacoes.

3.2.2.2 Vizualizacao de Dados e Informacoes

Com a atividade de processamento das imagens realizada, as informacoes sao dispo-

nibilizadas para analise por meio de umas das tres funcionalidades disponıveis na tela

inicial: Complete Information, Only Words Informations e Only Face Informations.

As tres funcionalidades apresentam as mesmas informacoes, porem nas duas ultimas

sao restringidas informacoes das palavras pronunciadas ou imagens da face, de acordo com

a escolha do avaliador. Com isso, a explicacao sera feita com base na funcao Complete

Information apresentando as restricoes de cada funcao nos momentos adequados.

A funcao Complete Information exibe a interface apresentada na Figura 33 na qual sao

disponibilizadas as seguintes informacoes: (1) na parte superior e exibido um painel com

a imagem padrao registrada e sua lista de caracterısticas com seus respectivos valores

matematicos. Logo abaixo sao exibidas quatro abas: (a) Words, (b) Face Images, (c)

Charts, (e) Discarted Images. As proximas secoes apresentarao detalhes do funcionamento

de cada aba.

3.2.2.3 Aba Words

A aba Words esta disponıvel nas funcoes Complete Information e Only Words Infor-

mations e exibe a lista de palavras registradas durante um teste com os seguinte dados:

• Words Pronounced: apresenta a palavra pronunciada pelo participante;

• Time Moment: apresenta o horario que o participante pronunciou a palavra;


Figura 33 – Tela para analise de dados de fala - modulo Complete Informations

• Confidence: apresenta a taxa de confianca do reconhecimento, ou seja, o percentual

de garantia de reconhecimento correto disponibilizado pelo aplicativo de reconheci-

mento de fala;

• Interval: intervalo de tempo entre a pronuncia da palavra e o inıcio do teste.

A lista destaca as palavras pronunciadas que representam baixa satisfacao do parti-

cipante como, Regular, Ruim e Pessimo. Esse recurso foi disponibilizado para “chamar a

atencao”do avaliador para momentos em que o participante teve uma reacao insatisfatoria.

Selecionando um registro da lista o aplicativo verifica na base de dados se existe alguma

imagem com uma face reconhecida no momento do registro da palavra, caso positivo a

imagem e exibida ao lado direito da lista de palavras juntamente com suas caracterısticas

e a taxa de similaridade. A imagem na lateral e suas caracterısticas e exibida somente

na funcao Complete Informations sendo ocultada na abordagens de analise que utiliza

somente com dados de fala. A Figura 33 apresenta a interface explicada e a aba Words

Pronounced.

Ao lado direito da lista encontra-se tambem uma opcao com o rotulo Screen Images

Images e dentro deste painel duas opcoes: View Screen/Faces “X”seconds before/after

word pronunciation. Esta funcionalidade reflete o principal desafio no desenvolvimento da

abordagem e do aplicativo propostos nesta pesquisa que se trata da facilidade e agilidade

na identificacao de possıveis problemas de usabilidade utilizando informacoes sobre a

palavra pronunciada e/ou a caracterısticas da imagem da face registrada. Selecionando

uma determinada palavra, identificando um intervalo de tempo antes e apos a palavra

pronunciada, o software exibe uma lista de imagens da tela do sistema testado utilizadas


pelo participante no momento da reacao e em momentos proximos ao registro da palavra

e a partir desta lista tambem e possıvel, caso o participante faca uma analise completa,

acessar a lista de imagens faciais. A quantidade de imagens selecionadas esta vinculado

ao intervalo proposto para busca e no intervalo determinada para o registro de imagens

estabelecido no primeiro aplicativo. O momento proximo e determinado pelo intervalo

estabelecido nas caixas de texto “Visualizar imagens da tela/face X segundos antes/depois

da palavra pronunciada”. Para o sistema ErgoSV Analyzer foi determinado um valor

default de quatro segundo antes e depois da palavra pronunciada, mas este valor pode ser

alterado de acordo com a necessidade do avaliador. Maiores detalhes desta opcao serao

destacado posteriormente em uma secao chamada Acesso a imagens de tela/face.

3.2.2.4 Aba Face Images

A aba Face Images foi criada para listar todas as imagens de face registradas em

um teste de usabilidade. Esta funcao esta disponıvel na analise completa dos dados e na

analise dos dados somente com dados de imagem

Assim como na aba Words, a Face Images apresenta uma lista contendo o registro

de todas a imagens de rostos registradas. A carga dessa lista e feita ainda na coleta de

dados quando o sistema ErgoSV identifica imagens que contenham um rosto e separa

para serem exibidas nesta lista. A lista contem os seguintes campos:

• Image ID: codigo identificador da imagem;

• Time Moment: horario no qual a imagem foi registrada;

• Interval: intervalo entre o inıcio do teste e o momento do registro da imagem;

• Similarity: taxa de similaridade em relacao a imagem padrao. Esta informacao e

utilizada para identificar quanto (%) uma imagem registrada e semelhante a imagem

padrao.

Esta lista permite a navegacao do avaliador pelos registros e de acordo com esta

atividade a foto registrada e exibida na lateral direita da lista juntamente com a lista de

caracterısticas e seus respectivos valores. Na parte direita da aba ha, tambem, o recurso

de acesso a imagens de tela/face, semelhante ao encontrado no recurso Words e que sera

explicado posteriormente. A Figura 34 apresenta imagem da aba Face Images.


Figura 34 – Tela para funcionalidade de processamento de imagens faciais

3.2.2.5 Aba Charts

A aba Charts apresenta dois graficos basicos no formato “pizza”contendo o percentual

de palavras reconhecidas agrupadas por descricao e a taxa de imagens reconhecidas e

nao reconhecidas. Este recurso esta disponıvel na avaliacao completa, caso o avaliador

utilize uma avaliacao limitada, os graficos sao exibidos de acordo com o tipo de avaliacao

escolhida, por exemplo, a analise utilizando somente dados de sons exibe somente o grafico

de palavras, da mesma forma que a analise somente com dados de imagem exibe somente

o grafico de imagens faciais reconhecidas ou nao.

O primeiro grafico apresenta a taxa de imagens registradas nas quais foi possıvel

identificar a face do participante versus a quantidade de imagens descartadas (imagens

sem nenhuma face reconhecida). Esse grafico proporciona uma visao geral em relacao

a capacidade que o ErgoSV teve de reconhecer as faces nas imagens do teste. Em um

teste com 100% das faces reconhecidas o avaliador tera disponıvel dados ıntegros das

imagens faciais indicando que o mesmo estava com o rosto voltado para tela durante todo

o teste, porem em uma teste com percentual de reconhecimento menor, o avaliador devera

analisar o porque do nao reconhecimento, no qual poderiam se enquadrar situacoes como

distracao, mal posicionamento da camera, proximidade do participante com o dispositivo

de vıdeo e ate mesmo problemas com o algoritmo de reconhecimento.

O segundo grafico apresenta um agrupamento das palavras pronunciadas no teste exi-

bindo a descricao e a quantidade total de cada uma. O grafico de palavras, em particular,

pode ser utilizado pelo avaliador com objetivo de ter uma analise rapida da satisfacao do

participante com o sistema testado utilizando a quantidade de palavras pronunciada para


cada conceito. Por exemplo, um teste no qual foram pronunciadas 100 palavras das quais

70 vezes a palavra “Bom”, 20 vezes a palavra “Regular”e 10 vezes a palavra “Ruim”, o

avaliador teria um cenario no qual o software pode ter agradado seu participante, mas

ha certos pontos que requerem atencao. Entretanto, em uma segunda hipotese na qual

de 100 palavras 80 foram a palavra “Ruim”, o avaliador tem um cenario extremamente

preocupante podendo concluir a priori que toda a aplicacao merece uma revisao de in-

terface. Por fim, o segundo grafico permite ao responsavel pela avaliacao uma visao mais

ampla do resultado do teste e nao somente a identificacao de palavra por palavra.

A Figura 35(a) e 35(b) apresentam imagens da tela de graficos.

(a) Aba Graficos 1 (b) Aba Graficos 2

Figura 35 – Imagens da tela de apresentacao de graficos

A seguir sera apresentada a funcionalidade de visualizacao de imagens das telas e

imagens faciais do participante.

3.2.2.6 Aba Discarted Images

Esta aba apresenta uma lista de imagens nas quais o aplicativo ErgoSV nao conseguiu

identificar uma face. A lista apresenta os mesmo campos da lista de imagens com face

reconhecida (ID, Time Moment, Interval), exceto pelo campo Similarity devido ao fato

que o objetivo do aplicativo e comparar imagens faciais com a imagem facial padrao e,

assim nao e realizada comparacao com imagens sem faces identificadas.

Inicialmente foi decidido que imagens sem face reconhecida seriam descartadas, porem

testes mostraram que os “descartes”poderiam ser dados relevantes para avaliacao porque

algo comprometeu a identificacao da face e algumas hipoteses poderiam ser analisadas

tais com desvio de posicionamento da camera ou do participante, luminosidade ou mesmo

problemas com o aplicativo. A identificacao desse problema levaria o avaliador a tomar


decisoes sobre o motivo que levou a esse problema ou mesmo corrigir problemas externos,

relativos ao ambiente de teste que tambem poderiam ter comprometido o reconhecimento.

A Figura 36 apresenta a tela de imagens descartadas.

Figura 36 – Tela com a relacao de imagens descartadas

3.2.2.7 Visualizacao de Imagens das Telas/Face

O recurso de visualizacao de imagens de telas e face e um dos componentes mais

importantes desta aplicacao. Este recurso permite acesso ao avaliador a imagens da

interface que estavam em uso no momento da pronuncia de uma palavra ou de uma

reacao facial alem de permitir o acesso a imagens em momentos proximos a determinado

acontecimento. Momentos proximos referem-se a atividades realizadas segundos antes ou

segundos apos uma reacao do participante e o intervalo de tempo utilizado para selecao das

imagens em momentos proximos pode ser determinado pelo avaliador, mas inicialmente

foi selecionado o valor de 4 segundos antes e depois da reacao.

As possıveis reacoes do participante consideradas para execucao desta atividade serao:

uma palavra pronunciada; um registro de imagem com reconhecimento de face. As in-

formacoes disponibilizadas neste modulo foram classificadas de acordo com o tipo de

avaliacao (analise) realizada e foram estabelecidas como:

(1) Caso o avaliador utilize o recurso de analise somente com dados de fala ou somente

com dados de imagens da face, o ErgoSV Analyzer disponibilizara uma interface para

visualizacao somente de imagens da tela do aplicativo testado a partir do momento da

palavra pronunciada; Em um segundo caso, (analise completa) o modulo de visualizacao

permitira acesso as seguintes informacoes: a primeira sao as imagens da tela do aplicativo


registradas a partir do momento da reacao (fala ou imagem) permitindo a navegacao

nas demais interfaces capturadas dentro do tempo estipulado como ”momento proximo”.

A partir das imagens das telas o avaliador tambem tera acesso as imagens das faces

registradas a partir do momento do registro da imagem da tela. O avaliador pode acessar

diretamente as imagens faciais a partir do momento da acao (fala ou imagem) caso utilize

o analise completa e a partir da aba Words.

O acesso as informacoes e feito por meio do fragmento de interface localizado nas

abas Words, Face Images e Discarted Images. Esta parte de tela exibe dois campos de

texto sendo o primeiro para informar o intervalo de tempo para busca de imagens antes

do momento selecionado e a outra para insercao do tempo de busca das imagens apos o

momento selecionado. A Figura 37 apresenta a tela correspondente quando acessada na

aba Words na analise completa, nas demais situacoes nao e apresentada a funcao View

Face Images.

Figura 37 – Interface de selecao de intervalos de tempo

Considerando o preenchimento dos valores dos intervalos, o avaliador deve selecionar

qual o momento especıfico que deseja visualizar as imagens. A selecao deve ser feita em

uma das listas disponibilizadas pelo ErgoSV por meio de sua interface visual.

Nao ha limites para os valores informados nos intervalos, mas o avaliador e orientado

a saber que quanto quanto maior o valor, maior o tempo de espera para carregar as

imagens caso escolha uma intervalo grande. Esta situacao ocorre devido as caracterısticas

de consulta e carga de imagens de um banco de dados.

Apos informar os tempos e selecionar a funcao View Screen Images uma nova interface

e exibida apresentando a imagem da tela utilizada no exato momento da reacao selecio-

nada. A Figura 38 apresenta o recurso citado na qual e exibida uma interface registrada

em um teste.

A interface de visualizacao apresenta um painel central dominante no qual e exibida a

imagem da tela no momento selecionado e na parte inferior e disponibilizado outro painel

que permite a navegacao entre as imagens, visualizacao de dados e acesso a imagens faciais


Figura 38 – Interface de visualizacao de imagens de interface

(quando permitido).

O painel inferior exibe, no centro da tela, um rotulo com um numero, apresentado

no exemplo da Figura 38 como numero 6. Este numero se refere ao numero da interface

exibida no momento, no caso do exemplo e a sexta imagem da lista. O total de imagens

recuperadas na busca pode ser visualizado no canto inferior esquerdo no rotulo Total

of Images, ou seja, a imagem exibida no exemplo e a sexta imagem de dez que foram

recuperadas na lista. Acima do totalizador de imagens e exibido outro rotulo com o tıtulo

de Registration Time que se refere ao horario que foi registrada essa imagem de tela.

Os botoes de navegacao possuem as seguintes funcionalidades: Primeiro, Anterior,

Proximo e Ultimo. Cada botao permite a navegacao pelas imagens exibidas na lista

proporcionando ao avaliador uma ideia real de qual o caminho percorrido pelo participante

do teste antes, durante e apos a reacao selecionada. Uma imagem com o sımbolo de um

raio e exibida ao lado do botao de navegacao indicando que a imagem exibida e a aquela

registrada no exato momento da reacao selecionada pelo avaliador.

Um link e exibido no canto inferior direito com o tıtulo View Faces Images e direciona

para uma nova interface na qual sao exibidas imagens da face do participante no momento

em que utilizava a tela exibida, momentos antes e momentos apos. O tempo de busca das

imagens da face do participante e o mesmo utilizado para a busca de snapshots do teste

diferenciando pelo fato que o momento chave e o momento do registro da imagem da tela e

nao da reacao selecionada na interface anterior. As imagens exibidas podem ter uma face

reconhecida ou podem ser imagens descartadas. Em ambos os casos sao apresentados os


dados basicos como horarios de registro e identificador. Caso seja identificada uma imagem

com face reconhecida, sao exibidos os dados sobre suas caracterısticas e tambem a taxa de

similaridade em relacao a imagem padrao. Em caso de uma imagem descartada, os dados

sobre caracterısticas e similaridade sao ocultados. A Figura 39 apresenta a interface de

visualizacao de imagens faciais.

Figura 39 – Interface de visualizacao de imagens faciais

As regras para utilizacao dos botoes de navegacao e recurso da imagem do “raio”sao

as mesmas apresentadas para a visualizacao de imagens da tela.

3.2.2.8 Funcao Features Charts

A funcao Features Charts apresenta um recurso para visualizacao de graficos refe-

rentes a valores de similaridade calculados para as imagens de um teste em relacao a

uma imagem padrao. Segundo Bergamasso (2010), a variacao de valores pode influenciar

seriamente a taxa de similaridade de uma imagem e essa afirmacao pode ser constatada

durante os testes para esta pesquisa. Em uma caracterıstica com pouca variacao de valores

entre as imagens a tendencia e de um resultado de similaridade maior em relacao a uma

caracterıstica no qual os valores variam severamente. Em outras palavras, a utilizacao

de caracterısticas com grande variacao de valores reduz a taxa de similaridade de uma

imagem. Uma melhor analise pode ser feita estudando a Figura 40(a) que apresenta um

grafico com uma caracterıstica com menos variacao e a Figura 40(b) apresenta um grafico

com uma caracterıstica com maior variacao.


(a) Caracterıstica 1 (b) Caracterıstica 2

Figura 40 – Graficos de valores das caracterısticas

O grafico apresentado na Figura 40(a) apresenta a variacao dos valores da carac-

terıstica “Media do Histograma em Nıvel de Cinza”e como pode ser observado tem va-

riacao pequena e a sua aplicacao, de forma isolada, implicaria em um valor maior de

similaridade. Entretanto no grafico 40(b) e possıvel notar uma maior variacao do valores

e sua utilizacao, de forma isolada ou em conjunto com outras caracterısticas influenciam

o valor da similaridade reduzindo o mesmo.

Este modulo do aplicativo ErgoSV Analyzer permite ao avaliador ativar e desativar

as caracterısticas que sao incluıdas no calculo de similaridade. Esse recurso foi disponi-

bilizado para auxiliar nos experimentos permitindo a avaliacao da funcao de similaridade

combinando varias caracterısticas. A ativacao e a desativacao sao feitas pelas funcoes

Enable e Disable localizadas na parte inferior da tela. E importante destacar que, ati-

vando ou inativando uma caracterıstica a mesma nao deixa de ser utilizada com extrator

de caracterıstica, mas nao participa do calculo da funcao de similaridade para as imagens.

3.2.3 Consideracoes Finais sobre a Estrategia de Uso da Aplicacao

A estrategia de uso dos sistemas ErgoSV e ErgoSV Analyzer foi desenvolvida de forma

a otimizar as atividades de teste de usabilidade apoiado por tecnicas de processamento

de imagens e reconhecimento de fala. A divisao em dois modulos, um para coleta de

dados e outra para analise de informacoes foi realizada com objetivo de otimizar a uti-

lizacao os recursos disponıveis e nao sobrecarregar um unico sistema oferecendo riscos a

qualidade dos dados e informacoes. Com o correto uso por parte de avaliadores e partici-

pantes dos testes pretende-se levar a insumos relevantes como palavras pronunciadas pelo

participante, valores de similaridade de imagens, lista de imagens descartadas e imagens

3.3 Validacao da Abordagem 109

das telas utilizadas pelo participante, que permitam uma rapida e correta identificacao

de possıveis problemas de usabilidade assim como caracterısticas positivas do sistema

reduzindo o tempo de analise dos dados a um tempo proximo ao tempo total do teste.

3.3 Validacao da Abordagem

Esta secao apresenta os experimentos realizados para validar a eficacia da abordagem

proposta. Esta fase foi realizada utilizando experimentos, ou seja, testes de usabilidade

que eram monitorados pela ferramenta ErgoSV. Os experimentos foram realizados em 3

aplicativos prontos, sendo 2 websites e 1 aplicativo na plataforma desktop por 12 partici-

pantes escolhidos entre estudantes de cursos de computacao com conhecimento avancados

na area e usuarios tradicionais.

3.3.1 Aplicativos Selecionados

Mesmo considerando que o objetivo deste trabalho foi avaliar a eficiencia da ferra-

menta ErgoSV e sua abordagem e nao a qualidade dos websites e aplicativos testados

decidiu-se nao divulgacao do nome dos sistemas testados. Para este trabalho os mesmos

serao chamados de:

• WCE: refere-se a um website de comercio eletronico;

• WPG: refere-se a um website de um curso de Pos Graducao;

• PEM: refere-se a um software de edicao de imagens.

Alem destes, dois experimentos foram realizados sem utilizar um aplicativo especıfico,

mas com diversas funcoes de aplicativos diferentes. Embora nao contabilizados nas

proximas secoes, os mesmos proporcionaram informacoes que contribuıram para a me-

lhoria da abordagem e do software de forma isolada.

3.3.1.1 Experimentos no WEC

O WEC selecionado e uma ferramenta de comercio eletronico de uma organizacao

que tem como atuacao a comercializacao de bolsas, mochilas e acessorios diversos para o

publico masculino e fiminino das mais variadas faixas etarias. O website permite realizar

tarefas relacionadas ao processo de aquisicao de produtos da empresa tais como busca


de produtos, visualizacao de mercadorias e seus detalhes, processo de compra, processos

financeiros, consulta de pedidos, dentre outras atividades.

As atividades selecionadas para os testes consideravam situacoes reais de uso. Entre-

tanto, os participantes nao estavam restritos as estas atividades e estavam autorizadas a

navegar e/ou utilizar outros recursos do website desde que todas as tarefas previamente

especificadas fossem realizadas. As tarefas indicadas para os participantes foram:

Consulta e Pesquisa: Estas tarefas compreendiam a busca de dados e informacoes

diversas no website tais como buscar uma mercadoria especıfica, consultar precos, navegar

por menus que permitiam a visualizacao de mercadorias, visualizacao de detalhes do

produto, consulta de informacoes sobre pedidos, regras de compras, consulta de produtos

por marca, modelo, departamento e demais classificacoes e consulta de informacoes como

franquia e descontos.

Compra: Cada participante foi incentivado a realizar no mınimo um procedimento de

compra de mercadorias que envolvia tarefas como escolher um produto, consulta frete,

adicionar ao carrinho de compra, lancar cupom de desconto, remover item do carrinho de

compra, alterar quantidades, criar e atualizar cadastro pessoal.

Pagamento e Fechamento do Pedido: Nesta fase cada participante realizou ativi-

dades tais como: escolha da forma de pagamento, preenchimento de dados de cartao de

credito e/ou conta bancaria, parcelamento e adequacao de valores. Esclarecendo que fo-

ram fornecidos dados fictıcios para pagamento e a atividade de teste era finalizada antes

da confirmacao da compra e que em nenhum momento foi efetivada uma compra e/ou

gerado custo aos participantes.

3.3.1.2 Experimentos no WPG

O website WPG utilizado se refere a pagina de um programa de pos graduacao na area

de computacao. Este foi disponibilizado no ano de 2013 em uma nova versao e apresenta

uma serie de informacoes do curso em questao. O mesmo disponibiliza informacoes como

lista de professores, alunos, egressos, diretrizes do programa, calendarios de atividades,

lista e horarios de disciplinas. O usuario pode tambem efetuar a aquisicao gratuita de

modelos de documentos do programa que sao utilizados para atividades como matrıculas,

transferencias e modelos de trabalhos. Neste website nao sao disponibilizados recursos

de manipulacao de dados tais como cadastros, alteracoes, compra e venda o que faz o

objetivo do website puramente informativo.


As atividades selecionadas para o teste do WPG foram:

Consultar informacoes do curso: Conhecer detalhes do curso tais como diretrizes,

informacoes para ingresso, linhas de pesquisa e requisitos para finalizar o curso.

Pessoas envolvidas com o curso: Visualizar dados dos professores, suas linhas de

trabalho, lista de alunos, ter acesso a lista completa de egressos, acessar currıculos de

todos os envolvidos, trabalhos disponıveis de professores e alunos.

Informacoes Gerais: Ter acesso a quaisquer informacoes que o participante consi-

derasse necessaria e caso nao a encontrasse, ter acesso a um ambiente de contato com

pessoas ou setores que podem sanar tal duvida.

3.3.1.3 Experimentos no PEM

O terceiro aplicativo testado foi um software desenvolvido na plataforma desktop para

edicao de imagens. Este aplicativo e gratuito e bem conhecido por diversos usuarios e

realiza atividades de edicao de imagens tais como alterar nitidez, renomear fotos, fazer

montagens com diversas imagens, mudar padrao de cores, salvar novas imagens, imprimir

imagens alteradas dentre outros recursos.

As atividades selecionadas para o teste com o PEM sao:

Selecao e Manipulacao de Foto: Selecionar uma foto no aplicativo e aplicar comandos

de modificacao para ajuste de caracterısticas como contraste, nitidez, brilho, insercao de

molduras e salvar uma foto alterada.

Editor de Lotes: Fazer a manipulacao (alteracao) de diversas imagens ao mesmo

tempo, aplicando as modificacoes em lote.

Paginas e Combinacao: Criar uma pagina utilizando varios layouts disponibilizados

pelo aplicativo para criar uma foto utilizando a combinacao de varias fotos disponıveis no

computador.

GIF: Criar um arquivo .gif com fotos disponıveis no computador.

Impressao: Selecionar um layout de impressao de fotos, adicionar fotos a impressao e

efetuar configuracoes diversas de impressao.

Ajuda: Acessar modulo de ajuda do aplicativo.


3.3.1.4 Consideracoes finais sobre a escolha dos aplicativos

Para os testes com websites, os participantes nao eram avisados previamente qual

era o endereco a ser testado. Esta decisao foi tomada considerando que um aplicativo na

plataforma web pode ser acessado a qualquer momento e por qualquer pessoa e deve prover

condicoes de uso e realizacao de todas as tarefas sem a necessidade de um treinamento

previo. Para o aplicativo PEM os participantes foram avisados com 5 dias de antecedencia

e receberam informacoes de como adquirir e instalar o aplicativo. Por ser um aplicativo

na plataforma desktop decidiu-se que seria melhor o participante ter um contato previo

com a aplicacao, entretanto nao foi monitorado ou confirmado se a pessoa realizou tal

tarefa.

Alem destes aplicativos, dois participantes realizaram um teste cada que foram clas-

sificados como Testes Gerais pois os mesmos utilizaram diversas funcoes do sistema ope-

racional e de demais software sem obedecer uma regra sistematica. Embora realizados

em curto perıodo de tempo os testes foram incluıdos na lista de experimentos por conter

dados que poderiam ser relevantes para validacao da ferramenta.

Na proxima secao sera apresentada a selecao de participantes.

3.3.2 Selecao de Participantes

Para a validacao foram selecionados 12 participantes que realizaram os experimentos

com base nas tarefas e nos aplicativos citados anteriormente. A quantidade de participan-

tes foi fundamentada na afirmacao de Nielsen (1993) no qual aponta que uma avaliacao

de usabilidade apresenta resultados bastante satisfatorios quando realizada pelo numero

mınimo de 4 ou 5 pessoas e que devem realizar suas tarefas separadas uma das outras

para nao influenciar a opiniao e analise de determinadas interfaces. Os participantes foram

selecionados considerando uma faixa etaria variada assim como os conhecimentos sobre

tecnologia da informacao e mais especificamente, IHC. Mesmo que alguns participantes

tivessem conhecimento de informatica basica e outros, como alunos ou profissionais de

computacao, um conhecimento maior, todos os participantes estava familiarizados com

a utilizacao de website e aplicativos e assim nao apresentaram dificuldades na utilizacao

dos aplicativos escolhidos

A Tabela 8 apresenta as caracterısticas do participantes dos testes.

Esses participantes realizaram seus testes separados um dos outros e acompanhados


Tabela 8 – Caracterısticas dos participantes dos experimentos

Caracterıstica InformacoesIdade 18 a 45 anosMedia de Idade 21 anosModa (Idade) 18 anosDesvio Padrao da Idade 8,04Sexo Masculino 11 participantesSexo Feminino 1 participanteConhecimento Avancadoem Tecnologia da In-formacao

3 participantes

Conhecimento Inter-mediario em Tecnologia daInformacao

8 participantes

Conhecimento Basico emTecnologia da Informacao

1 participante

Utiliza E-commerce comfrequencia

Todos os participantes: SIM

Conhecimentos sobretecnicas de avaliacao deusabilidade

3 Participantes

somente pelo pesquisador que estava presente para resolver possıveis problemas que ocor-

ressem alem de tirar duvidas sobre o ErgoSV, website / software testado ou qualquer

situacao de nao conformidade identificada.

Antes do inicio de cada experimento, o participante era informado do objetivo do teste

e que seriam registradas imagens faciais e as palavras chave pronunciadas pelo mesmo.

Em virtude de questionamento de alguns participantes que temiam que sua capacidade

de utilizar um computador se tornasse foco da avaliacao, o participante recebia o esclare-

cimento que o foco era a validacao da abordagem de teste de usabilidade e a ferramenta

ErgoSV e que em momento algum seria objetivo de analise ou avaliacao.

A seguir serao explicadas as estrategias utilizadas nos experimentos.

3.3.3 Estrategias de Validacao da Abordagem

A validacao da abordagem de teste de usabilidade apoiado por tecnicas de processa-

mento de imagens e processamento de fala foi realizada utilizando o aplicativo ErgoSV

desenvolvido especificamente para as atividades desta pesquisa. O aplicativo apresenta

funcoes para coleta de dados tais como imagens faciais, palavras pronunciadas e imagens

da tela.


Para correta validacao os participantes receberam orientacoes a respeito do aplicativo,

do funcionamento da abordagem e como o software auxiliaria a validacao do ambiente.

O primeiro passo para realizacao do teste era uma apresentacao verbal e visual sobre

conceitos de IHC, avaliacao de usabilidade na qual os participantes foram posicionados

sobre o objetivo principal do teste e o posicionamento do teste de usabilidade frente a

necessidade do desenvolvimento de sistema interativos. Embora cada participante tenha

realizado seu teste de forma isolada em todos os experimentos, os mesmos se reuniram

em um horario e local combinado para as instrucoes iniciais principalmente na primeira

vez que participaram do experimento.

Apos receber orientacoes sobre a abordagem e o aplicativo, os participantes eram

conduzidos ate um computador notebook com uma webcam instalada e um microfone. O

computador estava devidamente localizado em uma sala com o mınimo de ruıdo possıvel

para nao afetar o reconhecimento de fala e/ou distrair o participante na realizacao de suas

tarefas.

Os participantes receberam uma folha contendo as palavras chave que poderiam ser

utilizadas no teste e seus respectivos significados alem de serem orientados a pronunciarem

uma palavra para cada acao que realizassem no aplicativo tais como mudanca de interface,

acionamento ou interrupcao de uma funcao ou a visualizacao de uma mensagem. Os

usuarios foram lembrados que era permitida a pronuncia somente das palavras chave

especificadas. Os significados de cada palavra foram apresentados e os mesmos avisados

que os conceitos escolhidos se aplicavam unica e especificamente aos experimentos desta

pesquisa e que cada termo nao refletia demais realidades.

Foram escolhidas cinco palavras chave que sao consideradas adjetivos. As palavras

escolhidas eram pequenas, faceis de memorizar e cada uma representava um conceito de

qualidade. As mesmas eram apresentadas aos participantes da maior (melhor conceito)

para a menor (pior conceito). As palavras e significados determinados para os testes

foram:

• Otimo: a interface e agradavel, utilizavel, intuitiva e permitiu que a realizacao

de suas atividades com eficacias, eficiencia e satisfacao sem apresentar qualquer

problema;

• Bom: foi possıvel realizar as tarefas pois o sistema e simples, intuitivo, porem

apresenta pequenas questoes que atrapalharam o perfeito andamento da tarefa;

• Regular: a interface tem problemas de design que comprometem o bom andamento


das tarefas impedido/atrasando o usuario na realizacao das tarefas do propostas;

• Ruim: a baixa qualidade da interface compromete significativamente a realizacao

das atividades e a utilizacao dos recursos do sistema testado, poucas tarefas puderam

ser realizadas;

• Pessimo: nao foi possıvel realizar nenhuma tarefa na interface apresentada.

Para finalizar as orientacoes a respeito do reconhecimento de fala, o participante era

avisado que deveria pronunciar as palavras em tom de voz normal e forte evitando falar

baixo. Essas orientacoes eram passadas seguindo os resultados dos testes efetuados na

ferramenta Coruja que mostraram uma boa taxa de reconhecimento de palavras quando

a mesma era pronunciada de forma clara.

No proximo passo, o participante era informado sobre a necessidade de registrar uma

imagem padrao antes de iniciar o teste. Uma imagem padrao foi definida como uma foto

da face do participante com reacao neutra (CASTILHO, 2011). A Figura 41(a) apresenta

um exemplo de imagem padrao registrada nos teste enquanto as Figuras 41(b) e 41(c)

apresenta um exemplo de imagem que nao eram consideradas padrao. Caso uma imagem

nao padrao, que e uma foto na qual o participante expressa alguma reacao ou uma face

nao e reconhecida, fosse registrada no momento do registro da foto padrao, a mesma era

descartada para realizacao de novo registro.

(a) Imagem Padrao (b) Imagem Nao Padrao (c) Imagem Nao Padrao

Figura 41 – Imagem padrao X Nao padrao

Ciente dos procedimentos e registros de dados, o participante era informado a respeito

da lista de tarefas. Uma lista contendo as atividades descritas na secao anterior foi

disponibilizada aos usuarios acompanhada de suas explicacoes.

Apos a foto padrao, participante era liberado para efetuar o teste utilizando o compu-

tador de teste no qual continha acesso a Internet para avaliacoes de websites ou o devido


aplicativo desktop instalado. Por ultimo, os participantes receberam a informacao de que

a imagem da tela utilizada seria registrada dentro de um intervalo de tempo especıfico

e a imagem seria utilizada para identificar qual componente da aplicacao foi avaliado no

momento de uma determinada reacao. Finalizadas todas as instrucoes e a preparacao do

participante, o teste era iniciado.

Alguns testes foram realizados por completo dentro de um unico registro do ErgoSV,

ou seja, nao ocorreram interrupcoes entre o inıcio e o termino da avaliacao. Entretanto,

fatores externos tais como a falta de Internet para acessar os website, problemas com o

sistema ErgoSV ou com o computador, interrupcoes de outras pessoas (embora cuidados

tenham sido tomados para nao ocorrer) forcaram a pausa de algumas avaliacoes. Estas

pausas ocorreram nos tres primeiros experimentos e nao influenciaram a analise dos dados

sendo que a unica interferencia significativa foi um maior intervalo entre o registro de uma

imagem e/ou palavra pronunciada em relacao ao intervalo definido no inıcio do teste.

3.3.4 Experimentos

Esta secao apresenta o experimentos realizados para validacao do ambiente de ava-

liacao de usabilidade proposto, assim como a utilizacao das ferramentas ErgoSV e ErgoSV

Analyzer para apoiar os testes. Sao apresentados e discutidos os resultados obtidos nos

experimentos.

3.3.4.1 Coleta de Dados

Para validacao da ferramenta ErgoSV foram realizados 16 testes em 3 aplicativos

diferentes utilizados por 12 participantes os quais 5 deles realizaram mais de um teste. A

quantidade de testes efetuados em cada aplicativo e apresentada na Tabela 9.

Tabela 9 – Quantidade de testes por aplicativo

Aplicativo Qtde.WCE 5WPG 3PEM 6Testes Gerais 2Total 16

De todos os testes realizados, 2 deles nao utilizaram os recursos de imagens e fala

em conjunto (teste completo) sendo 1 teste realizado somente com dados de fala devido a

problema com o funcionamento de uma webcam e outro teste somente faciais com imagens


devido a restricoes de barulho no local realizado. Entretanto, ambos os testes utilizaram

o recurso de registro de snapshots para apoia na identificacao de possıveis interfaces com

problemas. Os identificadores dos testes nesta pesquisa sao: o teste numero 1 para o

teste somente com dados de fala e o teste numero 11 para o teste somente com dados de

imagem.

O tempo medio de cada teste foi de 12 minutos e ocorreram com certa facilidade ja

que os participantes nao apresentaram dificuldades em utilizar os aplicativos. Acredita-se

que o fato de todos os participantes terem o conhecimento basico em computacao e serem

usuarios comuns da Internet e de aplicativos diversos contribuiu para tal facilidade. A

Tabela 10 apresenta a lista de testes realizados.

Tabela 10 – Lista de experimentos da abordagem

N Aplicativo Duracao Intervalo Face Intervalo Te-las

1 WCE 25 min. 1 segundo 1 segundo2 WCE 13 min. 1 segundo 1 segundo3 WCE 13 min. 1 segundo 1 segundo4 WCE 10 min. 1 segundo 1 segundos5 WCE 10 min. 2 segundos 2 segundos6 WPG 8 min. 1 segundo 1 segundo7 WPG 8 min. 1 segundo 1 segundo8 WPG 9 min. 1 segundo 1 segundo9 PEM 7 min. 2 segundos 2 segundoss10 Testes Gerais 2 min. 1 segundo 1 segundo11 Testes Gerais 3 min. 1 segundo 1 segundo12 PEM 13 min. 1 segundo 1 segundo13 PEM 10 min. 1 segundo 1 segundos14 PEM 8 min. 1 segundo 1 segundos15 PEM 11 min. 2 segundos 2 segundos16 PEM 8 min. 2 segundos 2 segundos

Conforme apresentado na Tabela 10 os dados estatısticos referentes aos testes podem

ser visualizados na Tabela 11.

Tabela 11 – Estatısticas dos teste

Estatıstica ValorTeste mais curto 2 minutosTeste mais longo 25 minutosTempo medio dos testes 10 minutosTempo com maior ocorrencia 8 minutos (4 ocorrencias)Desvio Padrao 5,94


O tempo total de monitoramento foi de 2 horas e 37 minutos os quais foram contabili-

zadas 201 palavras chave pronunciadas e devidamente reconhecidas, 3323 imagens faciais

e o total de imagens de tela foi de 3526. Quando citado o termo imagens candidatas,

o mesmo se refere a imagens sem o processamento facial, ou seja, contabiliza-se tanto

imagens com face reconhecida quanto imagens descartadas.

As quantidades de palavras, imagens faciais reconhecidas, imagens descartas e imagens

de tela de todos os testes sao apresentadas na Tabela 12

Tabela 12 – Quantidade de dados registrados

N Aplicativo Palavras Imagens Snapshot1 WCE 29 522 5272 WCE 12 459 4553 WCE 26 429 4264 WCE 00 31 185 WCE 08 150 1586 WPG 15 324 2847 WPG 04 312 2818 WPG 07 129 1159 PEM 30 147 13010 Testes Gerais 10 48 4711 Testes Gerais 00 44 3212 PEM 24. 523 43313 PEM 00 27 1714 PEM 00 309 25815 PEM 23 217 19716 PEM 13 174 158

Divergencias entre o tempo aproximado dos testes, a quantidade de imagens regis-

tradas (face e tela) e o intervalo de registro de imagens estipulado ocorreram devido

a interrupcoes ocasionadas nos experimentos por motivos diversos tais como queda de

energia, interrupcao do servico de Internet ou problemas com o aplicativo testado e o

ErgoSV.

A quantidade de palavras registradas, processo que dependia da acao humana de

pronunciar a palavra, teve grande variacao em relacao a quantidade devido ao fato que

alguns participantes pronunciaram um numero maior de palavras por acao e outros se

mostraram mais tımidos. A princıpio, o participante foi cobrado para pronunciar mais

palavras, porem foi possıvel perceber que alguns se mostraram tensos ou retraıdos com

a cobranca. Embora instruıdos a respeito da necessidade de pronunciar uma palavra em

tom de voz alto e firme a cada acao realizada no software tal como um clique em um botao,

uma consulta ou uma simples acao de mudar a interface movendo a barra de rolagem ou


no maximo a cada 15 segundos em certos casos o participante demorou para falar.

O total de palavras registradas em cada teste e a soma dos conceitos pronunciados

que pode ser uma das palavras selecionadas para o teste: Otimo, Bom, Regular, Ruim e

Pessimo. A Tabela 13 apresenta os totais de palavras pronunciadas por conceito.

Tabela 13 – Quantidade de palavras registradas

Otimo Bom Regular Ruim PessimoWCE 1 59 14 1 2WPG 1 16 6 1 0PEM 3 27 10 1 0Total 5 102 30 3 3

As imagens dos participantes registradas nos testes passava, ainda na fase de coleta

de dados, pelo processamento da ferramenta OpenCV no qual procurava uma imagem

facial na foto. Em caso positivo a mesma era classificada como “Relevante”e ao contrario

como “Descarte”.

A princıpio, as imagens descartadas nao seriam utilizadas na fase de analise, porem

decidiu-se mante-las porque poderiam fornecer dados relevantes para verificacao do motivo

da nao identificacao facial. Reforcando que a deteccao de imagem facial era realizada

por um framework conhecido por OpenCV que foi integrado ao ErgoSV para permitir

a utilizacao de seus recursos na totalidade sem a necessidade de alterar o codigo fonte

responsavel pelo reconhecimento. A Tabela 14 apresenta os totais referentes ao registro,

reconhecimento de face e descarte das imagens dos testes.

Tabela 14 – Quantidade de imagens registradas versus imagens descartadas

Aplicativo ImagensWCE 364WPG 614PEM 800

Apos a coleta, as imagens faciais passaram por uma fase de pre processamento a fim

de enriquecer seus dados para apoiar de forma mais efetiva a analise do teste. A fase de

Pre Processamento e explicada a seguir.

3.3.5 Pre Processamento dos Dados

Embora a maioria dos dados tivessem sido coletados e processados ja na primeira

fase do teste empregando-se o aplicativo ErgoSV, alguns processamentos necessitaram ser


deixados para realizacao em uma fase posterior devido ao alto custo computacional que

poderia comprometer o desempenho do aplicativo na fase de coleta de dados. O principal

processamento realizado foi a extracao de caracterısticas e o calculo de similaridade de

todas as imagens faciais registradas.

A princıpio, um dos objetivos desta pesquisa era identificar se uma imagem facial

registrada durante o teste era igual ou diferente a imagem padrao e esta verificacao foi

aplicada nos tres primeiros experimentos. A tecnica utilizada foi uma simples comparacao

dos pixels das imagens no qual o valor de um pixel na posicao X da imagem padrao era

comparado com o valor do pixel na posicao X da imagem candidata. Esta comparacao

retornou 100% das imagens candidatas diferentes das imagens padrao.

Esta situacao ocorreu em imagens visivelmente diferentes e com imagens que a “olho

nu”se mostravam iguais. Por serem imagens recolhidas em um ambiente real no qual

os participantes estavam sujeitos a movimentacoes diversas e sem controle que levaram a

alteracoes dos valores dos pixels nas posicoes analisadas e consequentemente a divergencia

da imagem. Considerando que o algoritmo comparava pixel a pixel, qualquer diferenca

mınima para mais ou para menos o retorno do codigo era, sempre, a diferenca das imagens.

Apos analisadas as imagens e realizados testes informais (foras dos experimentos)

concluiu-se que nao seria possıvel utilizar esse algoritmo para comparacao das imagens

e que a utilizacao de um classificador do genero: A imagem e diferente da padrao:

SIM/NAO seria algo inviavel. Portanto, decidiu-se verificar outras tecnicas para com-

paracao das imagens que levou a conclusao da necessidade da utilizacao da Recuperacao

de Imagens Baseado em Conteudo (CBIR) (BERGAMASSO, 2010; NUNES, 2011).

Com a tecnica CBIR foram extraıdas uma serie de caracterısticas faciais (padrao e

candidatas) utilizando algoritmos de extracao de caracterısticas de (BERGAMASSO, 2010)

e comparadas por meio de uma funcao de similaridade disponibilizada na ferramenta

AForge (www.aforgenet.com).

Os extratores utilizados nesta pesquisa foram de cores e de formas e, apos extraıdos,

os extratores retornaram valores matematicos que representavam as caracterısticas das

imagens. Para cada imagem do teste foram extraıdas as seguintes caracterısticas:

• Desvio Padrao do Histograma em Cinza;

• Media do Histograma em Cinza;

• Desvio Padrao do Histograma em RGB;


• Media do Histograma em RGB;

• Desvio Padrao dos Pixels em Cinza

• Media dos Pixels em Cinza;

• Desvio Padrao dos Pixels em RGB;

• Media dos Pixels em RGB;

• Escala;

• Rotacao;

• Translacao

Apos execucao dos algoritmos de extracao, todas as imagens passaram a ter um vetor

de caracterısticas, permitindo assim, a execucao do algoritmo de calculo de similaridade.

A similaridade euclidiana retorna um valor ajustado entre 0 e 1 no qual quanto mais

proximo de zero menor a similaridade e quanto mais proximo de 1 maior a similaridade.

A princıpio, o calculo de similaridade foi feito considerando todas as caracterısticas

extraıdas das imagens, porem, percebeu-se que o valor da similaridade apresentado foi

extremamente baixo, por exemplo, 0,005 % de similaridade em uma imagem relativa-

mente semelhante a imagem padrao, quando analisada a ”olho nu”. Visando resolver esse

problema e seguindo uma linha de raciocınio apresentada por (BERGAMASSO, 2010) foi

iniciada uma analise dos valores extraıdos das caracterısticas de cada imagem.

Como resultado, foi possıvel identificar algumas caracterısticas com grande variacao

de valores em relacao ao valor da imagem padrao. Por exemplo, se considerarmos o valor

da imagem padrao e efetuarmos o levantamento dos valores das imagens candidatas para

a caracterıstica A a variacao dos valores era visivelmente menor que a caracterıstica B.

As Figuras 42(a) e 42(b) apresentam os valores obtidos em duas caracterısticas diferentes.

Como pode ser analisada nas figuras, a caracterıstica A (Media do Histograma em

Nıvel de Cinza) tem uma variacao de valores menor em relacao ao valor obtido na carac-

terıstica da imagem padrao em relacao a caracterıstica B (Desvio Padrao do Pixel B). A

utilizacao caracterıstica B reduz de forma significativa a taxa de similaridade da imagem

e a mesma situacao ocorrem com demais caracterısticas que apresentem maior variacao.

Considerando as duas imagens faciais apresentadas na Figura 43 com suas respectivas

caracterısticas, sendo a imagem superior a imagem padrao e a imagem inferior a imagem


(a) Variacao Caracterıstica A (b) Variacao Caracterıstica B

Figura 42 – Variacao dos valores das caracterısticas

candidata, em testes no qual nao foi utilizada a caracterıstica B (Desvio Padrao do Pixel

B), a taxa de similaridade foi de 0,91970 e quando a caracterıstica B foi aplicada a valor

da similaridade reduziu para 0,111.

Figura 43 – Imagem padrao X Imagem candidata e suas respectivas caracterısticas

Ainda foi realizada uma analise de quais caracterısticas sofreram menor variacao,

ou seja, tiveram comportamento semelhante ao grafico da caracterıstica de Media do

Histograma em Nıvel de Cinza.

As caracterısticas selecionadas para comparacao em todos os testes foram:

• Media do Histograma em Nıvel de Cinza;

• Media dos Pixels em Nıvel de Cinza;

• Escala;

• Rotacao;

• Translacao;


Embora algumas caracterısticas tenham apresentado maior variacao em alguns testes

e maior linearidade em outros buscou-se analisar quais caracterısticas mantiveram um

padrao de valores os quais eram apresentados por graficos mais lineares.

Apos o processamento das imagens para identificar o valor matematico e a similaridade

das imagens de todos os testes, os dados foram considerados adequados e assim dispo-

nibilizados por completo para analise. O processo de analise sera explicado na proxima

secao.

3.3.6 Analise dos Dados

Apos a coleta dos dados e a realizacao de todos os processamento necessarios, os dados

foram disponibilizados para os processos de analise.

O principal objetivo da analise era verificar se abordagem permitiria realmente reduzir

o tempo gasto para identificar interfaces com problemas de usabilidade em relacao a teoria

de Nielsen (1993) que afirma que o tempo para analise dos dados de um teste e de 2 a 3

vezes o tempo do teste. Para isso, os dados foram agrupados de acordo com o software

testado e o tempo de teste foi somado chegando a um tempo total de teste final. O tempo

ideal estipulado para analise utilizando esta abordagem deveria ser menor que o tempo

do teste ou, no maximo, 1,5 vezes maior. Este parametro foi escolhido considerando que

o objetivo da abordagem seria claramente atingido caso reduzisse o tempo de analise em

relacao ao maximo estipulado por Nielsen (1993). Com o agrupamento dos resultados

foi possıvel definir qual o tempo limite para analise dos dados conforme apresentado na

Tabela 15.

Tabela 15 – Tempos utilizados para parametros para analise

Software Tempo de Teste(Min.) Tempo Maximo deAnalise Esperado (Min)

WCE 71 107WPG 25 38PEM 57 86

As atividades de analise dos dados foram realizadas de tres formas diferentes e na

seguinte ordem: (1) utilizando somente dados de voz: nesta abordagem foram dispo-

nibilizadas todas as palavras pronunciadas, reconhecidas e seus dados alem das imagens

das telas utilizadas pelo participantes no momento da pronuncia e instantes antes e apos;

(2) utilizando somente dados de imagens: para estas avaliacoes, foram utilizadas

somente imagens com faces reconhecidas, imagens descartadas e imagens das telas nos


momentos proximos ao registro da reacao; (3) na terceira e ultima forma, a analise foi

realizada utilizando uma combinacao de palavras pronunciadas e imagens re-

gistradas.

As analises foram feitas restringindo ou liberando dados em determinados momentos

de acordo com os recursos disponibilizados na ferramenta ErgoSV Analyzer. Porem, em

todas as abordagens utilizadas foram disponibilizadas as imagens da tela no momento

de uma determinada reacao. A Figura 44 apresenta a estrutura de analise realizada no

ErgoSV Analyzer.

Figura 44 – Estrutura de analise dos dados

Nas proximas subsecoes serao detalhadas as atividades de analise com as tres abor-

dagens propostas assim como os resultados obtidos em cada uma.

3.3.6.1 Analise Somente com Dados de Voz

A primeira abordagem foi realizada utilizando somente dados de fala, ou seja, dados

relativos a palavras pronunciadas pelo participante. Nesta analise, foram disponibiliza-

dos os 15 experimentos realizados com a utilizacao de palavras pronunciadas e o recurso

de “analise somente com dados de voz”do aplicativo ErgoSV Analyzer que disponibili-

zava a lista de palavras pronunciadas e seus respectivos momentos, alem do grafico que

apresentava o total de palavras pronunciadas agrupadas por conceitos.

A primeira etapa desta abordagem foi realizada utilizando o grafico de palavras a fim

de obter uma ideia geral da satisfacao do participante com o sistema. Como as palavras

pronunciadas refletiam conceitos de qualidade representando maior ou menor satisfacao.

O grafico de pizza apresentava uma “fatia”para cada palavra pronunciada e se mostrou


eficiente como recurso para se obter uma visao inicial da opiniao do participante sobre o

sistema.

A Figura 45 apresenta um comparativo entre dois graficos que representam as pala-

vras pronunciadas em dois testes. E possıvel observar nesses graficos que a opiniao dos

participantes foi, em mais de 50%, satisfatoria para os dois casos.

Figura 45 – Graficos de palavras pronunciadas para analise

No primeiro grafico ocorreram duas situacoes particulares consideradas relevantes:

uma opiniao “Otimo”e uma opiniao “Ruim”. A primeira situacao refere-se ao extremo

positivo do teste, ou seja, alguma interface que permitiu seu usuario realizar suas tarefas

por completo sem oferecer problemas ou riscos algum, sendo assim, facil de utilizar, com

altos nıveis de usabilidade e satisfazendo assim seu usuario. Os recursos contidos nesta

interface poderiam ser aplicados a demais pontos do sistema que se adequassem tal con-

texto. A segunda refere-se a segunda pior avaliacao, ou seja: segundo extremo negativo do

teste o que indica claramente problemas na interface que devem ser tratados pela equipe

de designer com atencao.

O segundo grafico apresentou a nao ocorrencias de opinioes extremamente positivas

ou negativas. A nao ocorrencia de opinioes insatisfatorias (“Ruim”e “Pessimo”) proveu

informacoes de que o aplicativo nao dispoe de recursos de baixa interatividade de acordo

com a opiniao do usuario participante. Esses resultados apresentam somente as pronun-

cias das palavras Bom e Regular e a segunda palavra em baixa quantidade em relacao

a primeira, visto que se trata somente de 18% do total de palavras. Para este caso,

foi possıvel avaliar que o aplicativo esta adequado para o participante e que melhorias

precisam ser realizadas, porem em baixa quantidade.

A avaliacao por meio de graficos foi considerada satisfatoria por apresentar uma in-

formacao em alto nıvel da opiniao dos participantes em relacao a qualidade da interacao

do software permitindo ao avaliador ter uma classificacao imediata de satisfacao ou insa-

tisfacao para direcionar acoes de correcao, melhorias ou expansao. Entretanto, ao serem


identificados pontos relevantes especıficos tais como opinioes extremamente negativas ou

opinioes extremamente positivas ”otimo”era necessario haver uma detalhamento do ocor-

rido a fim de realizar um estudo para identificar o que poderia ter gerado tal reacao e

qual procedimento poderia ser tomado em relacao ao mesmo.

Tais detalhes foram obtidos por meio de uma lista contendo as palavras pronunciadas

pelo participante, seu horario, intervalo em relacao ao inıcio do teste e taxa de confianca.

Alem da palavras, foi disponibilizado acesso as imagens das telas utilizadas pelos parti-

cipantes no momento da pronuncia, segundos antes e segundos apos, sendo o valor dos

segundos, indicado pelo avaliador. Para isso, uma palavra registrada em determinado mo-

mento (X) deveria ser selecionada e apos, o intervalo em segundos (N) indicado, conforme

apresentado na Figura 46. Por fim, o aplicativo ErgoSV Analyzer efetuou uma busca de

imagens de tela no momento X (selecionado pelo avaliador) e nos momentos (X - N) ate

(X + N) como mostrado no exemplo da Figura 47.

Figura 46 – Selecao de palavra e intervalo

O estudo da lista de palavras foi feito seguindo as seguintes regras: (1) buscaram-se

palavras que representem insatisfacao total do participante (“Ruim”e “Pessimo”e “Re-

gular”); (2) foi realizada uma busca para verificar se existiam opinioes totalmente satis-

fatorias como a palavras “Otimo”. (3) analisou-se as palavras “Bom”, considerado-a um

termo satisfatorio e comum, ou seja, algo que agradou o participante, porem sem ter algo

de especial, logo, sua avaliacao detalhada foi realizada somente para casos considerados

relevantes, tais como uma lista com 6 palavras regulares e no centro desta lista 1 palavra

“Bom”, ou seja, a palavra Bom foi analisada, a princıpio, quando seu contexto divergia

de palavras pronunciadas logo antes ou depois.


Figura 47 – Estrutura de selecao de imagens de tela por palavra

A analise dos dados do WEC durou 25 minutos, tempo abaixo do total dos testes.

Neste perıodo foram analisadas todas as questoes consideradas “Regulares”, “Ruins”e

“Pessimas”assim como as questoes “Otimas”e situacoes interessantes com a palavra “Bom”.

Esta analise permitiu identificar um padrao na opiniao dos participantes, pois as telas clas-

sificadas como Regulares e Ruins (o termo pessimo nao foi utilizado pelos participantes)

eram praticamente as mesmas.

As interfaces utilizadas e reprovadas foram identificas de forma relativamente facil

gracas a palavras que representavam uma classificacao negativa. A repeticao de clas-

sificacoes, em pelo menos dois testes, para mesma interface, indicava que existia a ne-

cessidade de uma analise rigorosa da interface, pois varios participantes consideraram a

mesma ruim. Um exemplo de interface reprovada por mais de um participante e exibida

na Figura 48 na qual e exibida um texto de mensagem de erro na procura de um produto.

Figura 48 – Interface reprovada por diversos participantes


Alem da interface apresentada, outros recursos com classificacao negativa puderam

ser identificados na analise tais como a tela de visualizacao de produtos, classificada duas

vezes como “Regular”, o Formulario de Cadastro, tambem reprovado duas vezes e a tela

de finalizacao do “Carrinho de Compras”.

A segunda analise foi realizada no WPG que seguiu as mesmas diretrizes da analise

do WEC. O WPG contem funcionalidades simples e foi criado com objetivo de prover

informacoes sobre o programa de Pos Graduacao nao apresentando processamentos com-

plexos de dados e/ou funcoes de inclusao, alteracao e exclusao de dados. O estudo dos

dados do WPG levou 20 minutos e comecou com a analise dos termos insatisfatorios

que mostrou um padrao da pronuncia em interfaces com poucos textos e informacoes e

tambem na utilizacao dos Menus Superiores das Paginas

Outras interfaces com o mesmo padrao de desenvolvimento foram classificadas como

“Regulares”e “Ruins”e algumas estavam com o menu superior ativado. Entretanto nao

foi possıvel identificar, a priori se o conceito se tratava da tela como um todo ou do

unicamente do Menu. O conceito “Otimo”foi pouco aplicado sendo pronunciado por um

unico avaliador para classificar a pagina inicial do website.

O terceiro aplicativo analisado foi o PEM utilizado para edicao de imagens. Este

aplicativo tem diversas funcionalidades e o tempo total de seus testes foi de 57 minutos.

A analise foi realizada seguindo as mesmas diretrizes dos dois estudos anteriores e teve

uma duracao de 30 minutos.

Esta analise apresentou maior complexidade e duvidas em relacao as duas primeiras,

principalmente pelo fato do PEM apresentar uma interface com uma densidade informa-

cional muito grande (CYBIS; BETION; FAUST, 2010), ou seja, esta contem muitos dados e

informacoes em uma mesma tela levando a uma ma estrutura de distribuicao de recursos

e componentes da aplicacao.

O estudo dos dados mostrou que 70% das abas que agrupam as funcionalidades do

aplicativo levaram um conceito “Ruim”e “Regular”e em determinados momentos essas

receberam conceitos positivos. A maior dificuldade ocorreu em determinar qual recurso

era foco de analise do participante naquele momento. A Figura 49 apresenta uma tela

classificada como “Regular/Ruim”em dois testes distintos realizados por dois participantes

tambem distintos. A interface mostra uma tela que permite a montagem de uma folha

com diversas fotos, entretanto a grande quantidade de recursos impede a visualizacao do

foco do participante e para qual item foi atribuıda a nota.


Figura 49 – Tela do PEM com muitos recursos

Outras interfaces classificadas apresentaram notas positivas e/ou negativas, porem

por mostrarem telas em destaque assumiu-se que a nota foi atribuıda a essas telas. A

Figura 50 mostra um exemplo de uma tela em destaque na qual e atribuıda a nota Bom.

Figura 50 – Tela do PEM classificada como Bom

A analise dos dados somente com palavras pronunciadas foi considerada satisfatoria,

pois identificar interfaces a serem analisadas em tempo inferior aos tempos totais de teste.

Ao mesmo tempo, esta abordagem proporcionou uma ideia de quais interfaces tinham nota

positiva ou negativa por parte dos participantes.

As palavras chave pronunciadas tambem foram consideradas eficientes para analise

por se posicionarem como classificadoras claras da opiniao dos participantes, ou seja, foi

possıvel identificar se uma pessoa gostou de determinada interface por meio das palavras

“Otimo”e “Bom”e identificar se uma pessoa desaprovou a interface ao ser identificadas

pronuncias das palavras “Regular”, “Ruim”e “Pessimo”. As palavras pronunciadas fun-

cionaram como ferramentas para chamar a atencao do designer quanto a um problema


ou para algum recursos que foi de extrema satisfacao das pessoas.

O grafico apresentou uma visao de alto nıvel do resultado do teste, no qual sao apre-

sentadas as palavras pronunciadas e o total de cada termo e foi considerado bom por

proporcionar um panorama geral da opiniao dos participantes com o sistema testado.

Com a imagem do grafico foi possıvel identificar qual foi o posicionamento dos partici-

pantes em relacao aos testes obtendo uma visao inicial de uma possıvel necessidade de

revisao detalhada da interface ou da possibilidade de manter e expandir os recursos ja

existentes.

Entretanto, um ponto negativo identificado nesta abordagem de analise foi a difi-

culdade em identificar qual era o foco de atuacao do usuario nos momentos proximos

a pronuncia. Por exemplo, a Figura 50 apresenta uma interface na qual 2 participan-

tes pronunciaram a palavra “Ruim”. As interfaces utilizadas no momento e proximo a

reacao foram facilmente identificadas devido a palavra chave pronunciada, entretanto foi

difıcil identificar o foco de visao dos participantes considerando que conhecendo qual era

direcao do rosto e/ou olhos das pessoas no momento do registro poderia reduzir a area

de insatisfacao. O recurso de acesso as interfaces permitiu visualizar a tela por completo,

mas nao foi possıvel saber qual o foco do olhar da pessoa, ou seja, a palavra ”Ruim”foi

uma opiniao a respeito do menu superior ou do menu lateral ou da tela central ou a tela

como um todo. Esta situacao levaria a necessidade de se questionar o participante para

descobrir o alvo da opiniao.

Mesmo com esse ponto negativo a analise dos dados utilizando dados de fala foi

considerada eficaz para abordagem devido ao fato de reduzir o tempo para identificacao de

interfaces problematicas, assim como os momentos anteriores e posteriores a este evento,

para aproximadamente 60% do tempo do teste. Informacoes das palavras apresentadas

em grafico permitiram uma rapida analise da situacao geral do software permitindo assim

uma pre analise e um posicionamento de forma geral sobre a qualidade da interacao do

ponto do vista do usuario.

Na proxima subsecao sera tratada a analise dos dados somente com imagens.

3.3.6.2 Analise Somente com Dados de Imagens

A segunda abordagem de analise foi realizada utilizando somente os dados de imagens

registradas com foco na lista de imagens faciais registradas contendo a imagem, o horario

de registro, o intervalo em relacao ao inıcio do teste e o percentual de similaridade em


relacao a imagem padrao. As imagens descartadas e o recurso para acessar imagens da tela

no momento da reacao, momentos antes e apos a reacao tambem foram disponibilizados.

O principal objetivo desta abordagem foi verificacao da capacidade de identificacao

de interfaces com possıveis problemas de usabilidade, momentos de insatisfacao dos par-

ticipantes e a geracao de insumos para analise da usabilidade utilizando somente a dados

de imagens faciais e os recursos disponibilizados pelo ErgoSV Analyzer por meio da fun-

cionalidade “Only Face Images”e assim reduzir o tempo para analise dos dados de teste.

A primeira verificacao desta abordagem foi feita utilizando o grafico apresentado na

interface, porem o mesmo se limita a apresentar o percentual de imagens com faces reco-

nhecidas versus imagens descartadas, assim seus dados nao permitiram uma identificacao

da opiniao do participante. A tentativa de elaborar um grafico com dados adicionais foi

prejudicada com a falta de dados para criacao do mesmo, ou seja, nao havia uma forma

de classificar a opiniao do participante como satisfatorio ou insatisfatorio.

Apos analise insatisfatoria do grafico, o foco se voltou para analise da lista de imagem

que continha, dentre demais dados o valor da similaridade. Este dado foi analisado em

primeiro momento com objetivo de utilizar o mesmo, de forma individual, para de iden-

tificar a opiniao do participante. Assim como na analise somente com dados de fala, o

objetivo era analisar os dados dos testes em tempo inferior a 1,5 vezes o tempo de cada

teste.

A analise utilizando a lista de imagens e seus atributos foi realizada de tres formas

diferentes:

• utilizando somente os valores de similaridade;

• associando os valores de similaridade com a expressao facial dos participantes;

• utilizando os valores de similaridade abaixo da media.

Os tres estudos sao explicados a seguir.

1 - Utilizando somente valores de similaridade: Para esta analise foi considerado

somente o valor de similaridade como parametro para verificar a opiniao do participante

e, assim, possıveis problemas de usabilidade. O avaliador se concentrou no estudo deste

dado de forma isolada.

Entretanto, o valor de similaridade de forma isolada nao representou a priori uma

opiniao do participante, mas somente o percentual de similaridade em relacao a imagem


padrao. Por exemplo, analisando a Figura 51 e possıvel ver a lista de imagens do Er-

goSV e seus valores de similaridade, mas nao foi possıvel classificar a priori qual imagem

representa um evento satisfatorio ou insatisfatorio.

Figura 51 – Lista de registro de imagens com valores de similaridade

Olhando um valor de similaridade, por exemplo, 0.883083618659775, nao foi possıvel

classificar essa imagem como uma opiniao positiva ou negativa, necessitando analisa-la

de forma subjetiva, ou seja, selecionar o registro da imagem e efetuar um estudo da

expressao apresentada. A incapacidade de identificar as expressoes fez com que a analise

dos dados fosse realizada visualizando em sequencia todas as imagens faciais registradas.

Apos a analise individual da imagem facial era tomada a decisao de estudar ou nao o que

o participante fazia no momento. Estas acoes levaram a um tempo mınimo de analise de

tres vezes o tempo do teste, situacao ja comum neste tipo de analise e que nao agregou

bons resultados a abordagem.

2 - Tentativa de associar valores de similaridade com a opiniao do par-

ticipante: Nesta analise, os valores de similiaridade foram associados a reacoes faciais

especıficas. Entretanto, esta acao foi feia manualmente. Todas as imagens de todos os

testes foram comparadas com imagens faciais apresentadas no livro de Castilho (2011)

que apresenta uma seria de imagens faciais com reacoes diversas e instrucoes de como

identificar as respectivas expressoes em outras imagem. As imagens foram classificadas

como: com reacao facial clara; com reacao facial nao identificada e; sem reacao facial. A

Figura 52(c) apresenta exemplos desta classificacao.

De 2305 imagens registradas, apenas 1,7% das imagens faciais apresentavam reacoes

faciais claras e assim, permitiram ser identificadas e classificadas de acordo uma reacao.

Apos esta primeira classificacao, as imagens foram classificadas de acordo com a expressao

para qual foi associada. A Tabela 16 apresenta o nome das expressoes identificadas e os


(a) Imagem com expressaofacial clara

(b) Imagem sem reacao fa-cial

(c) Imagem com reacao fa-cial nao identificada

Figura 52 – Imagens com expressoes faciais relevantes X Nao identificaveis

valores de similaridades em relacao a imagem padrao do teste das imagens associadas a

expressao.

Tabela 16 – Valores de similaridade por expressao facial

Expressao Facial Similaridades (%)Sorriso 63, 74, 76, 87, 88, 90, 91, 92, 94 e 96Duvida 56, 58, 67, 74, 79, 81,86 e 95Espanto 47, 57, 77, 82, 96 e 96Indecisao 86 e 94Insatisfacao 93Pensativo 86, 87, 88 e 90

Os dados apresentados na Tabela 16 mostram que nao ocorreu um padrao de valores

de similaridade para as expressoes, mas sim uma variacao significativa da menor simila-

ridade ate a maior. Embora algumas expressoes tenham apresentado diferencas menores

e/ou valores mais proximos, caso da expressao “Pensativo”, esta situacao nao foi comum

para outras situacoes as quais tiveram variacoes entre 47 e 96% (“Duvida”’) ou varia-

ram de 63 a 96 %, no caso da expressao “Sorriso”. Como resultado desta classificacao,

foi possıvel concluir que nao seria possıvel relacionar um percentual de similaridade com

uma expressao facial (ou opiniao) considerando todos os testes e todas as expressoes.

Uma segunda classificacao foi realizada agrupando os valores por teste a fim de veri-

ficar se ocorreram padroes de valores de similaridade para um mesmo teste. Esta analise

foi feita assumindo que uma pessoa pode nao variar, de forma significativa, sua maneira

de expressar suas emocoes faciais mantendo assim um padrao de valores.

Algumas reacoes ocorreram de forma isolada (1 reacao por teste) e foram descartadas

desta analise, pois nao permitiriam identificar a variacao dos valores das expressoes para

um determinado teste, reduzindo ainda mais a quantidade de dados. Como o objetivo era


verificar quanto o valor da similaridade variava em relacao a expressao de uma pessoa em

um teste, foram utilizadas somente dados de expressoes que ocorreram mais de uma vez

em um teste. Assim, uma combinacao de 5 testes nos quais 7 reacoes ocorreram mais de

uma vez foram analisadas. A Tabela 17 apresenta a relacao de testes, tipo de expressao,

valores de similaridade e quantidade de ocorrencias.

Tabela 17 – Classificacao de valores de similaridade por teste

Teste Expressao MenosSimilar(%)

Mais Si-milar (%)

Diferenca(%)

Ocorrencias

A Duvida 74 79 5 2B Indecisao 86 94 8 2B Duvida 56 58 2 2B Sorriso 74 87 13 2C Espanto 77 96 19 2D Pensativo 86 90 4 2E Sorriso 88 91 3 2

Esta tabela apresenta que os valores mınimos e maximos das similaridades estao

proximos em 3 dos 5 casos analisados apresentando uma situacao que poderia levar a

uma padronizacao de valores. Entretanto, no teste numero 2, unico a apresentar um in-

tervalo de dados para tres expressoes distintas, e observavel uma situacao de intersecao,

no qual o valor 86 e encontrado em 2 casos distintos (Indecisao e Sorriso). A proximidade

dos valores de similaridade poderia gerar informacoes incorretas e interferir seriamente na

analise dos dados. Considerando este estudo e este exemplo, terıamos um caso no qual

o participante teve uma reacao de indecisao representado pela valor de 86% de similari-

dade e um outro caso, no qual o usuario teve uma reacao de sorriso (satisfacao) tambem

representado pelo mesmo percentual de similaridade. Os casos representaram situacoes

divergentes, ou seja, enquanto que no primeiro, o participante tem duvidas sobre a uti-

lizacao que poderia implicar em uma analise aprofundada da interface, no segundo caso

o participante se mostra satisfeito com o que utiliza que implicaria na manutencao da

interface ou na expansao para outros pontos do sistema.

Embora os dados apresentem um padrao de proximidade de valores, quando analisa-

dos teste a teste, a aplicacao de uma expressao especıfica para um determinado valor de

similaridade seria arriscada devido aos seguintes fatores: primeiramente nao foi possıvel

identificar um padrao de valores de similaridade para reacoes identificadas manualmente;

depois, quando identificados os valores, estes ocorreram ao serem agrupados em seus res-

pectivos testes o que obrigaria a equipe de design a efetuar uma calibragem de imagens e


expressoes antes da analise dos testes para posterior aplicacao de uma tecnica de processa-

mento de imagens visando gerar a informacao de similaridade. Da mesma forma que nao

foi possıvel identificar um padrao de similaridade, alguns valores representaram mais de

uma reacao por valor de similaridade o que dificultou a identificacao de qual reacao seria

melhor para qual similaridade; Por fim, a baixa quantidade de reacoes faciais identificadas

dificultou a analise desses dados e nao permitiu a geracao de informacoes consistentes e

seguras para serem aplicadas no software ErgoSV.

Por fim, esta forma de analise foi considerada ineficaz devido as seguintes situacoes:

Na primeira, quando os valores de similaridade foram agrupados por expressao, foi possıvel

perceber um grande intervalo de similaridade entre o menor valor e o maior valor para

um determinada expressao e com isso concluir que nao seria possıvel associar determi-

nada expressao com determinado valores de similaridade. Alem disto, varias expressoes

se enquadram em valores que foram obtidos para expressoes diversas, por exemplo, as

expressoes Sorriso e Espanto tiveram valores de similaridade de 96%.

Quando os valores de similaridade foram agrupados por teste e expressao, foi possıvel

identificar um padrao consistente entre a expressao faciais e o valor de similaridade. Esta

relacao poderia ser estabelecida no sistema com objetivo de agilizar a identificacao de

interfaces problematicas, entretanto necessitaria de uma alimentacao e/ou treinamento

previo do ErgoSV para efetuar a comparacao com expressoes faciais considerando somente

da pessoa que utiliza o software no determinado teste e esta situacao acarretaria em

uma mudancas na fase de pre teste alem de alteracoes no processo de identificacao de

similaridade do ErgoSV. Por fim, a busca por expressoes ficaria reduzida a um usuario e

a um unico teste e a baixa quantidade de imagens utilizadas para validar esta hipotese

nao permitiu estabelecer esta regra como padrao para esta abordagem.

Concluı-se portanto, que atribuir um valor de similaridade a uma determinada ex-

pressao poderia gerar informacoes incorretas levando o avaliador a analises e tomadas de

decisao erradas e assim comprometer a qualidade do teste e do produto.

3 - Utilizando valores de similaridade abaixo da media: Nesta analise, a

hipotese de que um valor de similaridade abaixo da media do teste poderia represen-

tar uma movimentacao do participante ou uma grande alteracao na expressao facial foi

analisada pelos avaliadores. Um recursos de destaque para imagens abaixo da media foi

implementado no ErgoSV conforme apresenta a Figura 53.

Embora tenha se posicionado como um possıvel recurso para agilizar a identificacao

de opinioes, principalmente pelo fato de uma similaridade baixa indicar a movimentacao


Figura 53 – Tela do ErgoSV com dados de similaridade

abrupta do participante e portanto, uma informacao relevante, a utilizacao de valores

de similaridade abaixo da media do teste foi considerada arriscada, pois o baixo valor

nao significou a priori insatisfacao ou problemas por parte do usuario, mas sim que o

mesmo se movimentou de forma significativa em relacao a imagem padrao. Esta situacao

poderia levaria a uma analise subjetiva por parte do avaliador que poderia considerar estas

imagens como criterios de insatisfacao e assim propor correcoes para interfaces erradas.

Alem disto, seria possıvel que o avaliador se atentasse somente a esses registros ignorando

assim registros com maior similaridade e que poderia ter informacoes relevantes.

Todas as formas utilizadas para analisar o teste somente com dados de imagem levou

a um unico caminho: a analise de todas as imagens de forma individual, sequencial e

subjetiva e o aumento o tempo de analise para proximo ou mesmo mais de 3 vezes o

tempo do teste. Um tempo de analise semelhante a este nao foi considerando ideal para

ferramenta pois nao agregou melhorias ao processo de analise e identificacao de problemas.

Na proxima subsecao sera apresentada uma analise na qual sao unidos dados de fala

e de imagens.

3.3.6.3 Analise com Dados de Voz e Imagens

A terceira abordagem de analise foi realizada utilizando a combinacao dos dados de

fala, imagens faciais e imagens da tela. Como os experimentos anteriores apresentaram

maior eficiencia na utilizacao dos dados de fala em relacao aos dados de imagens faciais

ficou determinado como parametro para identificacao das opinioes dos usuarios as pala-

vras pronunciadas, assim as imagens faciais e de telas foram utilizadas como apoio para

enriquecer os dados e melhorar a analise e tomada de decisao.


A analise seguiu os mesmos processos realizados nas abordagens anteriores, ou seja,

primeiro foram identificadas palavras de classificacao negativa, seguidas pela palavra de

maior classificacao positiva (Otimo) e por ultimo analisadas as palavras “Bom”para si-

tuacoes que exigissem tal estudo.

Identificadas as palavras alvo, foi possıvel realizar uma analise que comecava a partir

da palavra pronunciada, que permitia acessar as imagens de tela e, a partir do momento

de registro de determinada interface, acessar as imagens faciais.

A estrutura permitiu a criacao de uma arvore batizada de “Arvore do Ambiente”.

Nessa arvore, o no raiz e a palavra pronunciada pelo participante e guia principal para

busca de informacoes. A partir do no raiz era possıvel acessar as imagens da tela que foram

utilizadas por cada participante no momento da pronuncia, instantes antes e instante

apos. Como o avaliador pode indicar o intervalo de tempo de seu interesse para busca

de imagens, para cada imagem pode ser relacionada uma ou varias imagens de tela. As

imagens da tela eram consideradas outros nos da arvore, este em um segundo nıvel, ou

de profundidade dois. Selecionado uma imagem e indicando um intervalo de tempo, era

possıvel acessar uma serie de imagens da face do participante no momento, antes e apos

determinada tela, estas consideradas nos folhas da arvore. A Figura 54 apresenta o modelo

desta abordagem.

Figura 54 – Arvore do ambiente do teste no momento de uma reacao


O parametro para busca de imagens de tela e imagens faciais foi o intervalo espe-

cificado pelo participante no momento da analise. Nesta estrutura, considerando uma

palavra pronunciada com 05 minutos e 20 segundos de teste e um valor de intervalo de

6 segundos, o ErgoSV buscava todas as imagens de tela registrada entre o tempo de 05

minutos e 14 segundos ate o tempo de 05 minutos e 26 segundos. Neste momento nao

eram exibidas imagens faciais, esta situacao ocorria apos o a selecao de uma imagem e o

acionamento do comando de exibicao. Selecionada uma imagem, por exemplo, registrada

no momento de 05 minutos e 24 segundos, o ErgoSV seleciona as imagens faciais em uma

intervalo de 6 segundos antes e depois do momento da imagem, ou seja, eram exibidas

as imagens faciais registradas entre o tempo de 05 minutos e 18 segundos e 05 minutos e

30 segundos. Juntamente com a imagem facial eram exibidos dados tais como percentual

de similaridade e horario de registro, funcionalidade esta ja apresentada nos capıtulos

anteriores.

Uma grande contribuicao desta analise foi a relacao da interface utilizada pelo par-

ticipante no momento da reacao e a posicao de seu resto e de seus olhos. Com isso, foi

possıvel solucionar, a princıpio, um problema encontrado na abordagem de analise utili-

zando somente dados de fala a qual obteve exito para identificar interfaces com problemas,

mas nao permitia identificar o foco de visao do usuario.

Considerando a posicao do usuario em frente da camera e a forma como o mesmo

olhava a imagem foi possıvel direcionar qual era o lado, quadrante ou canto para o qual o

mesmo olhava no momento da reacao. A Figura 55 apresenta um exemplo no qual e exibido

uma imagem facial registrada proximo ao momento em que o participante pronunciou a

palavra “Regular”. Olhando a imagem facial foi possıvel verificar que o usuario olhava

para o canto inferior direito da imagem. Portanto, foi possıvel assumir que o conceito

aplicado se referia as funcionalidades ou caracterısticas da interface que se encontravam

nesta posicao da tela.

Em um segundo exemplo, apresentado na Figura 56, o aplicativo ErgoSV registra

a pronuncia da palavra “Pessimo”, a imagem da tela e da face do participante. Nesta

imagem e possıvel analisar que o usuario olha atentamente para o canto esquerdo do

monitor/interface. Isto permitiu assumir que o foco da avaliacao se referia a recursos

localizados nesta posicao.

O tempo da analise dos dados dos testes aumentou em relacao a primeira abordagem

de analise, porem manteve-se dentro dos 50% de acrescimo em relacao ao tempo total de

coleta. O aumento do tempo de analise deu-se por motivo do maior numero de dados


Figura 55 – Imagem facial e imagem de tela com possıvel local de insatisfacao

Figura 56 – Imagem facial e imagem de tela com possıvel local de insatisfacao

para estudo, visto que acrescentou-se dados de imagens faciais e os mesmos requereram

um tempo para estudo e deteccao de informacoes relevantes. O tempo dos testes nesta

terceira abordagem utilizando palavras pronunciadas, imagens da tela e imagens faciais

foi de:

• WCE: 85 minutos;

• WPG 30 minutos;

• PEM 85 minutos;

Por fim, a analise dos dados utilizando a combinacao de palavras pronunciadas e

imagens faciais apoiadas por imagens da tela foi considerada satisfatoria devido ao fato

que proporcionou a maior quantidade de informacoes relevantes e permitiu uma analise

com mais detalhada dos dados. Nesta abordagem foi possıvel identificar a opiniao do

participante por meio das palavras, quais interfaces ele utilizava no momento e proximo

3.4 Resultados da Validacao 140

aos momentos da reacao, assim como as imagens faciais que permitiram, ainda, uma

analise do foco de visao do participante reduzindo assim a area de estudo da tela. Esta

ultima situacao permitiu resolver o ponto negativo da abordagem que utilizava somente

dados de voz que por sua vez indicava qual a interface problematica mas deixava em

aberto qual o fato de existir ou nao um local especıfico de uso por parte do participante.

Na proxima secao serao apresentados os resultados da validacao, realizados conforme

atividades explicadas previamente.

3.4 Resultados da Validacao

Os experimentos para validacao da abordagem foram realizados de tres formas dife-

rentes: (1) utilizando somente dados de palavras registradas; (2) utilizando somente dados

de imagens faciais registradas; (3) utilizando uma combinacao de palavras pronunciadas

e imagens faciais. Em todas as formas de analise foram consideradas as imagens das

interfaces utilizadas pelos participantes no momento e proximo ao momento da reacao.

O objetivo principal era reduzir o tempo de analise dos dados e a identificacao de

pontos do aplicativo que nao estavam de acordo com a satisfacao do participante, alem

de visualizar, por meio de imagens da tela, imagens faciais e da analise das palavras

pronunciadas, o ambiente que ocorreu segundos antes e segundos apos determinada reacao.

Um aplicativo foi desenvolvido especialmente para apoiar esta pesquisa e foi batizado de

ErgoSV e apoiou atividades de coleta, processamento e analise dos dados.

3.4.1 Analise dos dados de voz

A abordagem de avaliacao apresentou resultado satisfatorio para os dois casos de

analise que utilizaram palavras pronunciadas principalmente para a abordagem que con-

siderou imagens faciais para suporte a analise das palavras.

As analises com dados de voz apresentaram melhores resultados devido ao fato da

utilizacao de palavras chave que representaram conceitos de qualidade definidos de acordo

com uma ordem hierarquica, ou seja, uma determinada palavra, peso e classificacao bem

definida. Este criterio facilitou a identificacao de quais momentos ocorreram uma reacao

de insatisfacao ou mesmo uma opiniao satisfatoria.

O grafico da Figura 57 apresenta quatro dados utilizados como base para analise:


Figura 57 – Comparativo de tempo de analise com dados de fala

• Tempo de Teste: Duracao dos testes realizados pelos participantes;

• Tempo Maximo: Tempo maximo estipulado como ideal para analise dos dados

• Somente Som: Tempo de analise utilizando somente dados de palavras pronunci-

adas;

• Som + Imagem: Tempo de analise utilizando dados de palavras pronunciadas

apoiados por dados de imagens faciais.

Com o grafico, e possıvel verificar que as duas abordagens de analise permitiram o

estudo dos dados em tempo inferior a 1,5 vezes o tempo do teste e consequentemente ao

tempo medio padrao apresentado por Nielsen (1993) que refere-se a 2 ou 3 vezes o tempo

do teste.

O tempo de analise utilizando os recursos de imagem e som apresentaram um tempo

medio maior e em 2 casos (WEC e PEM) os tempos de analise apresentaram um aumento

de 80% em relacao a analise somente com dados de voz, enquanto o WPG apresentou

um aumento de 50% no tempo de analise. Este aumento ocorreu devido a necessidade de

analisar, juntamente com a palavra e a imagem da tela, a imagem facial do participante

a fim de verificar se a mesma proporcionava alguma informacao relevante tal como o foco

da visao do participante, seu posicionamento e/ou se algo ou alguem chamou sua atencao

da pessoa.

Mesmo executando a analise completa (voz + imagem), todos os aplicativos ficaram

abaixo do tempo maximo estipulado e, embora bem proximo, abaixo do tempo do teste,


exceto pela analise do WPG no qual a analise com voz e imagem demorou mais tempo que

o teste em si, mas pode ser executada mais rapida que maximo estipulado para analise

dos dados nesta pesquisa.

3.4.2 Analise com dados de imagem

A analise dos dados utilizando somente os dados de imagens faciais, ao contrario da

analise com dados de voz, nao se mostrou satisfatorio. Tres maneiras diferentes de analise

foram realizadas a fim de verificar se, de alguma forma, os dados de imagens, de forma

isolada, poderia apoiar a analise reduzindo o tempo para identificacao de problemas de

usabilidade:

1: Na primeira forma foram utilizados somente os valores de similaridade processados

pelo ErgoSV em relacao a imagem padrao. Estes dados nao permitiram a reducao do

tempo de analise, pois o valor de similaridade nao representava um conceito satisfatorio

ou insatisfatorio. Esta situacao levou a necessidade de realizar uma analise de todas as

imagens do teste em sequencia, semelhante ao processo tradicional, em outras palavras,

olhava a imagem facial e efetuava uma analise subjetiva para saber se a imagem proporci-

onava alguma informacao semelhante e, caso necessario, olhava as imagens de tela. Nesta

analise foi possıvel perceber que uma analise da imagem facial demorava no mınimo 4

segundos e como foi necessario estudar todas as imagens de todos os testes o tempo total

de analise levou uma media de 4 vezes o tempo total do teste.

Considerando esta primeira analise ineficaz, foi realizada uma associacao do percen-

tual de similaridade com uma reacao especıfica. Esta analise foi feita seguindo conceitos

de expressoes apresentados por Castilho (2011). Entretanto nao foi utilizado um sistema

automatizado para apoiar a identificacao da expressao sendo realizada de forma tradici-

onal.

As expressoes foram classificadas de forma geral (considerando todos os testes) e por

teste. Porem, o baixo numero de expressoes faciais diferentes de expressoes neutras foi

extremamente baixo totalizando apenas 1,7% do total de imagens com faces reconhecidas.

Assim, na classificacao geral foi possıvel identificar que existiu uma variacao muito

grande dos valores para determinadas expressoes. Por exemplo, houve expressoes em

que os valores de similaridade variaram entre 45% e 99% de uma pessoa para outra ou

de uma expressao para outra. Quando classificados por teste ocorreram variacoes menos

significativas quando considerado somente 1 unico teste, porem se mantiveram as variacoes


quando comparados os valores para outros testes.

Por fim, nao foi possıvel identificar um valor padrao de similaridade para cada ex-

pressao devido a dois motivos: primeiro que os valores nao apresentaram um padrao

quando comparados aos demais testes e caso aplicado ao software nao apresentaria dados

seguros para analise e comprometeria seriamente a qualidade das informacoes. Foi possıvel

verificar um padrao de valores de similaridade dentro de um unico teste, mas para que

pudessem se tornar informacoes relevantes seria necessaria uma calibragem de teste por

teste antes de realizar o processamento destes dados, recurso este nao implementado no

escopo desta pesquisa. Devido a estes dois fatores a associacao de valores de similaridade

com expressoes faciais foi descartada.

A terceira forma de analise utilizada foi o destaque dos registros de imagens contendo

valor de similaridade inferior ao valor medio de similaridade de cada teste. Este recurso

foi disponibilizado como forma de agilizar os testes, ainda sim, nao foi considerado seguro

devido ao fato que os valores de similaridade nao apresentaram padroes que permitissem

identificar a satisfacao ou insatisfacao do usuario e por isso o simples uso destes parametros

pode comprometer os dados.

Portanto, a utilizacao dos dados de imagem de forma isolada para apoiar a analise

dos dados e a reducao do tempo de estudo do teste nao e recomendada devido ao fato que

os dados disponibilizados juntamente com a imagem (similaridade, data, hora e intervalo

da reacao) nao sao suficientes para auxiliar a analise dos dados, principalmente, por nao

representarem alguma reacao especıfica do participante e assim forcar uma analisar os

dados por completo aumentando. A Figura 58 apresenta uma comparacao do tempo de

analise dos dados utilizando somente recursos de imagem em relacao aos tempos de analise

com dados de som.

A seguir serao apresentadas as consideracoes finais a respeito dos resultados da pes-

quisa.

3.4.3 Consideracoes Finais dos Resultados

Os tempos dispensados para analise dos dados de voz e imagens registrados permi-

tiram constatar que a utilizacao do recurso de verbalizacao utilizando palavras chave foi

satisfatoria para a abordagem, principalmente por classificar os conceitos fazendo assim

que os dados se transformassem em indicadores de qualidade da interface. A uniao com

imagens faciais permitiu melhorar a analise com a reducao da area de estudo, pois per-


Figura 58 – Comparativo de tempo de analise com dados de fala e dados de imagem

mitiu identificar qual era o foco de visao do participante o que aumentaria a chance de

identificar possıveis problemas de usabilidade.

A analise utilizando somente dados de imagem nao foi considerada satisfatoria devido,

principalmente, a falta de dados classificadores que permitisse ao avaliador acessar de

forma mais rapida e clara a opiniao do participante e assim identificar em menor tempo

problemas de usabilidade.

A Tabela 18 apresenta os valores finais de tempo de analise dos dados a qual permitiu

maior eficiencia da abordagem quando utilizados dados de fala.


Tabe

la18

–T

empo

su

tili

zado

spa

rapa

ram

etro

spa

raan

alis

e

Soft

ware

Tem

po

de

Test

e(M

in.)

Tem

po

Maxim

ode

An

ali

seE

spera

do

(Min

)

Tem

po

de

Anali

seco

mdados

de

Voz

Tem

po

de

Analise

com

Voz

+Im

agem

Tem

po

de

Analise

com

Dad

os

de

Ima-

gem

WE

C71

107

2585

278

WP

G25

3820

3092

PE

M57

8630

8521

0


Com base nos resultados apresentados, o sistema ErgoSV sera adaptado para per-

mitir a melhor utilizacao dos recursos considerados satisfatorios. Estas alteracoes serao

realizadas com objetivo de distribuir a aplicacao para empresas, instituicoes de ensino e

pesquisa que se interessem pelo seu uso.

147

Capıtulo 4

Conclusao

Este capıtulo apresenta a conclusao desta pesquisa que teve como objetivo o desenvol-

vimento de um ambiente de avaliacao da usabilidade utilizando recursos de processamento

de imagens e reconhecimento de fala. Como secoes deste capıtulo sao apresentadas as con-

tribuicoes, limitacoes, trabalhos futuros e publicacoes.

4.1 Contribuicoes

Com base nos objetivos apresentados, esta pesquisa proporcionou as seguintes con-

tribuıcoes:

• Desenvolvimento de um ambiente para avaliacao da usabilidade: a abor-

dagem desenvolvida ofereceu recursos para aquisicao de dados sobre a opiniao por

participante utilizando eventos (palavras pronunciadas e imagens faciais) de forma

rapida, pratica e com pouca intrusividade na atividade de execucao do software. A

utilizacao de eventos para gerar insumos para apoiar a identificacao de interfaces

com problemas de usabilidade e/ou interfaces agradaveis foi considerada totalmente

satisfatoria devido ao fato que reduziu o tempo para identificacao e analise das

interfaces. Os experimentos mostraram que o evento de prouncia de palavras (ver-

balizacao) utilizando palavras chave se mostrou muito eficiente, pois o significado de

cada palavra foi o principal dado utilizado para auxilio na identificacao de problemas

na interface. A imagens faciais se mostram eficazes quando utilizadas para apoiar

a analise com uso de palavras ja que auxiliaram na identificacao do foco de visao

do participante no momento de um evento e assim qual era o recurso em utilizacao

no momento. Por fim, foi possıvel atingir o objetivo de reduzir o tempo de analise

dos dados de um teste de usabilidade para um tempo inferior a 1,5 vezes o tempo

do teste, tempo este significativamente menor que o tempo ja utilizado na teoria de

Nielsen (1993) de 3 a 10 vezes o tempo do teste.

• Necessidade de mais dados para analise de imagens: nesta pesquisa de mes-

trado foi possıvel identificar que a simples aquisicao de imagens faciais associadas

4.2 Limitacoes 148

ao valor de similiridade com outras imagens nao foi suficiente para auxiliar na iden-

tificacao de problemas de usabilidade devido ao fato que as imagens nao se posici-

onaram como classificadores de satisfacao ou insatisfacao do participante. Para tal

contribuıcao se faz necessaria a inclusao de algum tipo de classificador tal como a

identificacao de qual expressao facial foi feita pelo participante.

• Software de monitoramento dos testes: um software batizado de ErgoSV

foi desenvolvimento e utilizado na validacao da abordagem. O aplicativo pode ser

utilizado para monitoramento do teste de usabilidade e para execucao de atividades

como aquisicao, processamento e geracao de insumos para apoiar a analise dos dados.

4.2 Limitacoes

O ambiente de teste de usabilidade apresentou as seguintes limitacoes:

• As palavras chave utilizadas dependem da configuracao do dicionario fonetico e a

forma da realizacao desta configuracao pode ocasionar o nao reconhecimento de

algumas palavras em determinados sotaques;

• Foi possıvel notar que os participantes realizaram os testes de forma tensa, pro-

vavelmente devido ao fato de estarem participando de um experimento. Embora

avisados que nao eram alvos do teste, os mesmo permaneceram em sua maioria,

com semblante neutro. O semblante neutro dificultou o calculo de similaridade e a

relacao dos valores de similaridade com uma expressao faciais especıfica;

• A instalacao do recurso computacional para utilizacao do ambiente de avaliacao de-

pende de configuracoes especıficas do computador ou da utilizacao de uma maquina

virtual para rodar uma versao pre configurada do Microsoft Windows.

4.3 Trabalhos Futuros

Os seguinte trabalhos futuros sao propostos para esta pesquisa:

• Inclusao de algoritmos para reconhecimento de expressoes faciais permitindo assim

identificar a opiniao do participante por meio do reconhecimento de suas expressoes.

Logo, este recurso podera atribuir uma contribuicao significativa a analise de dados

de imagens de forma isolada;

4.4 Publicacoes 149

• Inclusao de tecnicas de mineracao de fala e processamento de linguagem natural

com objetivo de disponibilizar um recurso para verbalizacao completa e sem res-

tricoes a palavras chave pre-determinadas. Importante ressaltar que este recurso

nao eliminaria a verbalizacao por palavras chave;

• Para utilizacao de palavras chave pretende-se o desenvolvimento de um ambiente

visual que permita a escolha de palavras chave a serem utilizadas, suas definicoes,

pesos e seu dicionario fonetico;

• Desenvolvimento de um ambiente comercial/educacional para divulgacao da abor-

dagem e do software para utilizacao comercial e para estudo permitindo a interessa-

dos efetuar a aquisicao da ferramenta, manual de instrucao, compartilhar opinioes,

sugestoes, crıticas e melhorias;

• Desenvolvimento de calculo que considere as caracterısticas do participante e o pu-

blico alvo do teste para calcular a taxas de usabilidade do software;

• Teste do ambiente em outras categorias de sistemas tais como games, sistemas para

pessoas com problemas de acessibilidade e sistemas ecologicos a fim de analisar o

comportamento do ambiente com sistemas de caracterısticas especıficas;

• Suporte ao recurso de Eye Tracking com objetivo de enriquecer os dados permitindo

identificar para quais pontos da tela o participante olhou.

4.4 Publicacoes

Esta pesquisa permitiu a criacao de 4 artigos aceitos e publicados em eventos Qualis.

As publicacoes foram:

• Tıtulo: The Proposition of ErgoSV: An Environment to Support Usability Evalu-

ation Using Image Processing and Speech Recognition System publicado no IADIS

Interfaces and Human Computer Interaction 2012 (IHCI 2012) Conference. Este

artigo apresentava a proposta da abordagem desenvolvida ainda sem resultados par-

ciais ou totais, porem deixando claro o objetivo da pesquisa;

• Tıtulo: Analyzing face and speech recognition to create automatic information for

usability evaluation publicado no Human Computer Interaction International, 2013,

Las Vegas. Este artigo apresentava resultados parciais da pesquisa obtidos por meio

4.4 Publicacoes 150

dos primeiros experimentos realizados. O mesmo ja apresentava um panorama de

qual seria o comportamento e os resultados da abordagem;

• Tıtulo: The Proposition of a Framework to Support the Design of Ecological Systems

for the Web artigo publicado no Human Computer Interaction International, 2013,

Las Vegas no qual era parte da proposta de um framewor de desenvolvimento de

sistemas voltados para area ecologica. A abordagem e apresentada como recursos

para teste dos sistemas relacionados ao projeto;

• Tıtulo: A Teaching Strategy for Usability Evaluation to Human-Computer Interac-

tion Courses aceito e publicado no IV WEIHC - Workshop de Ensino de Interacao

Humano Computador, artigo no qual a ferramenta e destacada como parte de uma

estrategia de ensino de avaliacao da usabilidade. O ambiente e utilizado para apoiar

a aprendizagem de testes de usabilidade submetendo os alunos a situacoes reais de

projeto, realizacao e analise dos dados dos testes.

151

Referencias

AGUS, T. et al. Characteristics of human voice processing. In: Circuits and Systems(ISCAS), Proceedings of 2010 IEEE International Symposium on. [S.l.: s.n.], 2010. p.509 –512.

BALAGTAS-FERNANDEZ, F.; HUSSMANN, H. A methodology and framework tosimplify usability analysis of mobile applications. Proceedings of 2009 IEEE/ACMInternational Conference on Automated Software Engineering, 2009.

BERGAMASSO, L. C. C. Recuperacao de Imagens por conteudo utilizando Logica Fuzzy.Um estudo de caso sobre imagens faciais. [S.l.], 2010.

BOREN, M. T.; RAMEY, J. Thinking aloud: Reconciling theory and practice. IEEETransactions on Professional Communication, p. 261–278, 2000.

CAMACHO, C. O. de A. Desenvolvimento em Camadas com C Sharp .NET. [S.l.]:Visual Books, 2008. 202 p.

CASTILHO, W. Mentira: um rosto de varias faces. [S.l.]: Matrix, 2011.

CERRATO, M. V. Utilizacao do ErgoParser em arquivos de log para determinacao demetricas de usabilidade de websites. Dissertacao (Mestrado) — Escola de Artes, Cienciase Humanidades da Universidade de Sao Paulo, Sao Paulo, SP, 2012.

CHENG, S. The research framework of eye-tracking based mobile device usabilityevaluation. Proceedings of PETMEI 2011, 2011.

COOKE, L. Assessing concurrent think-aloud protocol as a usability test method: Atechnical communication approach. IEE Trans. Prof. Commun, p. 202–215, 2010.

CYBIS, W.; BETION, A. H.; FAUST, R. Ergonomia e Usabilidade - Conhecimentos,Metodos e Tecnicas. [S.l.]: Novatec Editora, 2010.

CYBIS, W. d. A.; SCAPIN, D.; MORANDINI, M. Ergomanager: um sistemagerenciador de interfaces com o usuario para sites web transacionais. In: Proceedingsof the 2005 Latin American conference on Human-computer interaction. New York,NY, USA: ACM, 2005. (CLIHC ’05), p. 256–267. ISBN 1-59593-224-0. Disponıvel em:<http://doi.acm.org/10.1145/1111360.1111386>.

DıAZ, P.; SICILIA, M. Angel; AEDO, I. Evaluation of hypermedia educational systems:Criteria and imperfect measures. Proceedings of the International Conference onComputers in Education (ICCE 02), 2002.

DEFFNER, G. Verbal protocols as a reserach tool in human factors. Proc. HumanFactors Soc. 34th Annual Meeting, p. 1263–1264, 1990.

Referencias 152

FERNaNDEZ, N. C. et al. An empirical approach for evaluating the usability ofmodel-driven tools. ScienceofComputerProgramming, 2012.

GOLDBERG, J. H.; WICHANSKY, A. M. Eye tracking in usability evaluation: Apractitioner´s guide. The Mind´s Eye: Cognitive and Applied Aspects of Eye MovementResearch, 2003.

GONZALEZ, R. C.; WOODS, R. E. Processamento de Imagens Digitais. [S.l.]: EdgardBlucher Ltda, 2000.

GUEDES, G. T. A. UML 2: uma abordagem pratica. [S.l.]: Novatec Editora, 2009.

HAAK, M. J. van den; JONG, M. D. T. de; SCHELLENS, P. J. Retrospective vs.concurrent think alou protocols: testing the usability of an online library catalogue.Behavior & Information Tecnology, p. 339–351, 2003.

HASAN, L.; MORRIS, A.; PROBETS, S. E-commerce websites for developing countries:a usability evaluation framework. Online Information Review, v. 37, n. 2, p. 231–251,2013.

HEO, J. et al. A framework for evaluating the usability of mobile phones based onmulti-level, hierarchical model of usability factors. Interacting with Computers, 2009.

HERTZUM, M.; HANSEN, K. D.; ANDERSEN, H. H. Scrutinising usability evaluation:does thinking aloud affect behaviour and mental workload? Behavior & InformationTecnology, p. 165–181, 2009.

HOLLINGSED, T.; NOVICK, D. G. Usability inspection methods after 15 years ofresearch and practice. SIGDOC´07, 2007.

ISO 25010: Software engineering. Software product Quality Requirements and Evaluation(SQuaRE). Software and quality in use models.

JACOB, K. S. K. R. J. Eye tracking in human-computer interaction and usabilityresearch: Ready to deliver the promises. The Mind’s Eye, 2003.

JIN, B. S. et al. Development of a usability evaluation framework with qualityfunction deployment: From customer sensibility to product design. Human Factors andErgonomics in Manufacturing, p. 177–194, 2009.

KHAN, M. et al. Empirical validation of usability evaluation framework for hapticsystems. Proceedings of International Conference on Computer & Information Science(ICCIS), 2012.

KIM, H. J.; CHOI, J. K.; JI, Y. Usability evaluation framework for ubiquitous computingdevice. Proceedings of Third 2008 International Conference on Convergence and HybridInformation Technology, p. 164–170, 2008.

LETTNER, F.; HOLZMANN, C. Usability evaluation framework automated interfaceanalysis for android applicat ions. EUROCAS T 2011, Part I I, LNCS 6928, p. 560 –567, 2011.

Referencias 153

LETTNER, F.; HOLZMANN, C. Automated and unsupervised user interaction loggingas basis for usability evaluation of mobile applications. Proceedings of MoMM2012,,2012.

LIMA, J. P. S. de M. et al. Reconhecimento de padroes em tempo real utilizando abiblioteca opencv. Tecnicas e Ferramentas de Processamento de Imagens Digitais eAplicacoes em Realidade Virtual e Misturada, p. 47–89, 2008.

MCDONALD, S.; EDWARDS, H. M.; ZHAO, T. Exploring think-alouds in usabilitytesting: An international survay. IEEE Transactions on Professional Communication,2011.

MORANDINI, M. Ergo-Monitor: Monitoramento da Usabilidade em Ambiente Web porMeio de Analise de Arquivos de Log. Tese (Doutorado) — Universidade Federal de SantaCatarina, 2002.

MORANDINI, M. et al. Project and development of ergocoin version 2.0. 2011.

NETO, N.; PATRICK, C.; KLAUTAU, A. Free tools and resources for brazilianportuguese speech recognition. The Brazilian Computer Society, 2010.

NETO, N. et al. Um reconhecedor de voz livre para portugues brasileiro. August 2010.

NIELSEN, J. Usability Engeneering. [S.l.]: Morgan Kaufmann, 1993.

NUNES, F. de Lourdes dos S. Introducao ao processamento de imagens medicaspara auxılio a diagnostico - uma visao pratica. Livro das Jornadas de Atualizacao emInformatica, p. 73 – 126, 2006.

NUNES, F. de Lourdes dos S. Processamento Grafico para aplicacoes em saude. Tecnicas,requisitos, ferramentas, desafios e oportunidades. Tese (Doutorado) — Universidade deSao Paulo, Agosto 2011. Tese de Livre Docencia.

OLIVEIRA, E. de; JAQUES, P. A. Inferindo as emocoes do usuario pela face atravesde um sistema psicologico de codificacao facial. IHC2008 - VIII Simposio Sobre FatoresHumanos em Sistemas, 2008.

PREECE, J.; BORGES, Y.; SHARP, H. Design de Interacao, Alem da interacao homemcomputador. [S.l.]: Bookman, 2005.

PRESSMAN, R. Engenharia de Software - uma abordagem profissional. [S.l.]: Bookman,2011.

RAMLI, R.; ZAMAN, H. B. Designing usability evaluation methodology framework ofaugmented reality basic reading courseware (ar baca sindd) for down syndrome learner.Proceedings of 2011 International Conference on Electrical Engineering and Informatics,2011.

RAMLI, R. bt M.; JAAFAR, A. bt. e-rue: A cheap possible solution for usabilityevaluation. 2008.

ROCHA, H. V. da; BARANAUSKAS, M. C. C. Design e Avaliacao de InterfacesHumano-Computador. [S.l.]: NIED/UNICAMP, 2003.

Referencias 154

SCAPIN, D.; BASTIEN, C. Ergonomic criteria for evaluating the ergonomic quality ofinteractive systems. Behaviour and Information Technology, v. 16, 1997.

SHARIAH, M. A. M. A. et al. Human computer interaction using isolated-words speechrecognition technology. International Conference on Intelligent and Advanced Systems2007, 2007.

SILVA, P. et al. An open-source speech recognizer for brazilian portuguese with awindows programming interface. The International Conference on ComputationalProcessing of Portuguese (PROPOR), 2010.

SOUZA, L. B. L. de; SANTOS, J. C. de S.; GULIATO, D. Um extrator de caracterIsticasbaseado em complexidade aplicado A classificaCAo tumores de mama. XII Seminario deIniciacao Cientıfica da Universidade Federal de Uberlandia, 2008.

TAMIR, D. E.; MEMBER; MUELLER, C. J. Pinpointing usability issues u sing aneffort based framework. IEEE, p. 931–938, 2010.

VARGAS, A.; WEFFERS, H.; ROCHA, H. V. da. A method for remote andsemi-automatic usability evaluation of web-based applications through users behavioranalisys. 2010.

WRIGHT, R.; CONVERSE, S. Method bias and concurrent verbal protocol in softwareusability testing. Proceedings of the human factors society 36th annual meeting, p.1220–1224, 1992.

um ambiente de avalia˘c~ao da usabilidade de software ... · folha de aprova˘c~ao disserta˘c~ao...

Documents