universidade federal de santa catarina … · aos meus colegas de curso gabriel e danilo pelo...

UNIVERSIDADE FEDERAL DE SANTA CATARINA

DEPARTAMENTO DE INFORMÁTICA E ESTATÍSTICA

ARIANE TALITA WITT

APLICAÇÃO DA TÉCNICA ESTATÍSTICA TEORIA DA RESPOSTA AO ITEM PARA

AVALIAR UM CONJUNTO DE HEURÍSTICAS DE USABILIDADE PARA

DISPOSITIVOS CELULARES TOUCHSCREEN.

FLORIANÓPOLIS

2013

Ariane Talita Witt

APLICAÇÃO DA TÉCNICA ESTATÍSTICA ITEM RESPONSE THEORY PARA



Trabalho de Conclusão de Curso apresentado ao Departamento de Informática e Estatística da Universidade Federal de Santa Catarina para a obtenção do Grau de Bacharel em Sistemas de Informação. Orientadora:Prof.Dr.rer.nat. Christiane Gresse von Wangenheim, PMP Coorientador : Prof. Dr. Adriano Ferreti Borgatto

FLORIANÓPOLIS

2013

Ariane Talita Witt

APLICAÇÃO DA TÉCNICA ESTATÍSTICA ITEM RESPONSE THEORY PARA



Trabalho de Conclusão de Curso apresentado ao Departamento de Informática e Estatística da Universidade Federal de Santa Catarina para a obtenção do Grau de Bacharel em Sistemas de Informação.

Florianópolis, 10 de junho de 2013

_____________________________________________ Profa. Christiane Gresse von Wangenheim, INE/UFSC

Professora Orientadora

_____________________________________________ Prof. Adriano Ferreti Borgatto INE/UFSC

Professor Coorientador

_____________________________________________ Prof. Paulo José Ogliari INE/UFSC

Membro da Banca Examinadora

AGRADECIMENTOS

À professora e orientadora Christiane Gresse von Wangenheim por sua

dedicação, por estar sempre presente e por seu apoio.

Ao professor coorientador Adriano Ferreti Borgatto, pelo apoio e sua paciência em

compartilhar seus conhecimentos sobre a Teoria da Resposta ao Item.

Ao professor Paulo José Ogliari, por ser um exemplo como profissional, por sua

contribuição para a melhoria desse trabalho e por ter aceitado participar da banca

examinadora.

Aos membros do Grupo de Qualidade de Software, Juliane, Thaisa, Caroline e

Laís, por todo auxílio e ajuda que permitiram a realização desse trabalho.

Aos professores do Curso de Sistemas de Informação pela formação profissional

proporcionada.

Aos meus colegas de curso Gabriel e Danilo pelo companheirismo e amizade

durante toda a trajetória acadêmica.

Aos meus amigos, por todo carinho.

Aos meus pais, pelo apoio incondicional, amor, compreensão e seus esforços em

garantir minha qualificação profissional.

RESUMO

WITT, Ariane Talita. Aplicação da Técnica Estatística Teoria da Resposta ao Item para avaliar um conjunto de Heurísticas de Usabilidade para dispositivos celulares touchscreen.164f. Trabalho de Conclusão de Curso (Bacharel em Sistemas de Informação) – Departamento de Informática e Estatística. Universidade Federal de Santa Catarina, Florianópolis, 2013.

O cenário atual é caracterizado pela presença de modernos aparelhos de celulares e o acelerado crescimento do segmento de telefonia móvel no mundo. Essas mudanças apresentam novas formas de interação, destacam-se nesse cenário os touchscreen phones, celulares que possuem a tela sensível ao toque. Os touchscreen phones apresentam novas formas de interação como voz, gestos e sensores. Além das diferenças de interação o ambiente de uso desses dispositivos também é diferenciado, por esse motivo questões de design de interface e usabilidade desses dispositivos também precisam ser analisadas. Na engenharia de usabilidade existem hoje vários conjuntos de heurísticas de usabilidade voltados, principalmente, para sistemas desktop. Mas devido as diferenças apresentadas por esses dispositivos em relação a sistemas desktop faz-se necessário analisar questões de design de interface e usabilidade desses dispositivos. É importante que esses dispositivos e seus aplicativos sejam eficientes e eficazes durante o uso e que ofereçam uma experiência agradável ao usuário. Assim estão sendo desenvolvidos no GQS/INCoD/UFSC um conjunto de heurísticas de usabilidade e um checklist para avaliar a usabilidade de sistemas em dispositivos touchscreen phones. Nesse contexto o presente trabalho tem como objetivo avaliar esse conjunto de heurísticas de usabilidade para dispositivos de celulares touchscreen realizando um estudo empírico onde é concretizada uma série de avaliações heurísticas utilizando o checklist para avaliação de aplicativos para dispositivos celulares touchscreen. A análise dos dados coletados aplicando a Teoria da Resposta ao Item permite identificar a relevância de cada item que compõe o checklist. Como resultado as questões de usabilidade que até então eram teóricas são discutidas sob o ponto de vista matemático da TRI. A partir da análise realizada foi possível identificar estaticamente quais itens que compõem o checklist realmente medem o mesmo traço latente. Foram eliminados do checklist 44 itens que apresentaram problemas. Restando, assim, 48 itens para compor o checklist e para construir a escala de medida do grau de usabilidade. Com base na análise, pode-se concluir que o checklist é ideal para medir aplicativos com baixa usabilidade. Palavras chave: Usabilidade. Touchscreen phones. Heurísticas de Usabilidade. Teoria da resposta ao Item.

LISTA DE FIGURAS

Figura 1 - Uso e Contexto da Interação Humano-Computador ..................................... 19

Figura 2 – Estrutura de usabilidade .............................................................................. 20

Figura 3 – Ciclo de vida do modelo ISO/IEC 13407. ..................................................... 21

Figura 4 – Freqüência de recorrência de heurísticas tradicionais da Nielsen (1994) nos

artigos analisados.............................................................................................................27

Figura 5 – Lista de verificação aplicada a celulares touchscreen. ................................. 30

Figura 6 – Modelos de touchscreen phones. ................................................................ 31

Figura 7 – Funcionamento do sistema resistivo. ........................................................... 32

Figura 8 – Funcionamento do sistema capacitivo. ........................................................ 32

Figura 9 – Satisfação dos usuários em relação aos seus smartphones. ....................... 34

Figura 10 – Exemplo de web site móvel........................................................................ 36

Figura 11 – Exemplo de aplicativo. ............................................................................... 37

Figura 12 – Etapas do processo de avaliação............................................................... 43

Figura 13 – Posicionamento dos itens e distribuição dos valores de usabilidade dos

247 aplicativos. ............................................................................................................. 58

Figura 14 – Curva de Informação do Instrumento de avaliação heurística de aplicativos

para touchscreen phones ............................................................................................. 59

Figura 15 – Checklist proposto para avaliação de usabilidade dos dispositivos

touchscreen phones ..................................................................................................... 75

LISTA DE TABELAS

Tabela 1 – Descrição, vantagens e desvantagens das técnicas de avaliação de

usabilidade ................................................................................................................... 23

Tabela 2 – Conjunto de Heurísticas para dispositivos móveis ....................................... 27

Tabela 3 – Principais sistemas operacionais ................................................................ 33

Tabela 4 - Principais fabricantes de smartphones ......................................................... 33

Tabela 5 – Comparativo entre modelos touchscreen phones ........................................ 35

Tabela 6 – Strings de buscas nas bases de dados ....................................................... 39

Tabela 7 – Dados extraídos sobre validação do conjunto de heurísticas/checklist ........ 40

Tabela 8 – Aplicativos selecionados para a avaliação .................................................. 44

Tabela 9 – Especificações do Samsung Galaxy Ace .................................................... 47

Tabela 10 – Especificações do Samsung Galaxy YGT-S5360B ................................... 47

Tabela 11 – Especificações do Samsung GT-I5500B ................................................... 47

Tabela 12 – Especificações do HTC Magic ................................................................... 48

Tabela 13 – Especificações do iPhone 4S .................................................................... 48

Tabela 14 – Especificações do Samsung Galaxy Ace Duos ......................................... 48

Tabela 15 – Especificações do Motorola XT390 ........................................................... 48

Tabela 16 – Itens modificados após avaliação empírica do checklist ............................ 50

Tabela 17 – Itens inclusos no checklist após avaliação empírica .................................. 51

Tabela 18 – Itens retirados após avaliação empírica do checklist ................................ .51

Tabela 19 – Escala de respostas do cheklist ............................................ .....................53

Tabela 20 – Itens eliminados referentes a heurística Visibilidade e Status do Sistema .60

Tabela 21 – Itens eliminados referentes a heurística Controle e Liberdade do Usuário. 60

Tabela 22 – Itens eliminados referentes a heurística Consistência e Padrões .............. 61

Tabela 23 – Itens eliminados referentes a heurística Reconhecimento em vez de

Lembrança .................................................................................................................... 62

Tabela 24 – Itens eliminados referentes a heurística Flexibilidade e Eficiência de Uso 62

Tabela 25 – Itens eliminados referentes a heurística Pouca interação homem/

dispositivo ..................................................................................................................... 64

Tabela 26 – Itens eliminados referentes a heurística Interação Física e Ergonomia ..... 65

Tabela 27 – Itens eliminados referentes a heurística Legibilidade e Layout .................. 66

Tabela 28 – Itens eliminados referentes as heurísticas Ajuda e Documentação,

Prevenção de Erros e Ajuda, diagnóstico e recuperação de erros ................................ 67

Tabela 29 – Escala de Medida do Grau de Usabilidade ................................................ 70

LISTA DE ABREVIATURA E SIGLAS

ANATEL – Agência Nacional de Telecomunicações

CPU - Central Processing Unit RAM - Random-Access Memory

CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior GQS – Grupo de Qualidade de Software

INCoD - Instituto Nacional de Convergência Digital UFSC – Universidade Federal de Santa Catarina TRI – Teoria da Resposta ao Item

IHC - Interação humano-computador

http://www.gqs.ufsc.br/

SUMÁRIO

1 INTRODUÇÃO ........................................................................................................ 10

1.1 Problema ............................................................................................................ 12

1.2 Objetivos ............................................................................................................... 13

1.2.1 Objetivo Geral .................................................................................................... 13

1.2.2 Objetivos Específicos ......................................................................................... 14

1.3 Limites .................................................................................................................. 14

1.4 Método de Pesquisa ............................................................................................. 14

1.4.1 Metodologia ....................................................................................................... 16

1.5 Estrutura do Trabalho ........................................................................................... 17

2 FUNDAMENTAÇÃO TEÓRICA ............................................................................... 18

2.1 Usabilidade ........................................................................................................... 18

2.1.1 Interação Humano-Computador ......................................................................... 18

2.1.2 Engenharia de Usabilidade ................................................................................ 21

2.1.3 Heurísticas de Usabilidade ................................................................................ 23

2.1.3.1 Heurísticas de Usabilidade para dispositivos móveis touchscreen phones.......25

2.1.3.2 Avaliação Heurística............................................................................................28

2.1.3.2.1Checklist para avaliação heurística de aplicativos em touchscreen phones....29

2.4 Caracterização do dispositivo touchscreen phone ................................................ 30

2.4.1 Métodos de touchscreen........................................................................................31

2.4.2 Plataformas/sistemas operacionais........................................................................32

2.4.3 Caracterização dos dispositivos.............................................................................34

2.4.4 Tipos de Aplicações móveis...................................................................................35

3 ESTADO DA ARTE ................................................................................................. 38

3.1 Definição da revisão da literatura .......................................................................... 38

3.2 Validação do conjunto de heurísticas/checklist ..................................................... 40

4 AVALIAÇÃO DAS HEURÍSTICAS/CHECKLIST DE USABILIDADE PARA

APLICATIVOS EM CELULARES TOUCHSCREEN ................................................... 43

4.1 Definição da Avaliação ......................................................................................... 43

4.2 Execução da Avaliação ......................................................................................... 46

4.2.1 Coleta de Dados.....................................................................................................46

4.2.2 Equipamentos........................................................................................................47

4.3 Análise dos Dados ................................................................................................49

4.3.1 Análise Empírica do checklist.................................................................................49

4.3.2 Análise Estatística do checklist utilizando a Teoria da Resposta ao Item............52

4.3.2.1 Resultados..........................................................................................................56

4.3.2.1.1 Itens eliminados................................................................................................59

4.3.2.1.2 Escala de Medida do Grau de Usabilidade......................................................69

4.3.2.1.3 Checklist proposto............................................................................................73

5 DISCUSSÃO ........................................................................................................... 76

5.1 Ameaças à validade .............................................................................................. 77

6 CONCLUSÃO .......................................................................................................... 79

REFERÊNCIAS .......................................................................................................... 81

APÊNDICE A - Checklist versão 1.0 ........................................................................ 86

APÊNDICE B - Checklist versão 2.0 ........................................................................ 90

APÊNDICE C – Aplicativos Avaliados ..................................................................... 94

APÊNDICE D – Formulário utilizado para registrar as avaliações ...................... 110

APÊNDICE E - Dados coletados na realização das avaliações ........................... 111

APÊNDICE F – Parâmetros dos itens remanescentes no modelo dicotômico ... 133

APÊNDICE G – Notas atribuídas aos aplicativos ................................................. 134

APÊNDICE H – Tabelas de frequência de respostas ............................................ 137

APÊNDICE I – Escala de Medida de Grau de Usabilidade .................................... 141

APÊNDICE J – Artigo .............................................................................................. 143

10

1 INTRODUÇÃO

A evolução dos telefones celulares nas últimas décadas é expressiva.

Os aparelhos deixaram de ser apenas um dispositivo de telefonia móvel e

passaram a receber muitas outras funcionalidades, como jogos, câmeras

fotográficas e acesso à internet (LANDIM, 2011). Na década de 80 utilizar um

celular era uma experiência pouco prática, muitas vezes o celular demandava a

utilização de uma pasta auxiliar ou, muitas vezes, necessitava de um carro

para que pudesse ser utilizado. O cenário atual é caracterizado por modernos

aparelhos celulares que são cada vez menores e com mais funções e recursos

disponíveis.

As vendas mundiais de telefones celulares totalizaram cerca de 426

milhões de unidades no primeiro trimestre de 2013, um ligeiro aumento de

0,7% em relação ao mesmo período do ano passado (GARTNER, 2013). As

vendas de smartphones no mundo totalizaram 210 milhões de unidades no

primeiro trimestre de 2013, até 42,9% de aumento em relação ao primeiro

trimestre de 2012 (GARTNER, 2013).

Segundo a ANATEL (2012) no final de 2012, o Brasil contava com 261,8

milhões de acessos do Serviço Móvel Pessoal (SMP), tendo registrado 19,5

milhões de novas habilitações. Com esse resultado, o país permaneceu em

sexto lugar no ranking mundial de acessos da telefonia móvel, atrás, apenas,

de China, Índia, Estados Unidos, Rússia e Indonésia. Essa evolução foi

causada, em grande parte, pelo uso cada vez maior de novas funcionalidades,

como, por exemplo, os terminais dedicados a conexões de dados.

Nesse contexto destacam-se os celulares smartphones. Smartphones

estão entre celulares e computadores, não possuem o hardware tão robusto

quanto um computador e nem tão simples quanto um celular. Os smartphones

possuem funcionalidades avançadas que podem ser ampliadas por meio de

aplicativos executados no seu sistema operacional. Os sistemas operacionais

utilizados nos smartphones permitem que novos aplicativos possam ser

desenvolvidos por qualquer pessoa que tiver interesse.

11

As vendas mundiais de smartphones estão aumentando

significativamente, no primeiro trimestre de 2013, os smartphones

representaram 49,3% das vendas de telefones celulares em todo o mundo.

Isso representa um aumento de 34,8% em relação ao primeiro trimestre de

2012, e 44% em relação ao quarto trimestre de 2012 (GARTNER, 2013).

Destacam-se nesse cenário os touchscreen phones, celulares que

possuem a tela sensível ao toque, por isso dispensam o uso de teclados, pode-

se tocar a tela e ela responderá como se o toque fosse nos objetos mostrados

nela. É uma tecnologia que integra não só sensores na tela, mas também

programas e interfaces específicas (ASSIS, 2009). A venda desses modelos de

dispositivos cresce com intensidade no mundo, a previsão de aumento de

unidades vendidas, é de 50% até 2014 (800.000.000 de unidades do total de

1,6 bilhões) (LEE, 2011).

Os touchscreen phones apresentam novas formas de interação como

voz, gestos, sensores e dados de localização (WASSERMAN, 2010). Além das

diferenças de interação o ambiente de uso desses dispositivos também é

diferenciado, os usuários deste tipo de dispositivo estão cercados por outros

estímulos, pois muitas vezes estão em movimento, andando na rua ou na

espera no ponto de ônibus buscando concluir rapidamente tarefas simples,

obter informações ou para se divertir, assistindo a vídeos ou jogando

(SALAZAR et al. 2012).

Avaliando essas diferenças apresentadas pelos dispositivos touchscreen

phones, questões de design de interface e usabilidade desses dispositivos

também precisam ser analisadas (SALAZAR et al. 2012), pois é muito

importante que as interfaces sejam eficientes e eficazes durante o uso e que

ofereçam uma experiência agradável ao usuário (PREECE, 2005), essa

característica deve estar presente também nos dispositivos touchscreen

phones e seus aplicativos.

Segundo Cybis et al. (2010) a usabilidade é a qualidade que caracteriza

o uso de um sistema interativo. Ela se refere à relação que se estabelece entre

usuário, tarefa, interface, equipamento e demais aspectos do ambiente no qual

o usuário utiliza o sistema. Uma forma para conceituar usabilidade seria

utilizando heurísticas de usabilidade (PREECE, 2005). Segundo Nielsen (1994)

12

heurísticas de usabilidade são definidas como um conjunto de regras gerais

que descrevem propriedades comuns em interfaces usáveis derivado do

conhecimento de aspectos psicológicos, computacionais e sociológicos dos

domínios do problema. Estas regras são utilizadas tanto para direcionar o

design de interface quanto na avaliação da usabilidade. Visibilidade do status,

prevenção de erros e compatibilidade com o mundo real são alguns exemplos

de heurísticas que podem ser utilizadas para o design de interfaces. Uma

avaliação rápida e de baixo custo que pode ser criada a partir das heurísticas

de usabilidade é o checklist. O checklist é criado com base num conjunto de

heurísticas e tem como objetivo ser usado para avaliar o grau de usabilidade e

localizar problemas de usabilidade presentes em interfaces.

Na engenharia de usabilidade existem hoje vários conjuntos de

heurísticas de usabilidade voltados, principalmente, para sistemas desktop, as

heurísticas de Nielsen citadas acima são um exemplo de heurísticas

desenvolvidas para sistemas desktop (NIELSEN, 1994). Devido a variedade de

sistemas existentes hoje (celulares, tablets, TV Digital, entre outros) algumas

customizações desse conjunto de heurísticas já foram criadas para sistemas

específicos, como por exemplo, para celulares (SALAZAR, et al. 2013)(GONG;

TARASEWICH, 2004)(BERTINI et al., 2006).

A qualidade das heurísticas e do checklist resultante representa um

grande impacto na qualidade da avaliação, pois indiretamente infere-se o grau

de usabilidade a partir de uma avalição teórica assumindo que as heurísticas

que foram transformadas em medidas na elaboração do checklist indicam o

grau de usabilidade. Checklists bem elaborados devem produzir resultados

mais uniformes e abrangentes, em termos de identificação de problemas de

usabilidade (TEZZA, 2009). Dessa forma é importante avaliar a validade,

confiabilidade dos itens do checklist, bem como verificar se os itens estão

medindo o traço latente, ou seja, a usabilidade.

1.1 Problema

Para que os resultados obtidos através da aplicação do checklist possam

ser validados pode-se fazer uso de escalas de medidas alicerçadas em

conceitos matemáticos e de usabilidade (TEZZA, 2009).

13

Elaborar um instrumento de avaliação envolve diferentes características

como, por exemplo, o número de itens, o tipo de item (fechado ou aberto), o

número de categorias de respostas dos itens fechados e o método de

aplicação. Não existe um padrão mais adequado para essas características e,

por esse motivo, diferentes tipos de instrumentos podem ser encontrados e

formulados, dependendo da situação (CÚRI, 2006).

Nesse contexto estão sendo desenvolvidos no GQS/INCoD/UFSC um

conjunto de heurísticas de usabilidade e um checklist para avaliar a usabilidade

de sistemas em dispositivos touchscreen phones (SALAZAR et al. 2012).

Atualmente os resultados da pesquisa são analisados por meio de um estudo

empírico inicial. São comparados resultados de testes de usabilidade com

resultados de avaliações heurísticas adotando o checklist desenvolvido. As

avaliações foram realizadas em um aplicativo para iPhone para acessar laudos

de exames médicos (SALAZAR et al., 2012).

Nesse sentido, tendo como intuito avaliar a validade do checklist

desenvolvido e também gerar um conjunto mínimo de itens que permitam inferir

o grau da usabilidade de um aplicativo com o mínimo de esforço necessário,

resume-se a hipótese de pesquisa a ser analisada no presente trabalho da

seguinte maneira: O conjunto proposto de heurísticas/checklist de usabilidade

para dispositivos celulares touchscreen mede o grau de usabilidade desses

aplicativos.

1.2 Objetivos

1.2.1 Objetivo Geral

Avaliar a qualidade de um conjunto de heurísticas de usabilidade para

dispositivos celulares touchscreen a partir da validação da qualidade dos itens

presentes no checklist utilizando a Teoria da Resposta ao Item.

14

1.2.2 Objetivos Específicos

Os objetivos específicos são:

Analisar a teoria da área de usabilidade em termos de heurísticas de

usabilidade focando dispositivos celulares touchscreen e utilizar a técnica

estatística Teoria da Resposta ao Item.

Analisar o estado da arte em relação a avaliações de heurísticas de usabilidade

em geral e para dispositivos celulares touchscreen.

Avaliar um conjunto de itens empregados para avaliar a usabilidade de

dispositivos celulares touchscreen.

1.3 Limites

O presente trabalho possui as seguintes limitações:

1. Será focado na avaliação de um conjunto de itens empregados para

avaliar a usabilidade de dispositivos celulares touchscreen.

2. A avaliação só será realizada em dispositivos celulares touchscreen

que possuam sistema operacional iOS ou Android.

3. A realização da avaliação adotará somente a técnica estatística da

Teoria da Resposta ao Item.

1.4 Método de Pesquisa

Em relação a natureza a pesquisa é do tipo aplicada, pois visa aplicar e

validar um checklist para avaliação de usabilidade em aplicativos para

dispositivos touchscreen phones. Para Barros e Lehfeld (2000), a pesquisa

aplicada tem como motivação a necessidade de produzir conhecimento para

aplicação de seus resultados com o objetivo de contribuir para fins práticos,

visando à solução mais ou menos imediata do problema encontrado na

realidade. Quanto a abordagem a pesquisa é do tipo quantitativa, pois está

relacionada à quantificação de dados obtidos por meio de pesquisa e baseada

em técnica estatística para o tratamento dos dados.

15

Neste trabalho é realizado o estudo da literatura sobre heurísticas de

usabilidade para dispositivos celulares touchscreen e o estudo da técnica

estatística Teoria da Resposta ao Item. Através dessa técnica estatística é

realizada uma avaliação sobre um conjunto de itens empregados para avaliar a

usabilidade de aplicativos para dispositivos touchscreen.

Segundo Andrade et al. (2000) a Teoria da Resposta ao Item é um

conjunto de modelos matemáticos que procuram representar a probabilidade

de um indivíduo dar certa resposta a um item como função dos parâmetros do

item e da habilidade (ou habilidades) do respondente. Essa relação é sempre

expressa de tal forma que quanto maior a habilidade, maior a probabilidade de

acerto no item.

A Teoria da Resposta ao Item procura medir habilidades, atitudes,

interesses, desempenho, maturidade, conhecimentos ou proficiência de

indivíduos ou sistemas por meio de um questionário e da construção de uma

escala na qual, o traço latente do respondente e a dificuldade de um item

podem ser comparados (TEZZA, 2009). A escolha do modelo de TRI mais

adequado depende, sobretudo do que se deseja medir e da natureza dos

dados disponíveis (TEZZA, 2009).

Segundo Andrade et al. (2000) atualmente, em várias áreas do

conhecimento, particularmente em avaliação educacional, vem crescendo o

interesse na aplicação de técnicas derivadas da TRI, que propõe modelos para

os traços latentes, ou seja, características do indivíduo que não podem ser

observadas diretamente. Esse tipo de variável deve ser inferida a partir da

observação de variáveis secundárias que estejam relacionadas a ela. O que

esta metodologia sugere são formas de representar a relação entre a

probabilidade de um indivíduo dar uma certa resposta a um item e seus traços

latentes, proficiências ou habilidades na área de conhecimento avaliada.

A Teria da Resposta ao Item é uma ferramenta apropriada, pois possibilita

a criação de escalas a partir de um checklist que faz uso de conceitos de

usabilidade (TEZZA, 2009).

No presente trabalho para a aplicação da TRI é utlilizado o Software

BILOG-MG 3 (MISLEVY & BOCK, 2003). Este assume que os respondentes

representam uma amostra aleatória de uma população de proficiências que

16

pode ser assumida como tendo ou uma distribuição normal padrão, ou ainda

uma distribuição discreta arbitrariamente especificada pelo usuário, ou ainda

uma distribuição empírica, a ser estimada conjuntamente com os parâmetros

dos itens (TEZZA, 2009).

1.4.1 Metodologia

A metodologia de desenvolvimento deste trabalho é dividida em quatro

etapas:

Etapa 1: É realizada uma análise de literatura na área de IHC em geral e

posteriormente enfatizando a área de heurísticas de usabilidade para

dispositivos celulares touchscreen. Também é estudada a técnica estatística da

Teoria da Resposta ao Item.

Atividade 1.1: Analisar a área de IHC/Engenharia de usabilidade/Heurísticas de

Usabilidade.

Atividade 1.2: Analisar os dispositivos celulares touchscreen.

Atividade 1.3: Estudar a técnica estatística da Teoria da Resposta ao Item.

Etapa 2: Analisar o estado da arte em relação à avaliação de heurísticas

de usabilidade existentes para o design de interface para celulares

touchscreen. Para esta etapa é utilizada a técnica de revisão sistemática de

literatura.

Atividade 2.1: Definir a revisão sistemática da literatura.

Atividade 2.2: Executar a revisão sistemática da literatura.

Atividade 2.3: Analisar e interpretar as informações extraídas.

Atividade 2.4: Documentar e discutir os resultados.

Etapa 3: Nessa etapa é definida como a avaliação é realizada utilizando

a teoria estatística de Resposta ao Item. É realizado, também, o levantamento

de aplicativos para a realização da avaliação do conjunto de itens. As

avaliações dos aplicativos para celulares touchscreen para plataformas iOS ou

Android são realizadas em duas iterações.

Atividade 3.1: Definir a avaliação do primeiro conjunto.

17

Atividade 3.2: Levantamento de aplicativos para a realização da avalição.

Atividade 3.3: Primeira iteração das avaliações.

Atividade 3.3.1: Executar a avaliação do primeiro conjunto de aplicativos

(cerca de 50 aplicativos).

Atividade 3.3.2: Analisar os resultados das avaliações do primeiro conjunto.

Atividade 3.3.3: Interpretar os resultados obtidos do primeiro conjunto.

Atividade 3.4: Segunda iteração das avaliações.

Atividade 3.4.1: Executar a avaliação do segundo conjunto de aplicativos

(cerca de 200 aplicativos).

Atividade 3.4.2: Analisar os resultados das avaliações do segundo

conjunto.

Atividade 3.4.3: Interpretar os resultados obtidos do segundo conjunto.

Atividade 3.5: Discutir os resultados.

1.5 Estrutura do Trabalho

Este trabalho está estruturo em seis capítulos. No capítulo dois a

fundamentação teórica é apresentada. São abordados os temas que apoiam a

pesquisa.

No capítulo três é realizada uma análise do estado atual em que se

encontram as pesquisas relacionadas ao tema do trabalho: validações de

conjuntos heurísticas/checklists desenvolvidos para a avaliação heurística de

dispositivos móveis touchscreen phones.

No capítulo quatro os resultados obtidos são apresentados e avaliados.

No capítulo cinco os resultados são discutidos.

No capítulo seis são apresentadas as conclusões e recomendações para

trabalhos futuros.

18

2 FUNDAMENTAÇÃO TEÓRICA

No presente capítulo são abordados os conceitos teóricos relacionados

ao trabalho. São contextualizados conceitos referentes às áreas de Engenharia

de Usabilidade, heurísticas de usabilidade, Interação Humano-Computador

(IHC) e dispositivos celulares touchscreen.

2.1 Usabilidade

2.1.1 Interação Humano-Computador

Quando surgiu o conceito de interface, ela era geralmente entendida

como o hardware e o software com o qual homem e computador podiam se

comunicar, porém a evolução do conceito levou à inclusão dos aspectos

cognitivos e emocionais do usuário durante a experiência com algum tipo de

interface (ROCHA; BARANAUSKAS, 2003). Tem sido cada vez mais presente

no desenvolvimento de produtos a ideia de que uma melhora no aspecto físico

da interface do usuário proporciona maiores chances de sucesso dos mesmos

(ROCHA; BARANAUSKAS, 2003). Para Carvalho (2003) o desenvolvimento

adequado das interfaces entre o ser humano e o computador é uma tarefa

complexa devido aos aspectos humano das relações. Por esse motivo o campo

de estudo que aborda a interação entre os seres humanos e as máquinas deve

ser considerado quando novos produtos são desenvolvidos. Interação humano-

computador (IHC) surgiu no início de 1980, inicialmente como uma área

especial da Ciência da Computação. IHC tem se expandido rapidamente e de

forma constante durante as três últimas décadas, atraindo profissionais de

muitas outras disciplinas e incorporando diversos conceitos e abordagens

(CARROL, 2009). Interação humano-computador é uma disciplina relacionada

ao projeto, avaliação e implementação de sistemas computacionais interativos

para uso humano e ao estudo dos principais fenômenos que os cercam (ACM,

2009).

Alguns temas que a área da interação humano-computador está

preocupada são: desempenho das tarefas realizadas por seres humanos e

máquinas conjuntamente, estrutura de comunicação entre máquina e humano;

19

capacidade de aprendizado de interfaces; algoritmos e programação da própria

interface; preocupações de engenharia que possam surgir na concepção e

construção de interfaces, o processo de especificação, projeto e

implementação de interfaces (ACM, 2009).

O contexto de uso e as circunstâncias específicas nas quais um

dispositivo é usado são diretamente ligados ao nível de usabilidade alcançada

pelo mesmo. O contexto de uso consiste de usuários, tarefas, equipamentos

(hardware, software e materiais), e do ambiente físico e social, pois todos

esses podem influenciar a usabilidade de um produto dentro de um sistema de

trabalho (ISO 9241-11). A Figura 1 ilustra o contexto de uso de IHC,

destacando ao lado esquerdo o lado humano e ao lado direto o lado

computador.

Figura 1: Uso e Contexto da Interação Humano-Computador

Fonte: ISO 9241-11 Requisitos Ergonômicos para Trabalho de Escritórios com Computadores Parte 11 – Orientações sobre Usabilidade.

Para Nielsen (2003), a usabilidade é um atributo qualitativo que

determina quão fácil é usar as interfaces do usuário. O termo usabilidade

também se refere aos métodos para melhorar a facilidade do uso durante o

processo de design.

http://www.google.com.br/url?sa=i&source=images&cd=&cad=rja&docid=DEMlRB6ZnXir5M&tbnid=UiroCdDgFUx-jM:&ved=0CAgQjRwwAA&url=http://pucgames.blogspot.com/2010/06/interacao-homem-computador.html&ei=ET0yUcbPOJHH0AGR-4DYBw&psig=AFQjCNFfR9hrfzYkwEuf7qCY2cpMttjJ-Q&ust=1362333330011393

20

É importante que se perceba que usabilidade não é uma propriedade

única e unidimensional de uma interface (NIELSEN, 1994).

A norma ISO 9241-11 define usabilidade como medida na qual um

produto pode ser usado por usuários específicos para alcançar objetivos

específicos com eficácia, eficiência e satisfação em um contexto específico de

uso. Eficácia se refere a quanto um produto é bom em fazer o que se espera

dele. Eficiência se refere a maneira como o produto auxilia aos usuários na

realização de suas tarefas (PREECE, 2005). Satisfação mede a extensão pela

qual os usuários estão livres de desconforto e suas atitudes em relação ao uso

do produto (ISO 9241-11).

De modo a especificar ou medir usabilidade é necessário identificar os

objetivos e decompor eficácia, eficiência e satisfação e os componentes do

contexto de uso em subcomponentes com atributos mensuráveis e verificáveis

(ISO 9241-11). Os componentes e o relacionamento entre eles estão ilustrados

na Figura 2.

Figura 2: Estrutura de usabilidade

Fonte: ISO 9241-11 Requisitos Ergonômicos para Trabalho de Escritórios com Computadores Parte 11 – Orientações sobre Usabilidade.

(Associação Brasileira de Normas Técnicas)

Segundo Tyldesley (1988) o processo através do qual a usabilidade é

especificada quantitativamente permitindo que se demonstre se um produto

final atinge ou não os níveis exigidos de usabilidade é chamado de Engenharia

da Usabilidade.

21

2.1.2 Engenharia de Usabilidade

A Engenharia de Usabilidade tem como objetivo apresentar técnicas e

métodos que possam ser empregados sistematicamente para garantir

qualidade em termos de usabilidade da interface de produtos (PÁDUA, 2011).

Para que um produto possa ser considerado de qualidade em termos de

usabilidade é necessário que o seu desenvolvimento realize uma série de

atividades que podem ser organizadas como um processo (PÁDUA, 2011).

Existem vários modelos de processo de Engenharia de Usabilidade,

entre eles o processo Centrado no Usuário (User-Centered Design) definido

pela Norma ISO/IEC 13407 (1999) é um dos modelos mais conhecidos.

O design centrado no usuário é uma abordagem interativa que tem como

objetivo o desenvolvimento de sistemas usáveis (ISO/IEC 13407, 1999).

O projeto centrado no usuário tem como princípio o foco no usuário

desde o inicio do desenvolvimento dos produtos, ele é composto por etapas de

análise, síntese e avaliação. A estratégia desse processo consiste em refazer

as etapas continuamente, identificando e refinando o conhecimento sobre o

contexto de uso do produto desenvolvido. As etapas são refeitas até que seja

alcançado um resultado aceitável. Pode-se afirmar que o emprego dessa

estratégia no desenvolvimento reduz o risco de falhas e garante que, a cada

ciclo, o sistema responda cada vez melhor às expectativas e necessidades dos

usuários em suas tarefas (HOBOLD; COELHO, 2011).

O processo centrado no usuário pode ser observado na Figura 3.

Figura 3: Ciclo de vida do modelo ISO/IEC 13407. (Associação Brasileira de Normas Técnicas)

22

A primeira etapa, a etapa de análise, é quando é preciso especificar e

analisar o contexto de uso, ainda nessa etapa são explicitadas as

características dos usuários, das tarefas que serão executadas e o ambiente

no qual o produto será utilizado. A partir da análise as próximas atividades

serão executadas.

A etapa de síntese vale-se das informações analisadas na etapa

anterior e juntamente com conhecimentos de interface humano-computador

são desenhadas soluções para o desenvolvimento do produto. Nessa etapa

podem ser criados protótipos que permitem explorar várias possibilidades de

soluções. Um protótipo é uma representação limitada de um design que

permite que os usuários interajam com ele e explorem a sua conveniência.

Todas as decisões de design são tomadas dentro do contexto dos usuários,

seu trabalho e seu ambiente (PREECE, 2005). O feedback do usuário é muito

importante, pois permite avaliar, modificar e melhorar os protótipos

A próxima etapa é a avalição da solução escolhida. Nessa etapa deve-

se avaliar se os requisitos e objetivos de usabilidade definidos foram

alcançados dentro do contexto de uso do sistema.

Para Preece (2005) até que um resultado satisfatório não seja

encontrado o ciclo dessas atividades deve continuar, terminando somente

quando a avaliação da solução escolhida esteja de acordo com os requisitos do

usuário.

As técnicas de avaliação de usabilidade podem ser classificadas em

três categorias: avaliações analíticas, avaliações heurísticas e inspeções por

listas de verificação (CYBIS, 2007).

Segundo Cybis (2007) as avaliações analíticas enfocam a estrutura da

tarefa com um dispositivo informatizado e se caracterizam por algum tipo de

decomposição da tarefa para verificar a complexidade ou estimar os tempos de

interações propostas. As avaliações heurísticas enfocam principalmente a

interface do sistema e se baseiam nos conhecimentos ergonômicos e na

experiência dos avaliadores que percorrem a interface ou seu projeto para

identificar aspectos que possam atrapalhar os usuários durante as interações

(CYBIS, 2007).

23

Os métodos de avaliação de usabilidade também podem ser divididos

entre os que são realizados sem a participação do usuário e os que são

realizados com a participação do usuário. Pode-se citar os seguintes métodos

como os que não utilizam a participação do usuário: avaliação heurística,

avaliações baseadas em modelos e inspeções cognitivas. Como método que

necessita da presença do usuário para sua realização pode-se citar os testes

de usabilidade (TEZZA, 2009, p 32).

As descrições, vantagens e desvantagens das técnicas citadas acima

podem ser observadas na Tabela 1.

Tabela 1: Descrição, vantagens e desvantagens das técnicas de avaliação de usabilidade Método de Avaliação

Técnica Descrição Vantagens Desvantagens

Analítico

Avaliação Heurística

Análise de conformidade do sistema diante de padrões de qualidade ou heurísticas definidas por especialista usando ckecklist.

- Rapidez de aplicação, - Baixo custo, - Abrangência e -Facilidade de identificação dos problemas

- Requer conhecimento e experiências do avaliador. - São necessários de três a cinco avaliadores para um bom resultado. - Subjetiva e pouco sistemática.

Avaliação baseada em modelos

Decomposição da tarefa para verificar a complexidade ou estimar os tempos das interações propostas

É bastante útil para comparar alternativas de interface

Não leva em consideração erros ou incidentes de interação

Inspeções Cognitivas (Cognitive Walkthrough)

Confronto entre as lógicas de operação do projetista e de um usuário novato. Modo formalizado de imaginar os pensamentos e as ações dos usuários leigos

- Pode ser aplicado já no início do ciclo de desenvolvimento. - Permite que analistas, designers e atuem como avaliadores. - Reconhece a forma com que o usuário executa tarefas e realiza a análise cuidadosa de tarefas.

- Não leva à identificação imediata do problema. - Requer muito tempo.

Empírico Teste de usabilidade

Simulação de situações de uso objetivando constatar problemas medir seus impactos e identificar suas causas.

- Abrangência - Verificação de situações reais de uso

- Alto custo - Requer tempo e pessoas - Pode não ser totalmente imparcial.

Fonte: adaptado de TEZZA (2009)

2.1.3 Heurísticas de Usabilidade

Segundo Nielsen (1994) heurísticas de usabilidade são definidas como

um conjunto de regras gerais que descrevem propriedades comuns em

interfaces usáveis derivado do conhecimento de aspectos psicológicos,

computacionais e sociológicos dos domínios do problema.

24

Existem vários conjuntos de heurísticas para projetos de interfaces.

Esses conjuntos de heurísticas foram desenvolvidos inicialmente para sistemas

desktop, entre eles pode-se destacar as dez heurísticas de usabilidade de

Jakob Nielsen (NIELSEN, 1994), os critérios ergonômicos de Scapin e Bastien

(1993) e as oito regras de ouro de Shneiderman (2004).

A seguir estão apresentadas as dez heurísticas de Jakob Nielsen. Esses

princípios podem ser usados para explicar muitos problemas encontrados em

projetos de interface (NIELSEN, 1994).

1. Visibilidade do status do sistema: o sistema deve sempre manter o usuário

informado.

2. Compatibilidade entre sistema e mundo real: o sistema deve falar a

linguagem do usuário ao invés de usar termos orientados ao sistema.

3. Controle e liberdade para o usuário: usuários precisam ter a possibilidade de

sair do estado não desejado e essa opção deve estar claramente marcada.

4. Consistência e padrões: usuários não devem ter que se perguntar se

palavras, situações, ou ações diferentes significam a mesma coisa.

5. Prevenção de erros: melhor do que boas mensagens de erro é um design,

que previne que problemas ocorram.

6. Reconhecimento no lugar da lembrança: Evite acionar a memória do usuário

o tempo inteiro, fazendo com que cada ação precise ser revista mentalmente

antes de ser executada.

7. Flexibilidade e eficiência de uso: permite que usuários possam customizar

ações frequentes.

8. Projeto minimalista e estético: cada unidade de informação extra compete

com informações relevantes e reduz a sua visibilidade relativa.

9. Auxiliar os usuários a reconhecer, diagnosticar e recuperar erros: fornecer

mensagens de erro claras instruindo de forma construtiva a resolução dos erros

no menor número de passos possíveis.

10. Ajuda e documentação: um bom conjunto de documentação e ajuda deve

ser utilizado para orientar o usuário em caso de dúvida. Deve ser visível e de

fácil acesso.

Estas regras são utilizadas tanto para direcionar o design de interface

quanto na avaliação da usabilidade.

25

Empregando estas regras pode ser realizada a avaliação heurística. A

avaliação heurística é uma técnica de avaliação muito atrativa, porém o

conjunto de heurísticas de Nielsen (1994) foi desenvolvido para desktops e

quando é aplicado a outros tipos de dispositivos ou aplicações ele precisa ser

customizado. Determinadas heurísticas de Nielsen são muito gerais e precisam

ser moldadas aos novos produtos que chegam ao mercado (PREECE, 2005).

Algumas customizações já foram realizadas, como por exemplo, heurísticas

para comércio eletrônico (TEZZA, 2009), heurísticas para celulares (BERTINI

et al. 2006) (GONG, TARASEWICH, 2004).

2.1.3.1 Heurísticas para dispositivos móveis touchscreen phones

O contexto de uso de um computador de mesa (desktop) para o qual

foram desenvolvidas as heurísticas de Nielsen é muito diferente do contexto de

uso de um dispositivo móvel. Dispositivos móveis geralmente são utilizados

para aplicações rápidas em um ambiente com muitas distrações, muitas vezes

os usuários estão em movimento, como por exemplo, andando na rua.

Durante a utilização de dispositivos móveis, os usuários normalmente

estão envolvidos em várias atividades que ocorrem simultaneamente, a

atenção pode estar dividida entre o uso do equipamento, as outras atividades

que ele está realizando e o ambiente que o cerca, dessa maneira, o foco

principal pode não ser a interação com o equipamento, mas a busca da

informação enquanto interage com o ambiente a sua volta (CYBIS, 2007)

(SALAZAR, et al. 2012). Outro aspecto importante se refere ao fato de que o

usuário móvel estar sujeito a diversas interrupções durante a interação (CYBIS,

2007).

Os métodos tradicionais de avaliação de usabilidade não consideram

essas particularidades dos dispositivos móveis, por isso, existe uma

necessidade do desenvolvimento de novas técnicas de avalição de usabilidade

para esses dispositivos (INOSTROZA, 2012) (SALAZAR et al. 2012). Faz-se

então necessário customizar as heurísticas de Nielsen, adaptando-as ao

paradigma dos dispositivos móveis.

26

Nesse sentido, alguns autores vêm realizando esforços com o objetivo

de definir heurísticas de usabilidade para dispositivos móveis touchscreen.

Uma visão geral do estado de arte referente às heurísticas de usabilidade para

celulares touchscreen é apresentado por Salazar et al (SALAZAR, et al. 2012).

A revisão do estado arte evidenciou que ainda não existem muitas pesquisas

nessa área.

A revisão do estado da arte de Salazar et al (2012) obteve como

resultado 13 artigos relevantes no que diz respeito a heurísticas de usabilidade

para celulares. Devido a essa carência de trabalhos relacionados às heurísticas

de usabilidade para celulares, o foco da revisão do estado da arte foi ampliado

a guias de estilo. Foram então selecionados os guias de estilo de design das

cinco plataformas de smartphones mais vendidas no mundo em 2011


Guias de estilo expõem em detalhes como deve ser a interface dos

aplicativos desenvolvidos para uma determinada plataforma e, na maioria das

vezes, também descrevem heurísticas de usabilidade num nível mais abstrato

(também chamados de principles) que se aplicam ao design dos seus

aplicativos (SALAZAR et al. 2012).

A partir das informações obtidas através da revisão do estado da arte,

observou-se, de uma maneira geral, uma forte correspondência entre as

heurísticas tradicionais e as heurísticas propostas para dispositivos móveis


A Figura 4 quantifica as frequências de incidência das heurísticas

tradicionais nos artigos encontrados na revisão sistemática de literatura


27

Figura 4: Frequência de recorrência de heurísticas tradicionais da Nielsen (1994) nos artigos

analisados. Fonte: SALAZAR et al. (2012).

Apesar de existir forte correlação entre as heurísticas propostas e as

heurísticas tradicionais, muitas vezes as primeiras reinterpretam e ajustam

suas definições para dispositivos móveis. Alguns autores ainda propuseram

algumas heurísticas adicionais levando em consideração as características

específicas dos dispositivos móveis. A Tabela 2 apresenta o conjunto unificado

de heurísticas proposto por Salazar et al. (2012) a partir dos resultados obtidos

após a revisão do estado da arte.

Tabela 2 – Conjunto de Heurísticas para dispositivos móveis

Heurísticas Tradicionais Heurísticas Novas

Visibilidade do status do sistema

Compatibilidade entre diferentes plataformas

Liberdade e controle do usuário

Pouca interação homem/dispositivo

Consistência e padrões

Interação física e ergonômica

Prevenção de erros

Legibilidade e Layout

Flexibilidade e eficiência de uso

Estética e design minimalista

Ajudar os usuários a reconhecer, diagnosticar e recuperar erros

Fonte: (adaptado de SALAZAR et al. 2012)

28

A análise do estado da arte demonstrou que até o momento não existe

uma visão/compreensão única sobre quais são as heurísticas de usabilidade

relevantes para os dispositivos touchscreen phones.

Nesse sentido, com a intenção de criar um conjunto unificado de

heurísticas de usabilidade (Tabela 02) com base na literatura e experiências

práticas, o GQS – Grupo de Qualidade de Software - está atualmente definindo

um conjunto de heurísticas de usabilidade para celulares touchscreen.

O desenvolvimento de um conjunto de heurísticas customizadas

específicas para touchscreen phones aprimorará o guia de design de interfaces

e a avaliação heurística de aplicações para esse tipo de dispositivo,

colaborando assim à melhora da usabilidade das mesmas (SALAZAR et al.,

2012).

2.1.3.2 Avaliação Heurística

Segundo Preece (2005) em algumas ocasiões os usuários não estão

facilmente acessíveis, nessas circunstâncias especialistas podem fornecer o

feedback. Dentro desse contexto, no início dos anos 90, começaram a ser

desenvolvidas algumas técnicas de inspeção como alternativa. Uma dessas

técnicas é avaliação heurística.

A avaliação heurística (NIELSEN, 1994) é um método de avaliação

sistemático que possibilita encontrar problemas de usabilidade em um design

de interface. Envolve um pequeno grupo de avaliadores que examinam a

interface e a avaliam de acordo com os princípios de usabilidades (heurísticas

de usabilidade).

A avalição heurística é uma técnica relativamente barata e de fácil

aprendizado, também é eficaz e pode ser utilizada em qualquer estágio de um

projeto de design, a combinação desses fatores torna a avaliação heurística

uma técnica de avaliação atrativa (PREECE, 2005).

Segundo Cybis (2007) uma avaliação heurística representa um

julgamento de valor sobre as qualidades de usabilidade das Interfaces

Humano-Computador. Essa avaliação é realizada por especialistas em

usabilidade, com base na sua experiência e competência no assunto.


29

Nielsen (1993) recomenda que sejam utilizados de três a cinco

avaliadores. Cada avaliador deve realizar a sua inspeção individualmente

evitando a comunicação entre eles durante a avaliação, assim são garantias

avaliações independentes e sem influência. Durante a sessão de avaliação, o

avaliador percorre a interface diversas vezes e inspeciona os seus elementos

comparando-os com uma lista de princípios de usabilidade (as heurísticas).

Para que a avaliação heurística seja realizada são definidas listas de

verificação ou checklists que permitem o levantamento de dados durante a

realização da avaliação. Os checklists permitem uma análise uniforme da

usabilidade tendo como base as heurísticas (SALAZAR et al., 2012).

Segundo Nielsen (2003), cada avaliador tem a liberdade de considerar

heurísticas específicas que se aplicam a classes de produtos os sistemas

específicos. São necessários conjuntos diferentes de heurísticas para avaliar

diferentes dispositivos ou sistemas, portanto, os avaliadores devem

desenvolver seus próprios, moldando as heurísticas de Nielsen, exatamente

quais heurísticas são as melhores e quantas são necessárias é discutível e

depende do produto (PREECE, 2005).

A seleção de heurísticas apropriadas é decisiva para a realização da

avaliação, pois as mesmas enfocam a atenção dos especialistas em questões

particulares do design da interface (PREECE, 2005).

2.1.3.2.1 Checklist para avaliação heurística de aplicativos em touchscreen

phones

Para facilitar a realização de avaliações heurísticas usando o conjunto

de heurísticas unificadas, uma lista de verificação (checklist) foi desenvolvida

pelo GQS – Grupo de Qualidade de Software. Esta, por sua vez, objetiva

auxiliar na avaliação de usabilidade dos dispositivos touchscreen phones de

uma maneira rápida, fácil e eficiente (SALAZAR et al., 2012).

Como escala de resposta aos itens do checklist é adotada uma escala

ordinal com quatro opções:

• Sim (Se o aplicativo estiver de acordo com o item);

• Parcialmente (se o aplicativo atender parcialmente o item);


30

• Não (se não estiver de acordo com o item) e

• Não se aplica (caso o item não possa ser avaliado ou não seja

pertinente ao escopo da aplicação).

Um extrato do checklist (v1.0) elaborado pode ser visualizado na Figura

5 e o checklist completo pode ser visualizado no Apêndice A.

Figura 5: Lista de verificação aplicada a celulares touchscreen Fonte: SALAZAR et al., 2012

Legenda: N – Não P - Parcial S – Sim NA – Não se aplica

2.4 Caracterização do Dispositivo touchscreen phone

Touchscreen phones são celulares que possuem a tela sensível ao

toque, dispensando o uso de teclados físicos, pode-se tocar a tela e ela

responderá como se o toque fosse nos objetos mostrados nela. Geralmente os

CHECKLIST AVALIAÇÃO HEURÍSTICA DE APLICATIVOS PARA SMARTPHONES

Avaliadora: Data:

Aplicativo/versão: Sistema: Dispositivo:

Heurísticas Questões N P S NA


1. Para cada ação do usuário o aplicativo oferece feedback imediato e adequado sobre seu status?

2. Os itens selecionados são claramente distintos dos demais?

3. Prioriza mensagens relativas a informações críticas e contextuais como o status da bateria e status da rede?

4. As mensagens sobre o status do aplicativo possuem uma linguagem clara e concisa?

5. Todas as telas possuem identificação?

6. Todas as telas mantêm acessíveis menus e funções comuns do aplicativo?

7. Fornece um update do status para operações mais lentas?

8. O aplicativo oferece informações sobre sua versão?

Anotações:

… ...

...

31

touchscreen phones são capazes de realizar muitas funções que um

computador realiza, tipicamente possuem uma tela relativamente grande e um

sistema operacional capaz de executar aplicações de uso geral, comumente

possui um display de alta resolução, conectividade WiFi, capacidade de

navegação na Web, a capacidade de aceitar aplicações sofisticadas, possui

uma CPU mais poderosa, mais espaço de armazenamento e mais memória

RAM (JANSSEN, 2012)

Na Figura 6 estão apresentados alguns modelos de touchscreen

phones. À esquerda o modelo Samsung S4 e a direita o iPhone 4S.

Figura 6: Exemplos de modelos de touchscreen phones Fonte: http://samsung.com.br/, http://apple.com.br

2.4.1 Métodos de touchscreen

Os touchscreen phones podem usar diferentes métodos para detectar a

presença do toque na tela, as tecnologias mais utilizadas são o sistema

resistivo e o sistema capacitivo.

O sistema resistivo é composto por um painel de vidro normal, recoberto

por uma camada metálica condutora e uma resistiva. Estas duas camadas são

mantidas afastadas por espaçadores e uma camada resistente a riscos é

colocada por cima de todo o conjunto. Uma corrente elétrica passa através das

duas camadas enquanto a tela está sendo usado. Quando uma pessoa toca na

tela, as duas camadas fazem contato exatamente naquele ponto. A mudança

no campo elétrico é percebida e as coordenadas do ponto de contato são

calculadas pelo computador. Logo que as coordenadas são conhecidas, um

driver especial traduz o toque em algo que o sistema operacional possa

entender (HAMMERSCHMIDT, 2008). A Figura 7 apresenta o funcionamento

do sistema resistivo.

http://www.tecmundo.com.br/busca-tecmundo.asp?au=139

32

Já no sistema capacitivo, uma camada que armazena a carga elétrica é

colocada no painel de vidro do monitor. Quando alguém clica no monitor com

seu dedo, parte da carga é transferida para essa pessoa, de modo que a carga

na camada capacitiva diminui. Esta diminuição é medida nos circuitos

localizados em cada canto do monitor. Considerando as diferenças relativas de

carga em cada canto, o computador calcula exatamente onde ocorreu o toque

e então envia esta informação para o software do driver da tela sensível. Uma

vantagem que o sistema capacitivo apresenta sobre o resistivo é que ele

transmite quase 90% da luz do monitor, enquanto o sistema resistivo transmite

apenas 75%. Isso dá ao sistema capacitivo uma imagem muito mais clara do

que o sistema resistivo (HAMMERSCHMIDT, 2008). A Figura 8 mostra o

funcionamento das telas capacitivas.

Figura 7: Funcionamento do sistema resistivo Figura 8: Funcionamento do sistema capacitivo

Fonte: http://my-tablet-world.com/difference- Fonte:http://www.telecomcircle.com/2010/03/ between-resistive-touch-screen-and- touchscreen/ capacitive-touch-screen/

As tecnologias apresentadas acima permitem a utilização das telas

multi-touch. Para uma tela ser considerada multi-touch ela deve ser capaz de

responder a múltiplos toques dos dedos ao mesmo tempo. A utilização da tela

multi-touch possui algumas limitações, dependendo do hardware e software

utilizados no touchscreen phone.

2.4.2 Plataformas/sistemas operacionais

No que diz respeito ao software de touchscreen phones, existem hoje

vários sistemas operacionais instalados em diferentes modelos. Segundo a

Gartner em uma pesquisa realizada no segundo trimestre de 2012 o sistema

operacional Android ampliou sua liderança no mercado, seguido do sistema

operacional iOS e Symbian respectivamente. A Tabela 3 mostra as vendas de

smartphones no que diz respeito ao sistema operacional.


33

Tabela 3: Principais sistemas operacionais

Sistema Operacional

Segundo trimestre de 2012 Segundo trimestre de

2012 - Fatia de Mercado (%)

Unidades vendidas em milhões

Android 98,529.3 64.1

iOS 28,935.0 18.8

Symbian 9,071.5 5.9

Research In Motion 7,991.2 5.2

Bada 4,208.8 2.7

Microsoft 4,087.0 2.7

Others 863.3 0.6

Total 153,686.1 100.0

Fonte: adaptação de http://www.gartner.com/it/page.jsp?id=2120015

Pode-se observar na Tabela 3 que o sistema operacional Android ocupa

a maior fatia de mercado. O Android é um sistema operacional para

dispositivos móveis baseado no sistema operacional Linux e é desenvolvido

pela Google. O sistema operacional iOS, o qual aparece em segundo lugar em

unidades vendidas, é um sistema operacional para dispositivos móveis

desenvolvido e distribuído pela Apple Inc. Enquanto o sistema operacional

Android é utilizado por vários fabricantes o iOS é de uso exclusivo dos produtos

desenvolvido pela Apple.

Em relação aos fabricantes destaca-se a Samsung que aumentou sua

vantagem sobre a Nokia e Apple (GARTNER, 2012). A Tabela 4 ilustra o

crescimento da fabricante Samsung.

Tabela 4: Principais fabricantes de smartphones

Fabricante

Segundo trimestre de 2012

Segundo trimestre de 2012 - Fatia de

Mercado (%) Unidades vendidas em

milhões

Samsung 90,432.1 21.6

Nokia 83,420.1 19.9

Apple 28,935.0 6.9

ZTE 17,936.4 4.3

LG Electronics 14,345.4 3.4

Huawei Device 10,894.2 2.6

TCL Communications 9,355.7 2.2

HTC 9,301.2 2.2

Motorola 9,163.2 2.2

Research In Motion 7,991.2 1.9

Others 137,233.4 32.8

Total 419,007.90 100.0

Fonte: adaptação de http://www.gartner.com/it/page.jsp?id=2120015

34

Uma outra pesquisa realizada pela ChangeWave Research em junho de

2012 obteve um indicador sobre as satisfação dos clientes em relação aos

seus smartphones, como pode ser observado na Figura 9.

Figura 9: Satisfação dos usuários em relação aos seus smartphones Fonte: http://www.changewaveresearch.com/

Como apresentado na Figura 9 a Apple destaca-se das demais

fabricantes com 71% dos proprietários de iPhones satisfeitos com seus

aparelhos. A Samsung vem em segundo lugar seguida da Motorola.

2.4.3 Caracterização dos dispositivos

Considerando os dados apresentados na seção anterior foram

selecionados três modelos de touchscreen phones para elaborar uma Tabela

comparativa do principal modelo dos principais fabricantes. Os dispositivos

selecionados foram: Samsung Galaxy S4 com sistema operacional Android

4.2.2 Jelly Bean, Nokia Lumia com sistema operacional o Windows Phone 7.5 e

o iPhone 4S com sistema operacional iOS. A Tabela 5 mostra o comparativo

entre os modelos.

35

Tabela 5: Comparativo entre modelos de touchscreen phones

Samsung Galaxy S4 Nokia Lumia iPhone 4S

Tela 4.99” 3.7” 3.5”

Resolução 1080x1920 480 x 800 pixels 640 x 960 pixels

Armazenamento 64GB 16GB 16/32/64

Câmera Frontal 2 MP - VGA

Câmera Traseira 13 MP 8.0 MP 8 MP

Internet Wi-Fi/3G/4G Wi-Fi/3G Wi-Fi/3G

Bluetooth Sim Sim Sim

GPS Sim Sim Sim

Peso (g) 130 142 140

Medidas (mm) 136.6 x 69.8 x 7.9 116.5 x 61.2 x 12.1 115.2 x 58.6 x 9.3

Sensores Acelerômetro

Giroscópio

Sensor de Proximidade

Bússola

Barômetro

Sensor de Proximidade

Acelerômetro

Bússola

Giroscópio de três eixos

Acelerômetro

Sensor de proximidade

Sensor de luz ambiente

Fontes: http://www.nokia.com/br-pt/produtos/lumia/ http://www.samsung.com/ http://www.apple.com/br/iphone/features/

As características dos touchscreen phones devem ser levadas em

consideração quando se trata da usabilidade dos mesmos, o uso desses

dispositivos está associado ao fato de sua disponibilidade e portabilidade. A

portabilidade dos touchscreen phones é uma questão muito importante que

deve ser ponderada, pois o contexto de uso desses dispositivos pode ter

grandes variações, por serem móveis são equipamentos que permitem o

transporte com conteúdo e proporcionam recursos de comunicação a qualquer

hora e em qualquer lugar.

2.4.4 Tipos de aplicações móveis

As duas alternativas mais conhecidas de aplicações móveis são os web

sites móveis e os aplicativos (FLING, 2009). Cada uma dessas ferramentas é

apresentada a seguir.

36

Sites móveis

Um site para dispositivos móveis é um site especificamente projetado

para esse tipo específico de dispositivo, não deve-se confundir sites móveis

com a simples visualização de um site desenvolvido para desktop em um

browser móvel (FLING, 2009).

Sites móveis são caracterizados por sua arquitetura simples de drill-

down ou somente a apresentação de links de navegação que levam o usuário

para as páginas de nível mais baixo. O design dos sites móveis são, na maioria

das vezes, simples e informativos oferecendo alguns dos elementos interativos

disponíveis nos sites para desktops. Embora sites móveis sejam relativamente

fáceis de criar, eles não conseguem ser consistentes em diferentes

navegadores móveis (FLING, 2009). A Figura 10 mostra um exemplo de um

web site móvel.

Figura 10: Exemplo de web site móvel

Aplicativos

Aplicativos são desenvolvidos para uma plataforma específica. Devido

ao fato dos aplicativos estarem na camada acima da plataforma eles podem

aproveitar a maioria dos recursos dos dispositivos, trabalhando on-line ou off-

line. Os aplicativos possibilitam a utilização dos recursos disponíveis nos

dispositivos como, por exemplo, câmera, GPS e sistemas de arquivos (FLING,

2009).

37

Aplicativos são softwares utilizados para funções específicas em

dispositivos móveis. Estes programas são instalados e embarcados nos

aparelhos. A maior parte dos aplicativos são certificados, vendidos ou

distribuídos através de uma loja de aplicativos on-line (FLING, 2009). A Figura

11 mostra um exemplo de um aplicativo.

É importante destacar que o presente trabalho tem como objetivo a

avaliação de aplicativos e não tem como objetivo a avaliação de sites móveis.

Figura 11: Exemplo de aplicativo

38

3 ESTADO DA ARTE

O presente capítulo apresenta o estado atual em que se encontram as

pesquisas relacionadas a validações de conjuntos de heurísticas/checklists

desenvolvidos para a avaliação heurística de dispositivos móveis touchscreen

phones. A análise do estado da arte foi realizada seguindo o método de revisão

sistemática de literatura definido por Kitchenham (2004).

3.1 Definição da revisão da literatura

A revisão sistemática da literatura realizada teve como objetivo analisar

e sintetizar a literatura existente sobre a avaliação/validação de conjuntos de

heurísticas de usabilidade para aplicativos em dispositivos de touchscreen

phones. O foco da revisão está na seguinte questão: Como os conjuntos de

heurísticas de usabilidade para celulares touchscreen são validados?

Embora o foco principal estivesse relacionado a touchscreen phones, o

escopo da pesquisa foi ampliado para qualquer tipo de telefone celular, pois em

uma busca inicial não foi encontrada qualquer literatura relevante específica

sobre touchscreen phones. Em relação a validações dos conjuntos de

heurísticas de usabilidade para celulares touchscreen também não foi

encontrada qualquer literatura relevante, por esse motivo, o foco da pesquisa

também foi ampliado para artigos que tivessem como foco a definição de

heurísticas de usabilidade para telefones móveis.

Foram pesquisados na Web artigos publicados na língua inglesa sobre

heurísticas de usabilidade para telefones celulares. As pesquisas foram

realizadas nas mais importantes bibliotecas digitais e bases de dados neste

domínio (IEEEXplore, ACM Digital Library, Science Direct, Wiley e Springer)

através do acesso gratuito ao Portal CAPES. Devido aos avanços tecnológicos

apresentados pelos dispositivos estudados foram considerados artigos

publicados entre janeiro de 2006 e julho de 2012 e para serem selecionados os

artigos deveriam ter como foco a definição de heurísticas de usabilidade para

telefones móveis. Foram excluídos artigos que não apresentavam os aspectos

mencionados.

39

A realização da busca de artigos científicos foi realizada usando os

termos de busca especificados na Tabela 6. Devido ao fato de vários termos

possuírem sinônimos foi realizada uma pesquisa mais ampla, incluindo outros

termos além de "smartphone", como por exemplo, os termos “mobile”, “cell

phone” e “handheld device”. No que diz respeito às heurísticas o termo

“usability guidelines” também foi utilizado além do termo “usability heuristics”. A

definição das mesmas é o resultado de várias calibrações realizadas

anteriormente. A pesquisa foi realizada em outubro de 2012.

Tabela 6: Strings de buscas nas bases de dados

A busca inicial retornou 429 artigos (193 no IEEE Xplore, 152 no ACM

Digital Library, 10 no ScienceDirect, 41 no Wiley e 33 no Springer). Após a

realização de uma análise dos artigos encontrados através da leitura dos

titulos, resumos e palavras-chave com o objetivo de verificar se os mesmos

respeitavam os critérios de inclusão, restaram 32 artigos relevantes. Trabalhos

IEEE XPLORE

((mobile OR "cell phones" OR smartphones OR "handheld devices" OR "touchscreen devices" OR "touchscreen mobile devices" OR "touchscreen cell phones" OR "mobile computing") AND ("usability heuristics" OR “usability guidelines” OR "design principles" OR "patterns interface"))INmetadata) AND (pyr >= 2006AND pyr <= 2012).

ACM Digital Library

("mobile" OR "cell phones" OR "smartphones" OR "handheld devices" OR "touchscreen devices" OR "touchscreen mobile devices" OR "touchscreen cell phones" OR "mobile computing")AND ("usability heuristics" OR “usability guidelines” OR "design principles" OR "patterns interface") for: (("mobile" OR "cell phones" OR "smartphones" OR "handheld devices" OR "touchscreen devices" OR "touchscreen mobile devices" OR "touchscreen cell phones" OR "mobile computing")AND ("usability heuristics" OR “usability guidelines” OR "design principles" OR "patterns interface")) and (PublishedAs:journal)

ScienceDirect (mobile OR "cell phones" OR smartphones OR "handheld devices" OR "touchscreen devices" OR "touchscreen mobile devices" OR "touchscreen cell phones" OR "mobile computing") and TITLE-ABSTR-KEY("usability heuristics" OR “usability guidelines” OR "design principles" OR "patterns interface")

WILEY Interscience

mobile OR "cell phones" OR smartphones OR "handheld devices" OR "touchscreen devices" OR "touchscreen mobile devices" OR "touchscreen cell phones" <or> "mobile computing" in Abstract AND "usability heuristics" OR “usability guidelines” OR "design principles" OR "patterns interface" in Abstract between years 2006 and 2012

SpringerLink (mobile and ("usability heuristics" or “usabilityand guidelines” or "design principles"))' published between '1 Jan 2006' and '31 Jul 2012' with no filters (mobile and "patterns interface")' published between '1 Jan 2008' and '31 Jul 2012' with no filters ("cell phones" and ("usability heuristics" or“usability and guidelines” or "design principles"))' published between '1 Jan 2006' and '31 Jul 2012' with no filters ("cell phones" and "patterns interface")' published between '1 Jan 2008' and '31 Jul 2012' with no filters (smartphones and ("usability heuristics" or“usability and guidelines” or "design principles"))' published between '1 Jan 2006' and '31 Jul 2012' with no filters (smartphones and "patterns interface")' published between '1 Jan 2008' and '31 Jul 2012' with no filters ("handheld devices" and ("usability heuristics" or“usability and guidelines” or "design principles"))' published between '1 Jan 2006' and '31 Jul 2012' with no filters ("handheld devices" and "patterns interface")' published between '1 Jan 2008' and '31 Jul 2012' with no filters ("touchscreen devices" and ("usability heuristics"or “usability and guidelines” or "design principles"))' published between '1 Jan 2006' and '31 Jul 2012' with no filters ("touchscreen devices" and "patterns interface")' published between '1 Jan 2008' and '31 Jul 2012' with no filters ("touchscreen cell phones" and ("usability heuristics" or “usability and guidelines”))' published between '1 Jan 2006' and '31 Jul 2012' with no filters ("touchscreen cell phones" and ("design principles" or "patterns interface"))' published between '1 Jan 2006' and '31 Jul 2012' with no filters

40

irrelevantes ou duplicados foram removidos. Realizou-se então um exame

desses 32 artigos, avaliando a qualidade da informação apresentada. O

resultado final foi a seleção de 15 artigos considerados realmente relevantes.

Posteriormente foi realizada a leitura dos artigos e extraídos os dados

referentes a validações de conjuntos de heurísticas/checklists desenvolvidos

para a avaliação heurística de dispositivos móveis touchscreen phones.

3.2 Validação do conjunto de heurísticas/checklists

A partir dos artigos resultantes da revisão sistemática de literatura a

leitura dos mesmos foi realizada com o objetivo de analisar informações sobre

a validação dos conjuntos de heurísitcas/checklist propostos nos artigos. O

resultado dessa leitura pode ser verificado na Tabela 7.

Tabela 7: Dados extraídos sobre validação do conjunto de heurísticas/checklist

2

1 Não cita avaliações sobre as heurísticas de usabilidade propostos.

Artigo Realiza validação do conjunto de heurísticas/checklist

(Hashim et al., 2010) --1

(Lo & Tan, 2012) --

(Fetaji & Fetaji, 2011) --

(Zaibon & Shiratuddin 2012) --

(Inostroza et al., 2012) Avaliação heurística comparativa

(Wesselset al., 2011) --

(Rauch, 2011) --

(Ayob et al., 2009) --

(Billi et al., 2010) --

(Gu, Gu & Laffey, 2011) --

(Travis & Tay, 2011) --

(Alsos et al., 2012) --

(Nilsson, 2009) --

(J.Gong & P.Tarasewich, 2004) --

(E. Bertini et al., 2006) Avaliação heurística comparativa

41

Apesar da importância da usabilidade no contexto de dispositivos móveis

o resultado escasso da revisão sistemática de literatura demonstra uma falta de

investigação nesta área. Analisando a Tabela 7 fica evidente a falta da

realização de uma validação do conjunto de heurísticas/checklists propostos na

literatura encontrada.

Somente dois artigos citam a realização de uma avalição do conjunto de

heurísticas propostos (Inostroza et al., 2012) e (Bertini et al., 2006).

Inostroza et al. (2012) realizaram a comparação de dois conjuntos de

heurísticas, por um estudo comparativo em que realizaram uma avaliação

utilizando as heurísticas propostas para dispositivos touchscreen e a outra

realizada com as heurísticas tradicionais de Nielsen. Dois grupos de

avaliadores, compostos por dois avaliadores cada, utilizaram um dispositivo

touchscreen para a realização da avaliação heurística, um deles utilizou as

heurísticas de Nielsen e o outro utilizou as heurísticas propostas para

dispositivos móveis.

O resultado foi a identificação de um número um pouco maior de

problemas de usabilidade utilizando as heurísticas para dispositivos móveis

touchscreen. Além de identificarem mais problemas o grupo ainda classificou

os problemas em maiores graus de severidade. Posterior a essa avalição, os

autores, utilizaram a média e a variância dos valores dos graus de severidade

dos problemas encontrados com cada conjunto de heurística para avaliar a

validade do conjunto proposto.

Apesar dessa primeira tentativa de validar o conjunto de heurísticas

proposto os autores destacaram o fato dessa avaliação ainda ser preliminar e a

necessidade da realização de mais experimentos para ser possível uma melhor

conclusão.

Bertini et al. (2006) realizaram um estudo empírico com objetivo de

comparar o apoio prestado pelo novo conjunto de heurísticas móveis contra as

heurísticas de usabilidade padrão. O estudo envolveu oito especialistas em

usabilidade e teve como resultado uma avaliação mais precisa em termos de

problemas detectados (mais falhas detectadas) com a utilização das

heurísticas para dispositivos móveis.

Observando essa falta em geral de avaliações mais rigorosas dos

42

conjuntos de heurísticas pospostos para dispositivos móveis o presente

trabalho objetiva avaliar um conjunto de heurísticas de usabilidade para

dispositivos de celulares touchscreen utilizando a Teoria da Resposta ao Item,

pois a mesma permite a criação de um instrumento de medição que possua

uma escala padronizada e permita sistematização e precisão dos resultados e,

logo, comparabilidade dos mesmos. Essa técnica já foi utilizada para avaliar

outro conjunto de heurísticas como, por exemplo, na elaboração de um

conjunto de heurísticas referente a usabilidade em sites de e-commerce

(TEZZA, 2009). O trabalho citado anteriormente indica a adequação do uso da

técnica de TRI para validar/avaliar checklists que dentro desse contexto podem

ser compreendidos como questionário padronizado, assim é possível citar

alguns trabalhos que fizeram uso da técnica de TRI para validar/avaliar

questionários, como, por exemplo, questionários para medir inteligência ou

autismo infantil (SATO, 2009) ou questionários para medição de fatores críticos

da gestão pela qualidade (ALEXANDRE et al. 2001).

43

4. AVALIAÇÃO DAS HEURÍSTICAS/CHECKLIST DE USABILIDADE

PARA APLICATIVOS EM CELULARES TOUCHSCREEN

No presente capítulo é relatado o processo de avaliação/validação do

conjunto de heurísticas/checklist para avaliação de usabilidade de aplicativos

para dispositivos celulares touchscreen.

O processo de avaliação é composto por cinco etapas: Definição,

Planejamento, Operação, Análise e Interpretação e Documentação (WOHLIN,

2012) (Figura 12).

Figura 12: Etapas do processo de avaliação Fonte: WOHLIN, 2012

4.1 Definição da Avaliação

O objetivo da avaliação é validar os itens do checklist para avaliação de

usabilidade de aplicativos dos dispositivos touchscreen phones.

Com esse objetivo é efetivado um estudo empírico onde é realizada uma

série de avaliações heurísticas utilizando o checklist para avaliação de

aplicativos para dispositivos celulares touchscreen proposto por Salazar et al.

(2012).

A avaliação tem como foco aplicativos para dispositivos móveis e a

principal funcionalidade dos mesmos, portanto, as avaliações não levaram em

consideração o aplicativo como um todo e sim a sua principal função.

O estudo de caso é dividido em duas iterações:

Na primeira iteração são selecionados 50 aplicativos a serem avaliados.

Os critérios para a seleção dos aplicativos estão apresentados a seguir:

1. Aplicativos gratuitos;

2. Número de downloads maior que 200 na página que o disponibiliza;

44

3. Aplicativos com diversificadas avaliações fornecidas pelos usuários que

utilizaram os aplicativos após realizar o download dos mesmos nas

páginas que os disponibilizam.

Para a iteração 2 são selecionados 197 aplicativos. O critério de seleção

dos aplicativos para a segunda iteração foi o seguinte:


2. Aplicativos gratuitos para realização de testes.

A Tabela 8 apresenta os 247 aplicativos selecionados ao total para a

realização das avaliações nas duas iterações. Demais informações sobre os

aplicativos, como versão e site de download estão disponíveis no Apêndice C.

Tabela 8: Aplicativos selecionados para a avaliação Aplicativos Avaliados

Dicionário da Língua Portuguesa Boa Lista - Lista de Compras 4Shared

Weather Channel Google Tradutor Banco do Brasil

Google Drive Gmail Consulta Visa Vale

Google Goggles IMDb Saraiva eReader

App2SD WhatsApp Consulta CEP

DropBox Traffic Counter Extended YouTube

Angry Birds PersonalFinance Viber

FacebookMessenger Trip Advisor Tavindo

Qual Operadora Cadê Meu Banco Wikipedia

Wallpapers HD iPhone Instagram Churrascometro

Brasileirão CamScanner iPhone Buscapé iPhone

Groupon iPhone Wase Voos Online

Apn Brasil TrackPack AVG Mobilation

CardioTrainer Facebook Feriados 2013 iPhone

Catarinense 2013 iPhone Internacional SporTV iPhone Night Sky Lite iPhone

Sky Sports iPhone GloboEsporte.com iPhone Shazam iPhone

EyeEm iPhone Dictionary.com iPhone Quora iPhone

Converter Photaf Panorama Clean Master

Sonar Simulado Detran Free Rádio Atlântida

Spider Solitaire Pessoa física Rádio Pessoal AUPEO!

Guia de aeroportos HD iCall Baby holidays

Radar G1 Eu atleta Shared MP3

Diário Catarinense Globo News Kekanto

Vogue Brasil Mobile Marie Claire Brasil Mobile Crescer Mobile

Expedia Hotels & Flights Dieta e Saúde Radar G1

Simple PAC Shared MP3 Baixar músicas Insta Collage

Bíblia Sagrada NVI Esboço do lápis Letra de música e do YouTube

Ringtone Maker Wales, UK Malaysia Cari

ASTRO File Manager Any.Do IntaWeather Free

Qello TaxiBeat Thrist

Mokriya craigslist ArtFinder Wunderlist

WBCBaseball TouristEye CineMark Brasil

Climatempo Foursquare Ingresso.com

Tela Transparente QRDroid Baixaki

Buscapé Mobile Tic Tac Toe - Pro Hotmail

Pedômetro - Accupedo Dictionary.com Air Horn Free

Photo Grid Globo.com Caça Palavras

Jogo da Forca Qual é a resposta? Medscape

Remember The Milk MusiXmatch Split Pic

45

Passa Regua Partiu Balada Genéricos Brasi

Vacinas Brasil Lite Pressão Arterial Guia Médico Nacional Unimed

Diabetes Gripe Suína Apgar

Diário de Pressão Sanguinea GAPS - Antibiótico na Urgência TV Show Favs

KCRW SongTag Sky Drive O que é o que é

iBeer FREE Google Play Books Lighter Free

Galinha Pintadinha Change my Voice Maze game

Guess The Movie Flashlight Toddler Animal Sounds

MyBaby: My puzzle for kids Presidentes Pou

Logo Quiz Livraria Cultura eBooks Procedimentos TUSS

Alergias Amamentação Diabetes

Diabetes Diary Lite Myway Diabetes Manager bPresso.com

Medicamentos A a Z Procedimentos SUS CliniCalc

Dengue Adulto e Criança Aleitamento Breastfeed

GlicoCare Universo Médico Meu diário Mensal

Rotinas Terapeuticas Appedatria Psisoríase

Dblcam Guia TV BR Alarme AntiFurto

Engraçado Tones SMS Jogos Mentais Fácil Voz Bloco de Notas

Horóscopo HD Grátis Lembretes de Aniversários Battery Master

WikipediaPlaces Free Baby Names Faces - Photo Fun

CPF/CNPJ Nó em gravata Rastreio Correios

Privalia Mobile Tempo de trabalho Presto! Remote

Simples MP3 Downloader aCalendar WiFi Manager

Astrid Lista de Tarefas Diário feliz PLUS Fake Call & SMS

Telefone celular Voip Wedding Planning Benji Bananas

Sleep as Android Lupa (Magnifier HD) Emoji para Android

Relax and Sleep EarthView Tv Show. Tracker

Tumblr ShareFood SoundCloud

Postos combustivel Brasil Taximetro Pro London Underground Tube

I am Here Night Vision Camera Festas UFSC

GlobeConvert MagicPlan NET

Viddy Compras, moda e liquidações Bouncy Bill Easter Tales

Xadrez Pet Shop Story: Easter Piano Virtual

Brasil Mobile Florianópolis Reuters FloripaVIP

Medida Certa Nike+ running Android Massager

Saúde Vale Metas de Vida Receita Móvel Free

Exercícios em casa Nivea Sun TeleListas

Sabores do Brasil iCaipirinha Evernote Hello

ProEstetica Color Touch Palco MP3

Qranio Twitter Decolar.com Hotéis e Voos

Aprenda a falar outras línguas 1001 Lugares no Brasil Bússola estabilizada

Hotel Hoje minube Mochileiros

Sushi BR EasyMeasure Photo Effects

Dodol Phone Prague Shopping Guide

O checklist utilizado na realização da primeira iteração de avaliações é

apresentado no Apêndice A (versão 1.0). O checklist utilizado para as

avaliações na segunda iteração e para a reavaliação dos aplicativos da

iteração 1 é apresentado no Apêndice B (versão 2.0). O formulário utilizado

para registrar as avaliações é apresentado no Apêndice D.

46

4.2 Execução da Avaliação

4.2.1 Coleta de Dados

As avaliações heurísticas foram realizadas entre outubro de 2012 e abril

de 2013. Cinco pesquisadoras realizaram as avaliações, sendo quatro delas do

GQS/INCoD/UFSC e a quinta a autora do presente trabalho. As avaliações

envolveram pesquisadores júnior com background na área de computação, na

área de usabilidade e uma pesquisadora formada em design.

A primeira etapa para a realização das avaliações foi o encontro entre

todas as pesquisadoras na sala GQS/INCoD/UFSC para a realização de uma

avaliação heurística em conjunto, essa avaliação teve como principal objetivo a

calibração das pesquisadoras. Nesse primeiro encontro o checklist também foi

avaliado e o resultado foi a percepção de alguns problemas no mesmo.

Após a reformulação dos problemas encontrados no checklist cada

pesquisadora realizou duas avaliações individualmente. Foram selecionados

dois aplicativos para a realização dessas avaliações individuais e

posteriormente foi realizado um segundo encontro onde as avaliações de cada

uma das pesquisadoras foram confrontadas com as demais. O resultado foi o

nivelamento entre todas as pesquisadoras no que diz respeito ao entendimento

e interpretação do checklist, bem como, o entendimento de como se dariam as

avaliações.

Foi estabelecido que, para a realização das avaliações, o primeiro

passo seria executar o aplicativo e realizar uma breve análise do mesmo como

um todo. Posterior a essa primeira análise a principal função deveria ser

identificada e selecionada para dar continuidade a avaliação.

Os dados resultantes das avaliações foram armazenados em uma

planilha eletrônica do Excel Web App, aplicativo baseado em navegador que

permite editar e exibir arquivos do Excel no navegador de forma colaborativa.

Dessa forma os resultados das avaliações permaneceram unificados. Os dados

coletados podem ser observados no Apêndice E.

47

4.2.2 Equipamentos

Para a realização das avalições heurísticas foram utilizados 7

dispositivos móveis touchscreen. As Tabelas 9, 10, 11, 12, 13, 14 e 15

descrevem os equipamentos. Os dispositivos são de propriedade das

avaliadoras e/ou fornecidos pelo GQS.

Tabela 9: Especificações do Samsung Galaxy Ace Tamanho da Tela 3.5 polegadas

Resolução da tela 320 x 480 pixels

Método touchscreen TFT capacitive touchscreen

Sistema operacional Android 2.3.6

Peso 113 g

Fonte: http://www.samsung.com.br

Tabela 10: Especificações do Samsung Galaxy Y GT-S5360B

Tamanho da Tela 3.0 polegadas



Sistema operacional Android 2.3.5

Peso 97.5 g


Tabela 11: Especificações do Samsung GT-I5500B




Sistema operacional Android 2.1

Peso 102 g


http://www.gsmarena.com/samsung_galaxy_ace_s5830-pictures-3724.php

48

Tabela 12: Especificações do HTC Magic





Peso 118.5 g

Fonte: http://www.htv.com/br

Tabela 13: Especificações do iPhone 4S




Sistema operacional iOS 5

Peso 140 g

Fonte: http://www.aple.com/br

Tabela 14: Especificações do Samsung Galaxy Ace Duos Tamanho da Tela 3.5 polegadas

Resolução da tela 320X480 pixels


Sistema operacional Android 2.3 Gingerbread

Peso 113 g


Tabela 15: Especificações do Motorola XT390


Resolução da tela 480x320 pixels



Peso 107g

Fonte: http://www.motorola.com.br

http://images.livrariasaraiva.com.br/imagem/imagem.dll?pro_id=4069883&L=500&A=-1&PIM_Id=&PAC_ID=123134

49

4.3 Análise dos dados

4.3.1 Análise subjetiva do checklist

A primeira etapa de análise dos dados e validação do checklist foi a

realização de uma análise empírica, o início dessa análise se deu em um

encontro entre todas as pesquisadoras após a primeira iteração de 50

avaliações. Previamente ao encontro criou-se um documento online onde cada

pesquisadora registrou suas impressões a cerca do checklist após a primeira

iteração das avaliações. Nesse mesmo documento foi possível que as

pesquisadoras comentassem os registros das demais, assim, antes da

realização do encontro, todas já tinham conhecimento sobre os pontos que

seriam discutidos.

Durante o encontro foram abordados os tópicos registrados e o resultado

foi a reformulação, exclusão e/ou inclusão e agrupamento de alguns itens do

checklist. O resultado dessa avaliação foi a criação da versão 2.0 do checklist,

que pode ser obervada no Apêndice B.

Os itens reformulados podem ser observados na Tabela 16. A

modificação desses itens teve como finalidade deixá-los mais claros, objetivos

e alinhados ao escopo. Na coluna da esquerda estão os itens antes da

modificação e a coluna da direita apresenta os itens reformulados.

50

Tabela 16: Itens modificados após avaliação empírica do checklist Itens selecionados para modificações

Itens após modificações


Os componentes interativos selecionados são claramente distintos dos demais?


Todas as telas possuem título?

37. Utiliza o nome da tela anterior ao invés de “voltar” para nomes de botões e links?

A opção voltar é apresentada de acordo com o padrão dos aplicativos para esta plataforma?

39. Os títulos das telas são curtos?

Os títulos e rótulos são curtos?

41. Há padronização de cores para identificação e sinalização das áreas do aplicativo?

Em todas as telas é possível reconhecer uma identidade visual (marca ou nome do aplicativo, cores, etc)?

44. Os rótulos dos links descrevem adequadamente seu conteúdo?

Os rótulos dos links descrevem adequadamente seu conteúdo e estão de acordo com o conteúdo das telas que abrem?

62. As mensagens apontam qual a causa do erro? 64. As mensagens de erro são claras e precisas?

As mensagens de erro são claras apontando a causa do erro?

65. As mensagens de erro são agressivas com usuário?

As mensagens de erro são amigáveis com usuário (não ofendem)?

82. Todo o texto fica visível na tela, independente da orientação?

Independente da orientação e do uso do scroll, todo conteúdo fica visível na tela, sem cortes?

85. Informações transmitidas na forma de gráficos também são descritas textualmente?

As imagens (gráficos, ícones, etc) também são descritas textualmente?

Nessa primeira análise foram incluídos dez novos itens. A necessidade

desses novos itens foi percebida durante a realização das avaliações, pois,

entendeu-se que alguns problemas de usabilidade encontrados durante a

utilização dos aplicativos não eram abordados no checklist. Os novos itens

podem ser observados na Tabela 17, na qual também estão apresentadas as

respectivas heurísticas as quais os novos itens foram associados.

51

Tabela 17: Itens inclusos no checklist após avaliação empírica Heurística Novos Itens


Oferece outras formas de feedback além do textual (luminoso, sonoro, vibração)?

Quando uma mensagem é exibida o tempo de exibição é suficiente para realizar a leitura?

Controle e Liberdade do Usuário

O aplicativo pode ser fechado e não apenas minimizado?

No caso de aplicativos associados a cadastro de login ou contas de e-mail, permite o fácil acesso de mais de um usuário?

Consistência e Padrões

As informações textuais são apresentadas de forma padronizada? (tamanho da fonte, cor)

Flexibilidade e Eficiência de Uso

O aplicativo apresenta problemas durante a interação (trava, botões não funcionam no primeiro clique, etc)?

Estética e Design Minimalista

O aplicativo só apresenta funções que estão habilitadas?


O cadastro de usuário exige somente informações necessárias?


O alinhamento utilizado favorece a leitura?

Quando utiliza o scroll é somente vertical ou somente horizontal?

Ainda nessa primeira análise do checklist foi decidido pela retirada de

quatro itens, pois se percebeu que eles não eram pertinentes ou sempre eram

verdadeiros, como por exemplo, o item 17: É possível sair da tela atual a

qualquer momento? Em dispositivos móveis sempre é possível sair da tela

atual através dos botões de controle do próprio dispositivo. Os itens eliminados

e a justificava para a eliminação podem ser observados na Tabela 18.

Tabela 18: Itens retirados após avaliação empírica do checklist Itens Retirados Justificativa

9. As interações propostas no aplicativo são semelhantes

a ações reais (como por exemplo, descartar um arquivo

arrastando-o para a lixeira)?

Percebeu-se que nem sempre usar a metáfora é

necessário, pois considera-se mais importante as

interações serem consistentes com o modelo proposto

pela plataforma do que com ações reais.

14. O aplicativo oferece mensagens de fechamento para

tarefas que envolvam um conjunto de etapas?

Esse item já é avaliado no item: “Para cada ação do

usuário o aplicativo oferece feedback imediato e

adequado sobre seu status? ”

17. É possível sair da tela atual a qualquer momento? Esse item nunca teria resposta negativa, pois sempre é

possível sair da tela atual utilizando o botão de controle

do aparelho.

46. Os dados do usuário são salvos (login, itens

buscados)?

Esse item está contido no item “O aplicativo evita a

digitação (por exemplo: guardando as respostas mais

frequentes do usuário para que ele não precise digitá-las

novamente, oferecendo opções em forma de lista,

utilizando o recurso de auto-completar, etc)?”

52

Após essa primeira análise e reavaliação do checklist foi criada uma

nova versão do mesmo contendo todas as modificações apresentadas. A nova

versão do checklist (versão 2.0) pode ser observada no Apêndice B.

Posteriormente a geração da nova versão do checklist os aplicativos que

haviam sido avaliados na primeira iteração utilizando a versão 1.0 do checklist

foram reavaliados para que seus dados refletissem a nova configuração do

checklist versão 2.0. A reavaliação dos aplicativos foi realizada em Janeiro de

2013 por quatro pesquisadoras. Os dados coletados podem ser observados na

íntegra no Apêndice E.

4.3.2 Análise estatística utilizando a Teoria da Resposta ao Item

Nesta seção serão mostrados, analisados e discutidos os resultados

gerados pela TRI referente aos 92 itens elaborados e a amostragem de 247

aplicativos para touchscreen phones.

A TRI foi mais uma ferramenta utilizada para auxiliar na validação do

checklist. O objetivo dessa análise foi realizar a avaliação dos dados obtidos

através da realização das avaliações heurísticas para que seja possível inferir

quais itens que compõe o checklist, contribuem mais para medir o traço latente,

ou seja, a usabilidade. Usando a TRI é possível avaliar a qualidade dos itens e

classificar os aplicativos em relação ao grau de usabilidade.

Para realizar essa análise foram utilizados os dados levantados através

da amostra composta por 247 avaliações. O tratamento dos dados foi realizado

utilizando o software BILOG-MG3 (MISLEVY & BOCK, 2003). O software é

específico para auxiliar no procedimento de estimação dos parâmetros e do

traço latente.

O checklist é composto por 92 itens que estão divididos em doze

Heurísticas de Usabilidade. Cada item possui uma escala likert de resposta que

varia de ‘0’ a ‘2’, como pode ser observado na Tabela 19. Ainda na Tabela 19

pode observar-se a interpretação e um exemplo de resposta para cada item da

escala.

53

Tabela 19: Escala de respostas do cheklist Opção Valor Interpretação Exemplo

Não atende 0 Associado ao perfil negativo de

usabilidade do aplicativo

Para o Item: “As fontes utilizados favorecem a leitura?” o aplicativo de

exemplo não atende a esse requisito, pois as fontes são muito pequenas

dificultando a leitura.

Aplicativo: Benji Bananas

Atende

parcialmente

1 Associado ao perfil intermediário

de usabilidade do aplicativo

Para o item: “Controles e botões se distinguem do restante do layout,

deixando evidente que são clicáveis?” o aplicativo de exemplo atende

parcialmente, pois os componentes interativos superiores, em um primeiro

momento parecem ser somente para visualização, mas após algumas

interações com o aplicativo verificou-se que os componentes eram clicáveis,

portanto, a interação com esses componentes não é evidente.

Aplicativo: POU

Satisfaz 2 Associado ao perfil positivo de

usabilidade do aplicativo

Para o item: “O menu é esteticamente simples e claro?” o aplicativo usado

como exemplo satisfaz plenamente esse requisito, pois o menu é simples,

claro e objetivo.

Aplicativo: Google Books

Não

apresentado

9 Requisito de usabilidade não

pertence ao escopo do item

Para o item: “É possível prever o tamanho da tela pelo tamanho do scroll?” o

aplicativo utilizado no exemplo não possui scrool em nenhuma das telas,

portanto, o requisito indagado no item não é apresentado pelo aplicativo.

Aplicativo: Bounce Bill Easter Tales

O único item para o qual essa escala não se aplica é o item 48, onde a

categoria ‘2’ está associado ao perfil negativo e a categoria ‘0’ está associado

ao perfil positivo de usabilidade. Para realizar a análise o item 48 foi

recodificado onde as respostas com valor ‘2’ foram recodificadas para o valor

54

‘0’ e as respostas com valor ‘0’ foram recodificadas para o valor ‘2’, dessa

maneira, todos os 92 itens utilizam a categoria ‘2’ para representar os aspectos

positivos de usabilidade.

Para a criação da escala usabilidade dos aplicativos para touchscreen

phones é necessário atribuir valores comparáveis aos itens e aos aplicativos

para que possam ser posicionados na mesma escala. Entretanto, devido a

natureza arbitrária dos valores para posicioná-los na escala, criou-se um valor

de referência onde a média é 50 e o desvio padrão é 10. A escala criada é uma

escala (50,10) que não tem significado prático, ou seja, esta escala poderia ter

qualquer valor, onde o valor 50 representa o desempenho médio de usabilidade

dos 247 aplicativos. Para que esses valores arbitrários tenham significado

quando os itens forem posicionados na escala, o conteúdo abordado em cada

item faz com que esses valores tenham uma interpretação para o traço latente

medido, nesse caso, o traço latente é a usabilidade.

Para posicionar os aplicativos e os itens com respostas graduadas

nessa escala é necessário utilizar um modelo estatístico. Em razão da natureza

das respostas dos itens uma das opções é adotar o modelo de resposta

gradual. Esse modelo assume que categorias de respostas de item podem

estar ordenadas entre si. Pode-se então afirmar que a probabilidade de um

aplicativo j estar selecionado a uma categoria k (k = 0, 1, 2) é dada por:

)b(a)b(ak,i

1k,ijik,iji e1

1

e1

1)(P

onde i é o índice do item e um item que possui 3 categorias assume a restrição

em que b=0, apresentando dois valores do parâmetro de dificuldade (b1, b2)

que deverão ser estimados, além do parâmetro de discriminação do item (a) e

os valores do traço latente () de cada aplicativo. Os parâmetros dos itens e o

traço latente do aplicativo determinarão a probabilidade de ele estar em uma

das categorias para um dado item. As Curvas Características do Item

identificam essas probabilidades. Nesse modelo deve-se ter uma ordenação

entre os parâmetros de dificuldade das categorias de um dado item, ou seja

2,i1,i bb .

55

O modelo descrito não será utilizado no presente trabalho, devido ao

fato que algumas categorias obtiveram poucas respostas. Em razão disso, para

análise dos dados é realizado um agrupamento de duas categorias. São

consideradas as respostas “0” e “1” como a categoria “não satisfaz” e a

resposta “2” como a categoria “satisfaz” o requisito de usabilidade perguntado

no item. A interpretação dos resultados será a mesma, ou seja, estará sendo

criada uma escala para avaliar a usabilidade dos aplicativos, mas considerando

apenas duas categorias.

Agora para itens com resposta dicotômica foi utilizado o modelo logístico

dado por:

)b(aiiij

ijie1

1)b,a,|1X(P

sendo:

Xij a resposta ao item i (Xi = 1 se a resposta satisfaz, Xi = 0 se a resposta

não satisfaz) do aplicativo j;

j o parâmetro do aplicativo, representa a nota de usabilidade do

aplicativo j;

ai o parâmetro de discriminação do item i.

bi o parâmetro de posição, também chamado de dificuldade, do item i.

O parâmetro ‘b’ determina se um item é ‘difícil’, ou seja, poucos

aplicativos atendem determinada característica. O parâmetro ‘a’ mede quanto o

item consegue diferenciar os aplicativos que estão em um nível superior da

escala atender suas características e os aplicativos que estão em um nível

inferior da escala não atender suas características.

Na estimação dos parâmetros dos itens e na nota de qualidade dos

aplicativos, supõe-se que a distribuição das notas dos aplicativos é normal com

média 0 (zero) e desvio padrão 1 (um), escala (0,1), essa suposição é feita nos

softwares por questão de conveniência. Para divulgação dos dados é

conveniente ter uma escala que evite números negativos. Assim, optou-se por

uma distribuição das notas dos aplicativos com média 50 e desvio padrão 10,

escala (50,10).

56

4.3.2.1 Resultados

Nesta seção são mostrados, analisados e discutidos os resultados da

análise estatística gerados pela TRI referente aos 92 itens que compõem o

checklist e a amostragem de 247 aplicativos para celulares touchscreen.

Primeiramente, antes de prosseguir com a análise, é importante

ressaltar que um item pode ser eliminado por falta de informação suficiente

para conseguir medir a característica de usabilidade indagada nele ou este

item não está associado a usabilidade. O importante é que dos itens

remanescentes na análise, todos medem o mesmo traço latente, ou seja, todos

os itens estão medindo a usabilidade.

Os critérios estabelecidos para eliminação dos itens são feitos quando

os itens têm os parâmetros na escala (0,1). Os critérios foram:

• parâmetro de discriminação a<0,50;

• parâmetro de dificuldade b não convergiu (parâmetro com valore aquém do

intervalo (-4;4)).

Foram eliminados 44 itens segundo esses critérios, são eles: 3, 5, 8, 9,

10, 15, 16, 19, 21, 22, 23, 24, 28, 29, 37, 38, 39, 40, 43, 46, 49, 51, 52, 53, 55,

56, 63, 64, 65, 66, 67, 68, 69, 70, 72, 73, 74, 75, 77, 78, 84, 85, 88 e 92.

Os parâmetros dos itens remanescentes no modelo dicotômico são

apresentados no Apêndice F.

Os itens 6, 18 e 79 tiveram os maiores valores do parâmetro “b”, isto

significa que é muito provável que somente os melhores aplicativos analisados

atendam as especificações descritas nesses itens. Em compensação, os itens

13, 60 e 81 foram os que tiveram o menor parâmetro “b”, logo, são itens que

não discriminam aplicativos com boa usabilidade dos demais aplicativos. Para

estes itens é muito provável que praticamente todos os aplicativos analisados

atendam aos quesitos perguntados neles. Pode-se afirmar que eles devem

estar relacionados com requisitos básicos de usabilidade de um aplicativo.

Uma vez que todos os parâmetros dos itens e que todos os valores das

notas dos aplicativos estão numa mesma métrica (escala), ou seja, quando

todos os parâmetros são comparáveis, pode-se construir escalas

interpretáveis.

57

As escalas são definidas por níveis âncoras, que são os pontos da

escala que serão interpretados. Esses pontos são caracterizados por um

conjunto de itens, de preferência itens âncoras, sendo que dificilmente um

instrumento com poucos itens, terá informação suficiente para caracterizar

todos os pontos da escala.

O critério adotado para o posicionamento do item na escala é feito

usando dois níveis âncora consecutivos Y e Z, com Y<Z. Um item é âncora

para o nível Z, se e somente se, obedecer simultaneamente as condições

abaixo:

P(U=1|=Z) ≥ 0,65

P(U=1|=Y) < 0,50

P(U=1|=Z) - P(U=1|=Y) ≥ 0,30

Portanto, um item é âncora se em um determinado nível âncora da

escala é marcado ‘sim’ por pelo menos 65% dos aplicativos com o mesmo nível

do traço latente e por uma proporção de no máximo 50% de aplicativos com o

nível do traço latente imediatamente anterior. Além disso, a diferença entre a

proporção de aplicativos nesses níveis de habilidade que marcaram ‘sim’ nesse

item deve ser de pelo menos 30%. Em outras palavras, para um item ser

âncora ele deve ser um item “típico” daquele nível, ou seja, bastante marcado

nas categorias ‘sim’ por aplicativos com aquele nível de traço latente e pouco

marcado com ‘sim’ por aplicativos com um nível de traço latente imediatamente

inferior (ANDRADE et al. 2000).

Uma das desvantagens desta metodologia é que não há garantia que

existirão no instrumento aplicado itens âncoras para todos os níveis âncoras

determinados. Para tanto, é fundamental que os níveis âncoras sejam

escolhidos não muito próximos uns dos outros e também que o número de

itens aplicados seja bastante grande de modo a possibilitar a construção e a

interpretação da escala de usabilidade. Adotamos aqui, os níveis âncora com

distância de um desvio padrão.

Os itens que permaneceram no checklist são posicionados em algum

ponto da escala, mesmo que não satisfaçam o critério de item âncora. Para

posicioná-los foi adotado apenas o primeiro critério, ou seja, P(U=1|=Z) ≥

0,65.

58

A Figura 13 apresenta a distribuição dos valores de usabilidade dos 247

aplicativos e o posicionamento dos itens na escala.

Figura 13: Posicionamento dos itens e distribuição dos valores de usabilidade dos 247 aplicativos

Observa-se, na Figura 13, que a maior parte dos itens está posicionada

abaixo do nível 50 (referência como valor médio) e a maior parte dos

aplicativos (128) está posicionado acima do nível 50, evidenciando que a maior

parte dos itens apresentados no questionário são básicos para a usabilidade

I81 I32 I44 I50 I14

I60 I47 I80 I41 I20

I13 I30 I54 I01 I62

I35 I86 I48 I79

I58 I91 I06

I76 I02 I18

I07 I12

I59 I90

I26 I83

I33 I57

I31 I82

I45 I25

I17 I42

I04 I27

I89 I61

I87 I11

I36 I71

I34

Ite

ns

59

dos aplicativos. Ou seja, muitos aplicativos possuem as características de

usabilidade perguntadas nos itens. Para cada aplicativo, foi medido o grau de

usabilidade representado por meio de uma nota, sendo estas apresentadas no

Apêndice G.

A Figura 14 fornece informações sobre o checklist para avaliações de

usabilidade de aplicativos para touchscreen phones, apresentando informação

total do conjunto de itens. A partir da figura é possível identificar que a

informação do teste é maior na região abaixo dos 50, o que já era esperado

tendo em vista que a maior parte dos itens ficaram posicionados nessa região.

Assim, pode-se concluir que o checklist proposto é mais indicado para medir

aplicativos que apresentam baixa usabilidade, logo, o erro da nota para estes

aplicativos é menor pois existem muitos aplicativos posicionados nessa área.

Em contrapartida para os aplicativos que estão posicionados acima dessa

região o erro padrão da nota é maior, pois existe pouca informação nessa área.

Figura 14: Curva de Informação do Instrumento de avaliação heurística de aplicativos para

touchscreen phones

4.3.2.1.1 Itens eliminados

A construção de uma escala de medida de usabilidade, ou qualquer

outra escala prática, necessita de reflexões práticas referente ao assunto que

60

se está propondo medir (TEZZA, 2009). Dessa maneira nesta seção é discutido

a eliminação dos itens sob o ponto de vista prático.

A Tabela 20 apresenta os cinco itens eliminados referentes a heurística

Visibilidade e Status do Sistema.

Tabela 20: Itens eliminados referentes a heurística Visibilidade e Status do Sistema Item Descrição

3 Prioriza mensagens relativas a informações críticas e contextuais como o status da bateria e status da

rede?

5 Todas as telas possuem título?

8 O aplicativo oferece informações sobre sua versão?

9 Oferece outras formas de feedback além do textual (luminoso, sonoro, vibração)?

10 Quando uma mensagem é exibida o tempo de exibição é suficiente para realizar a leitura?

A Heurística ‘Visibilidade e status do sistema’ refere-se a informar ao

usuário sobre sua localização dentro do sistema e quaisquer mudanças do

estado do mesmo. O item 3, ‘Prioriza mensagens relativas a informações

críticas e contextuais como o status da bateria e status da rede?’, por exemplo,

elaborado com base em Billi et al. (2010) defende que o usuário deve ter

acesso constante a informações como status da bateria e da rede, que

interferem diretamente em sua interação. Contudo esse item não possui a

capacidade de diferenciar os aplicativos em termos de usabilidade, bem como,

os demais itens dessa heurística que foram eliminados.

Tabela 21: Itens eliminados referentes a heurística Controle e Liberdade do Usuário Item Descrição

15 O aplicativo pode ser fechado e não apenas minimizado?

16 É possível prever o tamanho da tela pelo tamanho do scroll?

19 O usuário pode sair do aplicativo e retornar do ponto onde parou?

21 O usuário pode desfazer (undo) uma ação?

22 O usuário pode refazer (redo) uma ação?

23 Em aplicativos com sobreposição de janelas, estas possuem transparência para que seu contexto fique

visível?

24 Informações relevantes como textos, botões e comandos ficam visíveis quando o teclado é aberto?

Os itens 15, 16, 19, 21, 22, 23 e 24 apresentados na Tabela 21, referem-

se a heurística ‘Controle e liberdade do usuário’. O item 15 ‘O aplicativo pode

ser fechado e não apenas minimizado?’ foi elaborado após a realização da

análise subjetiva do checklist, de uma maneira geral, pode-se concluir que o

61

item está mais relacionado com a usabilidade do aparelho em si do que com a

usabilidade do aplicativo, pois o aplicativo não ser encerrado após o uso

prejudica o desempenho do dispositivo e não do aplicativo. Pode-se inferir que

esta característica está relacionada com um contexto mais amplo de

usabilidade e merece mais estudos posteriores.

O item 19 ‘O usuário pode sair do aplicativo e retornar do ponto onde

parou?’ foi elaborado com base em Zaibon e Shiratuddin (2012) onde os

autores afirmam que interrupções devem ser tratadas de forma natural pelo

sistema, oferecendo ao usuário a possibilidade de reiniciar imediatamente suas

ações. Esse item pode ser considerado importante para a usabilidade dos

aplicativos, pois interrupções em celulares são constantes, como por exemplo,

o recebimento de chamadas, mensagens e e-mails. Por esse motivo, torna-se

importante que o usário posso retomar, do ponto onde parou, as tarefas que

estava realizando no dispositivo. Porém esse item não consegue discriminar os

aplicativos em termos de usabilidade.

Os itens 21 ‘O usuário pode desfazer (undo) uma ação?’ e 22 ‘O usuário

pode refazer (redo) uma ação?’ foram itens que levantaram muitas dúvidas

entre as pesquisadoras durante a realização da avaliação subjetiva do

checklist, pois aplicativos geralmente possuem tarefas mais simples de serem

realizadas e não oferecem, e muitas vezes nem precisam oferecer, opções

para desfazer/refazer uma ação. Conclui-se que as dúvidas levantadas eram

pertinentes e foram confirmadas através da eliminação dos itens.

Tabela 22: Itens eliminados referentes a heurística Consistência e Padrões Item Descrição

28 Itens não clicáveis deixam evidente que não o são?

29 O nome do botão/ícone é consistente com o nome da tela que abre?

Os itens 28, ‘Itens não clicáveis deixam evidente que não o são?’ e 29

‘O nome do botão/ícone é consistente com o nome da tela que abre?’, referem-

se a heurística ‘Consistência e padrões’ e estão apresentados na Tabela 22.

Essa heurística, proporcionalmente, foi a heurística que menos teve itens

eliminados. Apesar desta heurística ter forte correlação com as heurísticas

tradicionais suas definições foram reinterpretadas e ajustadas para dispositivos

62

móveis. Pode-se então presumir que o reajuste realizado foi pertinente e essa

heurística pode ser considerada relacionada ao escopo do conjunto de

heurísticas desenvolvidas para dispositivos móveis. Essa característica vem de

encontro com os resultados encontrados por Salazar et al. (2012) através da

revisão do estado da arte realizado, que teve como objetivo fornecer uma visão

geral sobre o conjunto existente de heurísticas de usabilidade para touchscreen

phones. Os autores afirmam que entre os artigos resultantes dessa revisão, a

heurística ‘Consistência e padrões’ foi uma das mais citadas, indicando um

consenso comum sobre a relevância dessa heurística também para telefones

móveis.

Tabela 23: Itens eliminados referentes a heurística Reconhecimento em vez de Lembrança Item Descrição

39 A opção voltar é apresentada de acordo com o padrão dos aplicativos para esta plataforma?

40 Em cada opção do menu, a primeira palavra é a mais importante?

43 Em todas as telas é possível reconhecer uma identidade visual (marca ou nome do aplicativo, cores, etc)?

46 Os rótulos dos links descrevem adequadamente seu conteúdo e estão de acordo com o conteúdo das

telas que abrem?

A Tabela 23 apresenta os itens 39, 40, 43 e 46 que se referem a

heurística ‘Reconhecimento em vez de lembrança’. Esta heurística, segundo

Nielsen (1994) deve evitar acionar a memória do usuário o tempo inteiro,

fazendo com que cada ação precise ser revista mentalmente antes de ser

executada. As características que essa heurística aborda estão intimamente

relacionadas com os sistemas operacionais que os dispositivos possuem, pois

espera-se que os aplicativos se comportem de acordo com a plataforma para

qual eles foram desenvolvidos. Se assim for, os usuários não precisarão

lembrar como são realizadas as tarefas do aplicativo e sim recordar-se como

os mesmos comandos são executados em seu sistema operacional.

Tabela 24: Itens eliminados referentes a heurística Flexibilidade e Eficiência de uso Item Descrição

49 O propósito/função do aplicativo é claro?

51 O aplicativo é carregado rapidamente?

52 Oferece mecanismos de input alternativos como por voz, por lista, por foto ou por QR-code?

53 O aplicativo oferece mecanismos para uma navegação dinâmica na qual os usuários podem ir de uma tela

para outra com apenas um click sem ter que ir para uma outra página antes?

55 Os usuários experientes têm acesso a um caminho preferencial, claramente sinalizado, para ferramentas

mais rápidas e poderosas?

56 É possível personalizar a interface de acordo com a preferência de cada usuário?

63

Na Tabela 24 podem ser observados os itens 49, 51, 52, 55 e 56, estes

referem-se a heurística ‘Flexibilidade e eficiência de uso’. O item 52 ‘Oferece

mecanismos de input alternativos como por voz, por lista, por foto ou por QR-

code?’ é um item que pode ser considerado importante para dispositivos

móveis, pois na interação com esses dipositivos os usuários geralmente estão

envolvidos em mais distrações e buscam concluir rapidamente as tarefas e

muitas vezes não estão com as mãos disponíveis, por esses motivos, entende-

se que esse item é importante para a usabilidade dos aplicativos. Porém esse

item não se mostrou pertinente ao escopo do cheklist proposto.

Através da análise prática percebe-se que é muito difícil um aplicativo

cumprir a característica indagada no item 55 ‘Os usuários experientes têm

acesso a um caminho preferencial, claramente sinalizado, para ferramentas

mais rápidas e poderosas?’. Permitir que os usuários criem caminhos

preferenciais demanda mais complexidade ao aplicativo e consequentemente

faria que o mesmo ficasse maior, exigindo mais espaço de armazenamento.

Entende-se que espaço, em dispositivos móveis, muitas vezes é restrito, pois

estes possuem recursos limitados, portanto, criar funções além das

necessárias nem sempre é viável.

O item 56 ‘É possível personalizar a interface de acordo com a

preferência de cada usuário?’ foi elaborado com base em Billi et al. (2010)

onde os autores sugerem que baseado nos dados do usuário e de contexto, o

sistema deve, sempre que possível, apoiar e sugerir opções de personalização

para ações frequentes. Esse item não conseguiu distinguir os aplicativos com

boa e má usabilidade, por isso foi eliminado. Do mesmo modo, esse item,

como o anterior, também exige mais complexidade do aplicativo e

consequentemente mais espaço de armazenamento, portanto, nem sempre é

viável disponiblizar tais opções para o usuário.

64

Tabela 25: Itens eliminados referentes a heurística Pouca interação homem/dispositivo Item Descrição

72 O aplicativo evita o uso do scroll, especialmente quando o dispositivo está na posição horizontal?

73 O aplicativo evita a digitação (por exemplo: guardando as respostas mais frequentes do usuário para que

ele não precise digitá-las novamente, oferecendo opções em forma de lista, utilizando o recurso de auto-

completar, etc)?

74 Em situações de busca, possui um mecanismo de entrada de dados tolerante a erros de digitação e uso

de abreviações?

75 O cadastro de usuário exige somente informações necessárias?

Os itens 72, 73, 74 e 75 referem se a heurística ‘Pouca interação

homem/dispositivo’ e são apresentados na Tabela 25. Esta foi uma das

heurísticas adicionais propostas levando em consideração as características

específicas dos dispositivos móveis. Destaca-se o fato dessa heurística ter

quase todos os seus itens eliminados, somente um item permaneceu após a

análise estatística. A eliminação desses itens pode ter sido ocasionada por falta

de informação suficiente para conseguir medir a característica de usabilidade

indagadas nos itens.

O item 72 ‘O aplicativo evita o uso do scroll, especialmente quando o

dispositivo está na posição horizontal?’ foi elaborado com base em Hashim et

al. (2010) e Travis (2011) onde os autores afirmam que os os aplicativos devem

evitar, o uso de scroll, especialmente para a visualização de links e quando o

dispositivo for utilizado na posição horizontal (WESSELS et al., 2011). Contudo,

é possível que pelo tipo de interação mais direta do usuário com um celular

touchscreen, o incômodo gerado pelo uso do scroll seja relativizado.

O item 73 ‘O aplicativo evita a digitação (por exemplo: guardando as

respostas mais frequentes do usuário para que ele não precise digitá-las

novamente, oferecendo opções em forma de lista, utilizando o recurso de auto-

completar, etc)?’ e 74 ‘Em situações de busca, possui um mecanismo de

entrada de dados tolerante a erros de digitação e uso de abreviações?’ são

indicações das guias de estilo do Android. As guias de estilo indicam que os

aplicativos devem saber as preferências dos usuários conforme o mesmo vai

utilizando os recursos disponíveis. O aplicativo não deve pedir que os usuários

façam as mesmas escolhas repetidamente, portanto deve-se disponibilizar,

através de um fácil acesso, as escolhas realizadas anteriormente. Ruach

(2011) e Nilsson (2009) também chamam a atenção para essa questão e

65

afirmam que para reduzir a entrada de dados, pode-se fornecer recursos como

auto-completar, caixas-texto com sugestões, botões, menus, listas com valores

pré-definidos. Podem ser utilizados dados do histórico e de personalização,

como a cache de respostas usadas frequentemente. Rauch (2011) e Lo e Tan

(2012) ressaltam que devem ser tolerados erros de digitação e abreviações.

Para Billi et al. (2010) pelo tamanho do dispositivo móvel e seu contexto

de uso (em movimento, com uma das mãos, etc), é importante que seja

reduzido o esforço de interação. Porém, devido ao fato da heurística ‘Pouca

interação homem/dispositivo’ ter apresentado muitos itens eliminados, indica-se

que seja realizada uma nova avaliação da mesma. Sugere-se que os itens

sejam repensandos, revisados e reformulados no sentido de determinar a

importância ou não dessa heurística.

Tabela 26: Itens eliminados referentes a heurística Interação física e ergonomia Item Descrição

77 Possui links com tamanho adequado ao clique?

78 Possui espaço suficiente entre botões e links, evitando que o usuário selecione outro elemento?

A Tabela 26 apresenta os itens 77 e 78 que referem-se a heurística

‘Interação física e ergonomia’. Esta heurística também é uma das heurísticas

adicionais propostas. Dos seis itens que a compunham, somente dois foram

eliminados. Pode-se inferir que essa heurística é relevante para dispositivos

móveis touchscreen. Os itens eliminados foram os itens 77 ‘Possui links com

tamanho adequado ao clique?’ e 78 ‘Possui espaço suficiente entre botões e

links, evitando que o usuário selecione outro elemento?’, estes itens foram

elaborados com base em Rauch (2011), Lo e Tan (2012) e Travis e Tay (2011)

onde os autores afirmam que os controles de navegação mais comuns devem

estar ao alcance do usuário, podendo ser pressionados facilmente com o

polegar. Os autores ainda sugerem que os elementos de controle sensíveis ao

toque devem ter tamanho e espaçamento adequados para que os usuários

possam tocá-los facilmente com os dedos, e, no caso de links contidos em

texto, devem utilizadas aproximadamente três palavras. Destaca-se que os

itens eliminados referem-se a presença de links nas interfaces dos aplicativos,

pode-se inferir então que os aspectos relacionados a presença de links não

66

interferem significativamente na usabilidade dos aplicativos, até mesmo por

não serem recorrentes.

Tabela 27: Itens eliminados referentes a heurística Legibilidade e Layout Item Descrição

84 A interface do aplicativo se adapta a rotação da tela?

85 Independente da orientação e do uso do scroll, todo conteúdo fica visível na tela, sem cortes?

88 As imagens (gráficos, ícones, etc) também são descritas textualmente?

92 Quando utiliza o scroll é somente vertical ou somente horizontal?

Os itens 84, 85, 88 e 92 (Tabela 27) referem-se a heurística ‘Legibilidade

e layout’ outra heurística criada levando em consideração as características

específicas dos dispositivos móveis.

O item 88 ‘As imagens (gráficos, ícones, etc) também são descritas

textualmente?’ foi elaborado com base em Travis e Tay (2011) onde os autores

afirmam que o aplicativo deve fornecer descrição textual como alternativa às

informações veiculadas com gráficos. O item 92 ‘Quando utiliza o scroll é

somente vertical ou somente horizontal?’ foi elaborado pelas pesquisadoras do

GQS durante a avaliação subjetiva do checklist, pois foi percebido que alguns

aplicativos utilzavam em suas telas scroll horizontal e vertical ao mesmo tempo,

dificultando a exibição do conteúdo.

A heurística ‘Legibilidade e layout’ era composta por onze itens e

somente quatro itens foram eliminados demonstrando assim a relevância da

mesma. Pode-se afirmar que as características indagadas nos itens

pertencentes a essa heurística conseguem medir a usabilidade dos aplicativos

e diferenciar os aplicativos com boa e má usabilidade.

Tabela 28: Itens eliminados referentes as heurísticas Ajuda e Documentação, Prevenção de Erros e Ajuda, diagnóstico e recuperação de erros

Item Descrição

37 Nas primeiras interações do usuário com o aplicativo são mostradas instruções básicas?

38 Os botões e controles que desencadeiam ações irreversíveis ficam localizados em áreas de difícil acesso,

exigem gestos desafiadores ou uma confirmação do usuário (como por exemplo a técnica slide-to-unlock

control usada pelos sistemas Android e Apple)?

64 O aplicativo permite fácil recuperação de erros?

65 As mensagens de erro são claras apontando a causa do erro?

66 As mensagens de erro, quando possível proveem uma ou mais opções de navegação, como, por exemplo

um link de "Voltar" para retornar à página anterior, um link "Repetir" para tentar repetir a transação?

67 As mensagens de erro são amigáveis com usuário (não ofendem)?

68 O aplicativo possui uma opção de ajuda?

69 É fácil localizar a ajuda?

70 A ajuda é de fácil compreensão?

67

As heurísticas ‘Ajuda e Documentação’, ‘Prevenção de Erros’ e ‘Ajuda,

diagnóstico e recuperação de erros’ tiverem todos os seus itens eliminados, os

mesmos estão apresentados na Tabela 28. Essas heurísticas não se

mostraram capazes de diferenciar os aplicativos em termos de usabilidade. A

eliminação desses itens vem de encontro com as afirmações de Salazar et al.

(2012) onde os autores expoem o resultado da revisão do estado da arte

realizado pelos mesmos. Os resultados indicaram que heurísticas, tais como

Prevenção de Erros e Ajuda e Documentação basicamente não foram citadas

nos artigos encontrados. Esses resultados indicam que, pela maioria dos

autores, essas heurísticas são consideradas irrelevantes para dispositivos de

celulares touchscreen.

Durante a realização das avaliações percebeu-se que alguns desses

itens muitas vezes eram discutíveis, por exemplo os itens 68 ‘O aplicativo

possui uma opção de ajuda?’, 69 ‘É fácil localizar a ajuda?’, 70 ‘A ajuda é de

fácil compreensão?’ e o item 37 ‘Nas primeiras interações do usuário com o

aplicativo são mostradas instruções básicas?’. Pode-se considerar de uma

maneira geral que essas características são importantes para a usabilidade,

mas isso nem sempre é verdadeiro, em muitas situações essas características

não são importantes. Aplicativos muitos simples, geralmente, não precisam de

ajuda e nem instruções básicas para a sua utilização. As guias de estilo do

iOS, que orientam o desenvolvimento dos aplicativos para essa plataforma,

recomendam que os aplicativos sejam intuitivos e fáceis de usar para que os

usuários não precisem de conteúdo de ajuda, pois os usuários de dispositivos

móveis não tem tempo nem desejo de ler um grande conteúdo de ajuda, além

disso, o conteúdo de ajuda ocupa espaço de armazenamento, que em

dispositivos móveis é restrito.

Em contrapartida o item 38 ‘Os botões e controles que desencadeiam

ações irreversíveis ficam localizados em áreas de difícil acesso, exigem gestos

desafiadores ou uma confirmação do usuário (como por exemplo a técnica

slide-to-unlock control usada pelos sistemas Android e Apple)?’ foi elaborado

com base em Rauch (2011) onde o autor sugere que sejam fornecidas ações

de confirmação para determinadas ações, como excluir. As guias de estilo do

Android reforçam esse ideia quando indicam que em algumas situações é uma

68

boa ideia pedir ao usuário que ele confirme a ação que ele está executando

antes de prosseguir. As guias de estilo do iOS abordam essa questão e

afirmam que os usuários esperam ter uma chance de confirmar a sua intenção

de realizar uma ação potencialmente irreversível. O item 38 pode ser

considerado importante em relação a usabilidade dos aplicativos. É importante

lembrar que dispositivos móveis são usados em ambientes diversos e com

muita distração, portanto pode ocorrer que o usuário execute uma ação

irreversível por engano ou por um toque impreciso, justifica-se assim a

importância do item para prevenir que o usuário cometa erros ou execute

ações de forma inadvertida. A eliminação deste item, não significa que ele não

represente uma característica importante de usabilidade, todavia, não se

apresentou alinhado ao checklist desenvolvido.

Os itens 64 ‘O aplicativo permite fácil recuperação de erros?’, 65 ‘As

mensagens de erro são claras apontando a causa do erro?’, 66 ‘As mensagens

de erro, quando possível proveem uma ou mais opções de navegação, como,

por exemplo um link de "Voltar" para retornar à página anterior, um link

"Repetir" para tentar repetir a transação?’ e 67 ‘As mensagens de erro são

amigáveis com usuário (não ofendem)?’ referem-se e a heurística ‘Ajuda,

diagnóstico e recuperação de erros’ e foram todos eliminados após a análise

estatística. Nielsen (1994) recomenda que as mensagens de erro devem ser

expressas de forma clara (sem códigos), indicando precisamente o problema, e

sugerindo construtivamente uma solução. Porém quando se trata de aplicativos

para dispositivos móveis touchscreen essa heurística pode ser considerada

irrelavante.

Compreende-se que os 44 itens foram eliminados por apresentarem

baixo poder de discriminação, ou seja, não possuem capacidade de diferenciar

aplicativos com boa usabilidade dos aplicativos com usabilidade ruim. Essa

capacidade é uma importante característica que reflete a qualidade de um item.

Um bom item é aquele que discrimina os aplicativos com desempenho superior

daqueles com desempenho inferior. Entende-se que o checklist proposto é

cumulativo, isso equivale a dizer que os aplicativos que possuem as melhores

avaliações, provavelmente, terão todas as caracteristicas indagadas nos itens

mais fáceis e provavelmente também terão as características indagadas nos

69

itens mais difíceis.

De forma geral, as questões que foram eliminadas eram atendidas por

grande parte dos aplicativos ou eram atendidas de forma distribuída, tanto por

aplicativos classificados com má quanto com boa usabilidade. Essa situação

indica que tais questões não se mostraram eficientes para diferenciar

aplicativos com boa usabilidade. Contudo, seria necessário um estudo mais

detalhado para confirmar se tais questões realmente não se referem a

questões de usabilidade, que poderiam ser úteis no processo de

desenvolvimento de aplicativos, por exemplo.

4.3.2.1.2 Escala de Medida do Grau de Usabilidade

Com o objetivo de realizar uma interpretação qualitativa dos valores

obtidos com a aplicação do checklist, permitindo identificar em que nível de

grau de usabilidade os aplicativos avaliados se encontram, bem como em quais

aspectos atendem ou não questões de usabilidade, é construída uma escala de

medida do grau de usabilidade. A escala de medida é uma escala arbitrária

onde o importante são as relações de ordem existentes entre seus pontos e

não necessariamente sua magnitude (ANDRADE et al. 2000). A construção da

escala permite identificar quais requisitos correspondem ao maior ou menor

grau de usabilidade.

Na Tabela 29, estão as características referentes aos 4 níveis do grau

de usabilidade. Os itens que compõem cada nível da escala, bem como a

heurística as quais eles pertencem podem ser observados no Apêndice I.

A definifição dos níveis da escala foi realizada pelas pesquisadoras do

GQS. Os níveis apresentados na escala são provenientes da região da escala

onde há informação disponível (a partir do nível 20 até o nível 60). Após a

definição da escala foi realizada a interpretação de cada um dos níveis, onde

foram analisados o conjunto de itens que os compõem e que caracterizam

cada nível.

70

Tabela 29: Escala de Medida do Grau de Usabilidade Nível Descrição

Os aplicativos avaliados utilizando o checklist para avaliação de aplicativos para toucscreen phones quase sempre ou sempre.....

30

Evitam abreviaturas e utilizam o mesmo idioma em textos. Apresentam os links de forma consistente entre as telas. Possuem botões e links com a área clicável ocupando toda a dimensão dos mesmos. Nas tarefas realizadas são os usuários que as iniciam e não o aplicativo. As funções similares são apresentadas de forma semelhante. Em campos onde há a necessidade de inserção de dados isso é evidente.

40

Possuem botões com tamanho adequado ao clique e os mesmos podem ser acessados com qualquer uma das mãos. Utilizam em seus textos e rótulos uma linguagem habitual e conhecida pelo usuário. Os textos só são utilizados quando são realmente indispensáveis, possuem contraste suficiente em relação ao plano de fundo e são apresentados de forma padronizada. Permitem que as funções mais utilizadas sejam facilmente acessadas. Os controles que realizam a mesma função ficam em posições semelhantes na tela e funções diferentes são apresentadas de maneira distinta ao usuário. Possibilitam o retorno a tela anterior a qualquer momento. Possuem navegação consistente entre as telas e os títulos das telas descrevem adequadamente o seu conteúdo e possuem o mesmo título quando o conteúdo é o mesmo. As informações exibidas somente estão relacionadas com a tarefa que está sendo executada.

50

Possuem tarefas simples de serem executadas, e informações dispostas em uma ordem lógica e natural, deixando claro o próximo passo para realizar a tarefa. O menu é esteticamente simples e claro. A navegação é intuitiva e seguem os padrões de plataforma na disposição dos dados e mensagens mais importantes.. Possuem feedback imediato e adequado sobre seu status para cada ação do usuário. Apresentam título e rótulo curtos, o alinhamento favorece a leitura, em como as fontes e o espaçamento entrelinhas. Utilizam objetos (ícones) ao invés de botões e o signoficado de símbolos e ícones são compreensíveis e intuitivos. Não apresentam problemas durante a interação. Realçam conteúdos mais importantes, deixando-os maiores, mais brilhosos, negrito ou mais detalhados. Controles e botões deixam evidente que são clicáveis, assim como os componentes interativos selecionados se distinguem dos demais.

60

Exibem pequenas quantidades de informação em cada tela e todas as telas mantêm acessíveis menus e funções comuns do aplicativo. Permitem identificar o número de passos necessários para a realização de uma tarefa e também permitem que o usuário cancele uma ação em progresso. Seguem os padrões da plataforma para a navegação principal. Permitem, no caso de aplicativos associados a cadastro de login ou contas de e-mail, o fácil acesso de mais de um usuário.

Considera-se que o nível 30 possui, na escala proposta, um grau de

exigência de usabilidade baixo, portanto, os itens que o compõem abordam

requisitos básicos de usabilidade. A heurística de usabilidade predominante

neste nível é a heurística ‘Consistência e Padrões’, ligada à organização das

informações na interface de forma que o aplicativo ofereça uma navegação

consistente entre as telas e permita que o usuário utilize conhecimentos

adquiridos na interação com outros aplicativos. Essa heurística tem como

objetivo estabelecer um padrão, ou seja, coerência na exibição das

informações. A utilização de um padrão permite que o usuário consiga

reconhecer os elementos, rótulos e ações. Em touchscreen phones,

71

caracterizados por possuírem um pequeno espaço de exibição, o usuário está

mais suscetível a desistência ou perda de foco, portanto eles precisam

assimilar as informações de uma maneira rápida diminuindo as chances de

falharem ao tentar executar uma ação.

Na escala proposta, considera-se o grau de usabilidade de nível 40

maior que o nível 30, sendo assim, os itens que representam o nível 40

possuem maior exigência que os itens que representam o nível 30. Entende-se

que o checklist proposto é cumulativo, o que significa dizer que aplicativos que

apresentam as características abordadas pelo nível 40 provavelmente

apresentam também as características abordadas pelos itens do nível 30.

Os itens pertencentes ao nível 40 estão distribuídos entre as 9

heurísticas que compõem o checklist, porém a heurística mais presente nesse

nível novamente é a heurística ‘Consistência e Padrões’ seguida da heurística

‘Legibilidade e layout’.

A heurística ‘Consistência e Padrões’ destaca-se nos dois níveis mais

baixos da escala tendo 8 de seus 9 itens no nível 30 ou no nível 40. Assim,

pode-se concluir que essa heurística consegue avaliar muito bem os aplicativos

com baixa usabilidade.

O próximo nível da escala é o nível 50, o que significada dizer que os

aplicativos que apresentam as características abordadas pelo nível 50

provavelmente também apresentam as características abordadas pelos níveis

30 e 40. O nível 50 pode ser considerado como sendo um grau de usabilidade

médio, portanto, os itens que compõem essa heurística abordam requisitos de

usabilidade não tão fáceis quanto os níveis inferiores e também não tão difíceis

como no nível superior. As heurísticas predominantes nesse nível são as

heurísticas ‘Visibilidade do status do sistema’, ‘Legibilidade e layout’ e

‘Flexibilidade e eficiência de uso’.

A heurística ‘Visibilidade do status do sistema’ aborda as características

que permitem que o usuário tenha conhecimento de todas as informações

importantes sobre o status do aplicativo e das tarefas que ele está executando

(NIELSEN, 1994). O aplicativo deve manter o usuário informado sobre o que

está acontecendo, fornecendo um feedback adequado dentro de um tempo

razoável.

72

A heurística ‘Legibilidade e layout’ é uma das heurísticas adicionais

propostas e refere-se as características específicas de layout que os

dispositivos touchscreen phones apresentam. Os aplicativos para esses

dispositivos devem levar em consideração as diferentes condições de

iluminação, o contraste entre texto e fundo ou ícones e fundo, também é

importante limitar o número de cores utilizadas (SALAZAR et al. 2012).

A heurística ‘Flexibilidade e eficiência de uso’ diz respeito a adaptação

da interface ao contexto e as necessidades do usuário, ou seja, a interface

deve apresentar eficiência de uso (NIELSEN, 1994). O aplicativo deve ser de

fácil interação para usuários inexperientes e ao mesmo tempo deve permitir

que os usuários mais experientes consigam personalizar ações frequentes.

Essa heurística é especialmente importante no contexto de aplicativos para

celulares touchscreen que apresentam uma interação mais rápida e

fragmentada.

Essas três heurísticas que compõem, predominantemente, o nível 50

tem a capacidade de diferenciar aplicativos com usabilidade média. Pode-se

então dizer que características relacionadas a essas heurísticas agregam maior

grau de usabilidade aos aplicativos em comparação com a heurística

‘Consistência e Padrões’. Conclui-se que aspectos relacionados a consistência

e padrões são mais fáceis de serem cumpridos pelos aplicativos. Após estas

características serem cumpridas o que diferencia os aplicativos para um nível

de usabilidade um pouco maior são os aspectos relacionados a Visibilidade do

status do sistema, Legibilidade e layout e Flexibilidade e eficiência de uso.

O nível mais alto da escala é o nível 60, portanto, aplicativos que

apresentam as características abordadas pelos itens que compõem esse nível

possivelmente apresentam também as características abordadas nos itens dos

níveis anteriores. Somente quatro heurísticas compõem esse nível. Sendo a

heurística ‘Controle e liberdade do usuário’ a heurística dominante, essa refere-

se ao controle do usuário sobre sua navegação, como quando optam por

engano por uma funcionalidade que não pretendiam. Em situações assim, o

usuário deseja sair da funcionalidade errada e retornar a tarefa a partir de

algum ponto sem precisar percorrer um longo diálogo (NIELSEN, 1994). Dessa

maneira o usuário deve sempre poder sair da tela atual, cancelar uma ação

73

executada ou uma ação em progresso.

No nível 60, as características de controle e liberdade do usuário são o

aspecto principal. Já no nível 30 os principais aspectos estão relacionados a

consistências e padrões. Essa distinção permite concluir que os aspectos

abordados no nível 60, quando comparados aos aspectos abordados no nível

30, exigem um grau maior de usabilidade. Pode-se afirmar que características

relacionadas ao controle e liberdade do usuário agregam maior grau de

usabilidade que características relacionadas a consistências e padrões.

Embora a falta de padrões e consistência torne a interação com o

aplicativo mais difícil, a presença dessas falhas provavelmente não impedirão

que os usuários realizem determinada tarefa ou ação. Por exemplo, possuir

botões com tamanho adequado ao clique (item 76) pode facilitar a interação do

usário com o aplicativo, mas dificilmente impedirá que o usuário conclua suas

ações. Já problemas ligados ao controle e liberdade do usuário podem impedir,

ou dificultar expressivamente a realização de determinada ação. Por exemplo,

impedir que o usuário cancele uma ação em progresso (ex.: download)(item

20), pode impedir que o usuário de continuidade a uma tarefa ou alterne para

outra tarefa que ele deseja realizar.

Vale ressaltar que aplicativos que estão abaixo do nível 30, o menor

nível da escala, não apresentam nem as características básicas de usabilidade.

4.3.2.1.3 Checklist proposto

Como resultado da análise estatística do checklist, uma nova versão do

mesmo foi proposta. A nova versão pode ser observada na Figura 15.

Como escala de resposta aos itens do checklist é adotada uma escala

ordinal com três opções:

Sim (Se o aplicativo estiver de acordo com o item);

Não (se não estiver de acordo com o item) e

Não se aplica (caso o item não possa ser avaliado ou não seja

pertinente ao escopo da aplicação).

É importante destacar que a opção ‘parcial’ não está presente na nova

configuração do checklist. Esta categoria foi agrupada a categoria ‘não’.

74


Avaliador: Data:


Heurísticas Questões N6 S7 NA8



2. Os componentes interativos selecionados são claramente distintos dos demais?




6. O significado de símbolos e ícones são compreensíveis e intuitivos?

7. As informações são dispostas em uma ordem lógica e natural?

Anotações:


8. É o usuário quem inicia e encerra tarefas e não o aplicativo?

9. É possível identificar o número de passos necessários para a realização de uma tarefa?

10. É possível retornar a tela anterior a qualquer momento?

11. No caso de aplicativos associados a cadastro de login ou contas de e-mail, permite o fácil acesso de mais de um usuário?

12. O usuário pode cancelar uma ação em progresso (ex.: download)?

13. O aplicativo deixa claro qual o próximo passo para realizar a tarefa?

Anotações:


14. As telas com o mesmo tipo de conteúdo possuem o mesmo título?

15. Controles e botões se distinguem do restante do layout, deixando evidente que são clicáveis?

16. Todas as informações textuais do aplicativo utilizam o mesmo idioma?

17. Funções diferentes são apresentadas de maneira distinta ao usuário?

18. Funções semelhantes são apresentadas de forma similar?

19. Controles que realizam a mesma função ficam em posições semelhantes na tela?

20. A forma de navegação é consistente entre as telas no aplicativo?

21. Os links são tratados de forma consistente entre as telas?

22. As informações textuais são apresentadas de forma padronizada? (tamanho da fonte, cor)

Anotações:

Reconhecimento em vez de lembrança

23. Os títulos e rótulos são curtos?

24. Os dados e mensagens mais importantes encontram-se na posição padrão dos aplicativos para esta plataforma?

25. O aplicativo utiliza em seus textos e rótulos, uma linguagem habitual e conhecida pelo usuário?

26. Os títulos das telas descrevem adequadamente seu conteúdo?

27. Em campos onde há a necessidade de inserção de dados isso é evidente?

75

Figura 15: Checklist v3.0 proposto para avaliação de usabilidade dos dispositivos touchscreen phones

Legenda:

N - Não

S – Sim

NA – Não se aplica

Anotações:


28. O aplicativo funciona corretamente, sem apresentar problemas durante a interação (trava, botões não funcionam no primeiro clique, etc)?

29. As tarefas são relativamente simples de serem executadas?

30. As funções mais utilizadas são facilmente acessadas?

31. O aplicativo utiliza objetos (ícones) ao invés de botões?

Anotações:

Estética e Design Minimalista 32. São exibidas apenas informações relacionadas a tarefa que esta sendo realizada?

33. São usados textos somente quando estes são realmente indispensáveis?

34. Em textos o uso de abreviaturas é evitado?

35. O menu é esteticamente simples e claro?

36. O aplicativo exibe quantidades pequenas de informações em cada tela?

Anotações:


37. A navegação do aplicativo é intuitiva?

Anotações:

Interação Física e Ergonomia 38. Possui botões com tamanho adequado ao clique?

39. A navegação principal encontra-se na posição padrão dos aplicativos para esta plataforma?

40. Os botões e controles podem ser facilmente acessados com qualquer uma das mãos ou há opção para destro ou canhoto?

41. A área clicável dos botões e links ocupa toda a dimensão dos mesmos?

Anotações:

Legibilidade e Layout 42. O espaçamento entrelinhas utilizado favorece a leitura?

43. As fontes utilizadas favorecem a leitura?

44. Os ícones possuem contraste suficiente em relação ao plano de fundo?

45. Os textos tem contraste suficiente em relação ao plano de fundo?

46. As imagens possuem cor e detalhamento favoráveis a leitura em uma tela pequena?

47. O aplicativo realça conteúdos mais importantes, deixando-os maiores, mais brilhosos, negrito ou mais detalhados?

48. O alinhamento utilizado favorece a leitura?

Anotações:

76

5 DISCUSSÃO

A partir da análise realizada foi possível identificar estatiscamente quais

itens que compõem o checklist realmente medem o mesmo traço latente, ou

seja, os itens que contribuem mais para medir a usabilidade. Os 44 itens que

apresentaram problemas, ou seja, não contribuíram para medir a usabilidade,

foram eliminados do checklist. Restando, assim, 48 itens para compor o

mesmo e para construir a escala de medida do grau de usabilidade. Com base

na análise, conclui-se também que o checklist é ideal para medir aplicativos

com baixa usabilidade.

Os resultados alcançados indicam que, a princípio, o conjunto de

heurísticas resultante após a análise estatística é válido e portanto, mede o

grau de usabilidade dos aplicativos para dispositivos móveis touchscreen

phones. Dentre as doze heurísticas propostas inicialmente, nove heurísticas

podem ser consideradas pertinentes ao escopo dos aplicativos para

touchscreen phones e foram mantidas no checklist.

Destaca-se a importância da heurística ‘Consistência e padrões’ na

avaliação dos aplicativos. Essa heurística mostrou-se presente,

predominantemente, nos dois níveis mais baixos da escala e, portanto,

consegue avaliar muito bem os aplicativos com baixa usabilidade. A heurística

‘Consistência e padrões’ aborda os aspectos mais básicos de usabilidade dos

aplicativos.

Já no nível mais alto da escala a heurística predominante é a heurística

‘Controle e liberdade do usuário’. Pode-se concluir que os aspectos ligadas a

essa heurística agregam maior grau de usabilidade aos aplicativos.

Em relação as novas heurísticas propostas, a heurística ‘Pouca interação

homem/dispositivo’ merece mais estudos, pois apresentou muitos itens

eliminados, restando somente um item para compor a mesma. Sugere-se,

então, que os itens eliminados sejam reformulados e reavaliados ou novos

itens sejam criados no sentido de determinar a validade ou não dessa

heurística. Em contrapartida as novas heurísticas ‘Interação física e ergonomia’

e ‘Legibilidade e layout’ apresentaram poucos itens eliminados, portanto pode-

77

se inferir que as mesmas são relevantes para dispositivos móveis touchscreen

e os itens pertencentes a essas heurísticas conseguem medir a usabilidade

dos aplicativos e diferenciar os aplicativos com boa e má usabilidade

As heurísticas ‘Ajuda e Documentação’, ‘Prevenção de Erros’ e ‘Ajuda,

diagnóstico e recuperação de erros’ tiverem todos os seus itens eliminados.

Evidenciando, assim, que essas heurísticas podem ser consideradas

irrelevantes para dispositivos celulares touchscreen. A eliminação dessas

heurísticas vem de encontro com as análises teórica e prática sobre as

mesmas.

5.1 Ameaças à validade

No desenvolvimento de pesquisas científicas faz-se necessário observar

ameaças que possam interferir na validade e confiabilidade dos resultados. No

presente trabalho pode-se considerar como uma ameaça o fato das avaliações

heurísticas requererem conhecimento e experiências dos pesquisadores. A

ação de controle tomada frente a essa ameaça foi a realização da calibração

das pesquisadoras.

Outra ameaça que deve ser considerada são as diferentes características

apresentadas pelos dispositivos celulares touchscreen. Essas diferenças

podem influenciar os resultados das avaliações heurísticas. A ação de controle

adotada para diminuir essa ameaça é a utilização de sete aparelhos distintos

que contribuíram para diversificar as avaliações heurísticas.

Em relação aos aplicativos escolhidos para realizar as avaliações a

ameaça presente é a escolha correta dos aplicativos. A amostra deveria ser

diversificada, tanto aplicativos ruins quantos bons para que os resultados

fossem relevantes. A ação tomada foi a mudança do critério de seleção dos

aplicativos, percebeu-se que os critérios adotados na primeira iteração fizeram

com que a amostra não fosse bem distribuída, então, para a segunda iteração

de avaliações os critérios foram revisados e modificados para que ao final os

dados ficassem melhor distribuídos.

Vale ressaltar uma outra ameaça que pode interferir na validade e

confiabilidade dos resultados, é a fadiga das pesquisadoras por realizar um

78

grande número de avaliações, esta ameaça foi controlada através da divisão

do número de avaliações entre as avaliadoras e a realização das avaliações

dentro de um período de tempo adequado.

79

6 CONCLUSÃO No presente trabalho o objetivo principal foi avaliar a validade de um

conjunto de heurísticas de usabilidade para dispositivos celulares touchscreen.

A avaliação teve como objetivo verificar se o conjunto de heurística/checklist

mede o grau de usabilidade dos aplicativos para touchscreen phones. Essa

validação se deu a partir da validação da qualidade dos itens que compõem o

checklist. O checklist foi aplicado a 247 aplicativos e os resultados obtidos

foram analisados utilizando a Teoria da Resposta ao Item. O checklist inicial

era composto por 92 itens, o resultado da análise eliminou 44 itens por falta de

consistência ao conjunto, resultando assim em um checklist com 48 itens. A da

hipótese definida incialmente é verdadeira e foi confirmada a partir dos

resultados alcançados. O conjunto de heurísticas resultante após a análise

estatística é válido e portanto, mede o grau de usabilidade dos aplicativos para

dispositivos móveis touchscreen phones.

Neste trabalho foi estudado, fundamentado e analisado os aspectos

teóricos que envolvem questões de usabilidade dos dispositivos móveis

touchscreen phones. Também foi estudado alguns aspectos da Teoria da

Resposta ao Item. Foi realizada uma revisão sistemática do estado da arte em

relação a pesquisas correlatas referente a avaliações/validações de heurísticas

de usabilidade. A revisão sistemática apontou que existe um número muito

pequeno de artigos que citam validações/avaliações de heurísticas. Apenas

dois artigos mencionavam validações preliminares, portanto, necessitando a

realização de mais estudos para que fosse possível obter melhores

conclusões. Estes resultados evidenciam a carência de estudos nessa área,

indicando a contribuição deste trabalho.

A contribuição do presente trabalho está na criação de uma escala

padronizada do grau de usabilidade permitindo assim, a comparabilidade entre

aplicativos para dispositivos touchscreen phones. O presente trabalho também

permite inferir a usabilidade de um aplicativo com um esforço mínimo

necessário. Os resultados obtidos podem ser utilizados para avaliar o grau de

usabilidade de aplicativos para dispositivos touchscreen phones visando a

melhora a usabilidade dos mesmos.

80

Os resultados deste trabalho permitem que outras oportunidades de

pesquisa na área de usabilidade e aplicativos possam ser desenvolvidas.

Avaliações que envolvam usuários não foram utilizadas no presente trabalho,

portanto recomenda-se a realização de testes de usabilidade com o objetivo de

avaliar o checklist proposto. Testes de usabilidade simulam situações de uso e

avaliam um produto através da observação sistemática dos usuários

interagindo com o sistema.

Outra importante oportunidade de pesquisa é a ampliação do checklist.

Essa ampliação deve ser realizada explorando conceitos mais particulares das

interfaces dos dispositivos touchscreen phones com o objetivo de permitir

medir a usabilidade de aplicativos com maior grau de usabilidade.

É importante destacar que existem várias categorias de aplicativos e

algumas são bem específicas, como por exemplo, os jogos, esses aplicativos

apresentam características particulares de uso e interação. Essas

características representam uma possibilidade de desenvolvimento de um

estudo para a criação de um conjunto de heurísticas e um checklist para inferir

a usabilidade destes aplicativos.

81

REFERÊNCIAS

ACM SIGCHI. ACM Special Interest Group on Computer-Human Interaction. 2009. Disponível em: <http://old.sigchi.org/cdg/>. Acesso em: 10 ago. 2012.

AGÊNCIA NACIONAL DE TELECOMUNICAÇÕES. Ministério das Comunicações. Relatório de Acompanhamento 2011. Brasília, 2011. Disponível em < http://www.anatel.gov.br/Portal/verificaDocumentos/documento.asp?numeroPublicacao=273912&pub=principal&filtro=1&documentoPath=273912.pdf> Acesso em: 13 mai 2012. AGÊNCIA NACIONAL DE TELECOMUNICAÇÕES. Ministério das Comunicações. Relatório Anual 2010. Brasília, 2011. Disponível em < http://www.anatel.gov.br/Portal/verificaDocumentos/documento.asp?numeroPublicacao=260639&assuntoPublicacao=Relatorio%20Anual%202010&caminhoRel=Cidadao-Biblioteca-Acervo%20Documental&filtro=1&documentoPath=260639.pdf> Acesso em: 13 mai 2012. AGÊNCIA NACIONAL DE TELECOMUNICAÇÕES. Ministério das Comunicações. Relatório 2012. Brasília, 2012. Disponível em < http://www.anatel.gov.br/Portal/verificaDocumentos/documento.asp?numeroPublicacao=297390&pub=original&filtro=1&documentoPath=297390.pdf> Acesso em: 22 mai 2013.

ALEXANDRE, J. W. C.; ANDRADE, D.F.; VASCONCELOS, AP.; ARAUJO, A M S. Uma proposta de analise de um construto para a medição dos fatores críticos da gestão pela qualidade através da TRI. Gestão & Produção. v.9, n.2, p.129-141, 2001

ALSOS, O. A., DAS, A., & SVANÆS, D. Mobile health IT: The effect of user interface and form factor on doctor–patient communication. International Journal of Medical Informatics, 81, 12–28. 2012

ANDRADE, D. F.; TAVARES, H. R. e VALLE, R. C. Teoria de Resposta ao Item: conceitos e aplicações. ABE — Associação Brasileira de Estatística, 4º SINAPE, 2000.

ASSIS, P. de. Como funcionam as telas sensíveis ao toque (touch screen), 2009, Disponível em: <http://www.tecmundo.com.br/projetor/2449-como-funcionam-as-telas-sensiveis-ao-toque-touch-screen-.htm#ixzz2QfPTm3AT>. Acesso em: 13 mai 2012.

AYOB, N., HUSSIN, A.R.C. & DAHLAN, H.M. Three Layers Design Guideline for Mobile Application. International Conference on Information Management and Engineering (ICIME),427-431. Malaysia. 2009.

BARROS, A. J. S. e LEHFELD, N. A. S. Fundamentos de Metodologia: Um Guia para a Iniciação Científica. 2 Ed. São Paulo: Makron Books, 2000.

BASTIEN, J. M. C., SCAPIN, D. Ergonomic Criteria for the Evaluation of Human-Computer interfaces. Institut National de recherche en informatique et en automatique, France, 1993.

http://www.anatel.gov.br/Portal/verificaDocumentos/documento.asp?numeroPublicacao=260639&assuntoPublicacao=Relatorio%20Anual%202010&caminhoRel=Cidadao-

http://www.anatel.gov.br/Portal/verificaDocumentos/documento.asp?numeroPublicacao=260639&assuntoPublicacao=Relatorio%20Anual%202010&caminhoRel=Cidadao-

82

BERTINI, E.; Catarci,T.; GABRIELLI ,S.; KIMANI, S. Appropriating Heuristic Evaluation Methods for Mobile Computing. 2006, Proceedings of the Working Conference on Advanced Visual interfaces, Venezia, Italy. 2006. BILLI, M., BURZAGLI, L., CATARCI, T., SANTUCCI, G., BERTINI, E., GABBANINI, F. & PALCHETTI, E. A unified methodology for the evaluation of accessibility and usability of mobile applications. Universal Acess in the Information Society, (9), 337–356. 2010. CARROLL, J. M. Human Computer Interaction (HCI). In: Soegaard, Mads and Dam, Rikke Friis (eds.). "Encyclopedia of Human-Computer Interaction". Aarhus, Denmark: The Interaction Design Foundation. 2009. Disponível em: <http://www.interaction-design.org/encyclopedia/human_computer_interaction_hci.html>. Acesso em: 10 ago. 2012.

CARVAJAL, R. I. Usability Heuristics for Touchscreen-based Mobile Devices. Pontificia Universidad Católica de Valparaíso Facultad de Ingeniería. Valparaíso, 2012.

CARVALHO, J. O. F. de. O papel da interação humano- computador na inclusão digital. Revista Transinformação. Programa de Pós-Graduação em Ciência da Informação da Pontifícia Universidade Católica de Campinas. Campinas, SP. v. 15, n. 3, setembro/dezembro, p. 75-89, 2003.

CASTRO, S. M. J. Teoria da resposta ao item: Aplicação na avaliação da intensidade de sintomas depressivos. 2008. Tese (Doutorado em Epidemiologia) – Programa de Pós- Graduação em Epidemiologia, Faculdade de Medicina, Universidade Federal do Rio Grande do Sul, Porto Alegre, 2008.

CHANGEWAVE RESEARCH. Disponível em: <http://www.changewaveresearch.com/>. Acesso em: 29 ago. 2012

COELHO, L. S.; HOBOLD, G. C. Desenvolvimento de Protótipos de Interfaces Humano-Computador na Área de Saúde para Convergência Digital. Trabalho de Conclusão de Curso. (Graduação em Sistemas de Informação) – Universidade Federal de Santa Catarina. 2011.

COSTA, F. M. da. O Modelo de Samejima no estudo da relação NSE x Desempenho. Dissertação (Mestrado em Matemática e Estatística) - Universidade Federal do Pará. 2010.

CÚRI, M. Análise de questionários com itens constrangedores. Tese (Doutorado em Estatística) – Instituto de Matemática e Estatística, Universidade de São Paulo, São Paulo, 2006. Disponível em: <http://www.teses.usp.br/teses/disponiveis/45/45133/tde-06072009-155633/pt-br.php>. Acesso em: 20 abr. 2013.

CYBIS, Walter; BETIOL, Adriana Holtz; FAUST, Richard. Ergonomia e usabilidade: conhecimentos, métodos e aplicações. São Paulo: Novatec 2007.

FETAJI, M. & FETAJI, B. Devising M-learning usability framework. In Proc. of the 33rd International Conference on Information Technology Interfaces (ITI), 275- 280.

http://www.interaction-design.org/references/authors/john_m__carroll.html

http://www.interaction-design.org/references/authors/mads_soegaard.html

http://www.interaction-design.org/references/authors/rikke_friis_dam.html

http://www.interaction-design.org/encyclopedia/human_computer_interaction_hci.html

http://www.interaction-design.org/encyclopedia/human_computer_interaction_hci.html

http://www.gqs.ufsc.br/wp-content/uploads/2011/11/2011_Gustavo_Hobold_Leonardo_Coelho.pdf

http://www.gqs.ufsc.br/wp-content/uploads/2011/11/2011_Gustavo_Hobold_Leonardo_Coelho.pdf

83

FLING, B. Mobile design and development. Sebastopol: O’Reilly Media, 2009.

GARTNER. Gartner Says Sales of Mobile Devices Grew 5.6 Percent in Third Quarter of 2011a; Smartphone Sales Increased 42 Percent. Disponível em: <http://www.gartner.com/it/page.jsp?id=1848514>. Acesso em: 14 mai 2012.

GARTNER. Gartner Says Sales of Mobile Devices Grew 5.6 Percent in Third Quarter of 2011b; Gartner Says Worldwide Sales of Mobile Phones Declined 2.3 Percent in Second Quarter of 2012. Disponível em: < http://www.gartner.com/it/page.jsp?id=2120015>. Acesso em: 29 ago. 2012.

GARTNER. Gartner Says Asia/Pacific Led Worldwide Mobile Phone Sales to Growth in First Quarter of 2013. Disponível em: <

http://www.gartner.com/newsroom/id/2482816>. Acesso em: 22 mai. 2013.

GONG, J.; TARASEWICH, P. Guidelines for Handheld mobile device interface design.Proc. of DSI Annual Meeting, Boston/ Massachusetts/ USA, 2004.

GRESSE VON WANGENHEIM, C. Material da disciplina INE5624 - Engenharia de Usabilidade, INE/UFSC, 2012.

GU, X., GU, F. & LAFFEY, J.M. Designing a mobile system for lifelong learning on the move. 2011. Journal of Computer Assisted Learning, (27), 204–215.

HASHIM, A.S., AHMAD, W.F.W. & ROHIZA, A. A Study of Design Principles and Requirements for the M-Learning Application Development. International Conference on User Science Engineering (i-USEr), 226-231. Malaysia. 2010.

INOSTROZA, R., RUSU, C., RONCAGLIOLO, S., JIMENEZ, C. & RUSU, V. Usability Heuristics for Touchscreen-based Mobile Devices. 9th International Conference on Information Technology: New Generations (ITNG), 662 - 667. Las Vegas, Nevada. 2012.

INTERNATIONAL ORGANIZATION FOR STANDARDIZATION. ISO 9241-11 Requisitos Ergonômicos para Trabalho de Escritórios com Computadores Parte 11 – Orientações sobre Usabilidade.

INTERNATIONAL ORGANIZATION FOR STANDARDIZATION. ISO 13407: Human-centred design processes for interactive systems (1999).

JANSSEN, C. Touch Screen. 2012. Disponível em: <http://www.techopedia.com/definition/3055/touch-screen>. Acesso em: 13 mai 2012.

HAMMERSCHMIDT, R. O que é Touch Screen? 2008. Disponível em : <http://www.tecmundo.com.br/multitouch/177-o-que-e-touch-screen-.htm>. Acesso em: 13 mai 2012.

KITCHENHAM, B.A. Procedures for Performing Systematic Reviews. Tech. Report TR/SE-0401, Keele University. Inglaterra. 2004.


84

LANDIM, W.. A evolução dos celulares. 2011. Disponível em: <http://www.tecmundo.com.br/infografico/16518-a-evolucao-dos-celulares-infografico-.html>. Acesso em: 13 mai 2012.

LEE, D.The State of the Touch-Screen Panel Market. Disponível em: <http://www.walkermobile.com/March_2011_ID_State_of_the_Touch_Screen_Market.pdf>. Acesso em: 14 mai 2012. LO, E. & TAN, Q. Design Principles For Facilitating Collaboration In Mobile Environments. 6th International Conference on Wireless Communications Networking and Mobile Computing (WiCOM), 1-4. 2010. Disponível em: <http://ieeexplore.ieee.org/xpl/login.jsp?tp=&arnumber=5600162&url=http%3A%2F%2Fieeexplore.ieee.org%2Fiel5%2F5598557%2F5600089%2F05600162.pdf%3Farnumber%3D5600162>. Acesso em: 09 set. 2012.

NIELSEN, J. Usability 101: Introduction to Usability. 2003. Disponível em: <http://www.useit.com/alertbox/20030825.html>. Acesso em: 13 ago. 2012.

NIELSEN, J., (1994) Heuristic evaluation. In J. Nielsen & R. L. Mack (Eds.), Usability Inspection Methods. New York: John Wiley & Sons, Inc.

NIELSEN, J. Ten Usability Heuristics. 1994. Disponível em: <http://www.useit.com/alertbox/20030825.html>. Acesso em: 10 ago. 2012.

NILSSON, E. G. Design patterns for user interface for mobile applications. Advances in Engineering Software, (40), 1318–1328. 2009.

PÁDUA, C. I.P S. Engenharia de Usabilidade – Material de Referência. UFMG, Belo Horizonte, MG.

PREECE, J.; ROGERS, Y.; SHARP, H. Design de interação: além da interação homem-computador. Porto Alegre (RS): Bookman, 2005. 548p.

RAUCH, M. Mobile documentation: Usability guidelines, and considerations for providing documentation on Kindle, tablets, and smartphones. IEEE International Professional Communication Conference (IPCC). 2011. OH, USA. ROCHA, H. V. da; BARANAUSKAS, Maria Cecília Calani. Design e avaliação de interfaces humano-computador. Campina: NIED/ UNICAMP, 2003. SALAZAR, L A.; LACERDA, T. C.; WANGENHEIM, C. G. von; BARBALHO, R. A. Customizando Heurísticas de Usabilidade para Celulares. Florianópolis. Proc. of Simpósio Brasileiro de Fatores Humanos em Sistemas Computacionais, Cuiabá/Brazil, 2012.

SALAZAR, L. H. A.; LACERDA, T. C.; NUNES, J. V.; WANGENHEIM, C. G. von. Systematic Literature Review on Usability Heuristics for Mobile Phones. International Journal of Mobile Human Computer Interaction, 5(2), 2013.

SATO, F. P. Validação da versão em português de um questionário área avaliação de autismo infantil. Dissertação (Mestrado em Ciências, área de concentração Psiquiatria) USP, 2008.

85

SHNEIDERMAN, B.; PLAISANT, C. Designing the User Interface: Strategies for Effective Human-Computer Interaction. Addison Wesley Publ. Boston, 2004.

TECMUNDO. Disponível em: <http://tecmundo.com.br>. Acesso em 24 mai 2012.

TECHOPEDIA. Disponível em: <http://www.techopedia.com/definition/2977/smartphone>. Acesso em: 29 set. 2012.

TEZZA, R. Proposta de um construto para medir usabilidade em sites de e-commerce utilizando a Teoria da Resposta ao Item. Florianópolis, SC, 2009. 139 f. Dissertação (Mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico. Programa de Pós-Graduação em Engenharia de Produção.

TEZZA, R.; BORNIA, A. C. Teoria da Resposta ao Item: vantagens e oportunidades para a engenharia de produção. In: XXIX Encontro Nacional de Engenharia de Produção – ENEGEP, 2009, Salvador – BA. Anais do XXIX ENEGEP e XV ICIEOM. Rio de Janeiro – RJ: ABEPRO, 2009. v 1.

TRAVIS, T. & TAY, A. Designing low-cost mobile websites for libraries. Bulletin of the American Society for Information Science and Technology, 38 (1), 24–29. 2011.

TYLDESLEY, D. A. Employing Usability Engineering in the Development of Office Products. The Computer Journal, Vol. 31, No. 5, 1988

WASSERMAN, A. I. Software Engineering Issues for Mobile Application Development. 2010. In Proc. of Workshop on Mobile Software Engineering/MobiCASE, Santa Clara/USA.

WESSELS A., PURVIS, M. & RAHMAN, S. Usability of Web Interfaces on Mobile Devices. 8th International Conference onInformation Technology: New Generations (ITNG), 1066- 067. 2011. Las Vegas, Nevada, USA.

WOHLIN, C. et al. Experimentation in Software Engineering. Norwell, MA: Kluwer, 2012.

ZAIBON, S.B. & SHIRATUDDIN, N. Heuristics Evaluation Strategy for Mobile Game-Based Learning. 6th IEEE International Conference on Wireless, Mobile and

Ubiquitous Technologies in Education (WMUTE), 127-131.2010. Kaohsiung, Taiwan.

ZIMOWSKI, M. F., MURAKI, E., MISLEVY, R. J., & BOCK, R.D. (2003). BILOG-MG 3 for Windows: Multiple-group IRT analysis and test maintenance for binary items [Computer software]. Skokie, IL: Scientific Software International, Inc.

86

APÊNDICE A - Checklist versão 1.0


Avaliadora: Data:












Anotações:

Correspondência entre sistema e mundo real

9. As interações propostas no aplicativo são semelhantes a ações reais (como por exemplo, descartar um arquivo arrastando-o para a lixeira)?



Anotações:




14. O aplicativo oferece mensagens de fechamento para tarefas que envolvam um conjunto de etapas?

15. É possível prever o tamanho da tela pelo tamanho do scroll?


17. É possível sair da tela atual a qualquer momento?

18. O usuário pode sair do aplicativo e retornar do ponto onde parou?


20. O usuário pode desfazer (undo) uma ação?

21. O usuário pode refazer (redo) uma ação?

22. Em aplicativos com sobreposição de janelas, estas possuem transparência para que seu contexto fique visível?

23. Informações relevantes como textos, botões e comandos ficam visíveis quando o teclado é aberto?


Anotações:

Consistência e Padrões 25. As telas com o mesmo tipo de conteúdo possuem o mesmo título?


27. Itens não clicáveis deixam evidente que não o são?

87

28. O nome do botão/ícone é consistente com o nome da tela que abre?







Anotações:

Prevenção de erros 35. Nas primeiras interações do usuário com o aplicativo são mostradas instruções básicas?

36. Os botões e controles que desencadeiam ações irreversíveis ficam localizados em áreas de difícil acesso, exigem gestos desafiadores ou uma confirmação do usuário (como por exemplo a técnica slide-to-unlock control usada pelos sistemas Android e Apple)?

Anotações:


37. Utiliza o nome da tela anterior ao invés de “voltar” para nomes de botões e links?

38. Em cada opção do menu, a primeira palavra é a mais importante?

39. Os títulos das telas são curtos?


41. Há padronização de cores para identificação e sinalização das áreas do aplicativo?



44. Os rótulos dos links descrevem adequadamente seu conteúdo?


Anotações:


46. Os dados do usuário são salvos (login, itens buscados)?

47. O propósito/função do aplicativo é claro?


49. O aplicativo é carregado rapidamente?

50. Oferece mecanismos de input alternativos como por voz, por lista, por foto ou por QR-code?

51. O aplicativo oferece mecanismos para uma navegação dinâmica na qual os usuários podem ir de uma tela para outra com apenas um click sem ter que ir para uma outra página antes?


53. Os usuários experientes têm acesso a um caminho preferencial, claramente sinalizado, para ferramentas mais rápidas e poderosas?

54. É possível personalizar a interface de acordo com a preferência de cada usuário?

88


Anotações:






Anotações:

Ajude o usuário a reconhecer, diagnosticar e recuperar de erros

61. O aplicativo permite fácil recuperação de erros?

62. As mensagens de erro são claras e precisas?

63. As mensagens de erro, quando possível proveem uma ou mais opções de navegação, como, por exemplo um link de "Voltar" para retornar à página anterior, um link "Repetir" para tentar repetir a transação?

64. As mensagens apontam qual a causa do erro?

65. As mensagens de erro são agressivas com usuário?

Anotações:

Ajuda e Documentação 66. O aplicativo possui uma opção de ajuda?

67. É fácil localizar a ajuda?

68. A ajuda é de fácil compreensão?

Anotações:



70. O aplicativo evita o uso do scroll, especialmente quando o dispositivo está na posição horizontal?

71. O aplicativo evita a digitação (por exemplo: guardando as respostas mais frequentes do usuário para que ele não precise digitá-las novamente, oferecendo opções em forma de lista, utilizando o recurso de auto-completar, etc)?

72. Em situações de busca, possui um mecanismo de entrada de dados tolerante a erros de digitação e uso de abreviações?

Anotações:


74. Possui links com tamanho adequado ao clique?

75. Possui espaço suficiente entre botões e links, evitando que o usuário selecione outro elemento?




Anotações:



81. A interface do aplicativo se adapta a rotação da tela?

82. Todo o texto fica visível na tela, independente da orientação?

89




85. Informações transmitidas na forma de gráficos também são descritas textualmente?



90

APÊNDICE B - Checklist versão 2.0


Avaliadora: Data:








5. Todas as telas possuem título?




9. Oferece outras formas de feedback além do textual (luminoso, sonoro, vibração)?

10. Quando uma mensagem é exibida o tempo de exibição é suficiente para realizar a leitura?



Anotações:




15. O aplicativo pode ser fechado e não apenas minimizado?

16. É possível prever o tamanho da tela pelo tamanho do scroll?


18. No caso de aplicativos associados a cadastro de login ou contas de e-mail, permite o fácil acesso de mais de um usuário?

19. O usuário pode sair do aplicativo e retornar do ponto onde parou?


21. O usuário pode desfazer (undo) uma ação?

22. O usuário pode refazer (redo) uma ação?


24. Informações relevantes como textos, botões e comandos ficam visíveis quando o teclado é aberto?


Anotações:

Consistência e Padrões 26. As telas com o mesmo tipo de conteúdo possuem o mesmo título?


91

28. Itens não clicáveis deixam evidente que não o são?

29. O nome do botão/ícone é consistente com o nome da tela que abre?







36. As informações textuais são apresentadas de forma padronizada? (tamanho da fonte, cor)

Anotações:

Prevenção de erros 37. Nas primeiras interações do usuário com o aplicativo são mostradas instruções básicas?

38. Os botões e controles que desencadeiam ações irreversíveis ficam localizados em áreas de difícil acesso, exigem gestos desafiadores ou uma confirmação do usuário (como por exemplo a técnica slide-to-unlock control usada pelos sistemas Android e Apple)?

Anotações:


39. A opção voltar é apresentada de acordo com o padrão dos aplicativos para esta plataforma?

40. Em cada opção do menu, a primeira palavra é a mais importante?



43. Em todas as telas é possível reconhecer uma identidade visual (marca ou nome do aplicativo, cores, etc)?



46. Os rótulos dos links descrevem adequadamente seu conteúdo e estão de acordo com o conteúdo das telas que abrem?


Anotações:


48. O aplicativo apresenta problemas durante a interação (trava, botões não funcionam no primeiro clique, etc)?

49. O propósito/função do aplicativo é claro?


51. O aplicativo é carregado rapidamente?

52. Oferece mecanismos de input alternativos como por voz, por lista, por foto ou por QR-code?

53. O aplicativo oferece mecanismos para uma navegação dinâmica na qual os usuários podem ir de uma tela para outra com apenas um click sem ter que ir para uma outra página antes?


92

55. Os usuários experientes têm acesso a um caminho preferencial, claramente sinalizado, para ferramentas mais rápidas e poderosas?



Anotações:






63. O aplicativo só apresenta funções que estão habilitadas?

Anotações:

Ajude o usuário a reconhecer, diagnosticar e recuperar de erros

64. O aplicativo permite fácil recuperação de erros?

65. As mensagens de erro são claras apontando a causa do erro?

66. As mensagens de erro, quando possível proveem uma ou mais opções de navegação, como, por exemplo um link de "Voltar" para retornar à página anterior, um link "Repetir" para tentar repetir a transação?

67. As mensagens de erro são amigáveis com usuário (não ofendem)?

Anotações:

Ajuda e Documentação 68. O aplicativo possui uma opção de ajuda?

69. É fácil localizar a ajuda?

70. A ajuda é de fácil compreensão?

Anotações:



72. O aplicativo evita o uso do scroll, especialmente quando o dispositivo está na posição horizontal?

73. O aplicativo evita a digitação (por exemplo: guardando as respostas mais frequentes do usuário para que ele não precise digitá-las novamente, oferecendo opções em forma de lista, utilizando o recurso de auto-completar, etc)?

74. Em situações de busca, possui um mecanismo de entrada de dados tolerante a erros de digitação e uso de abreviações?

75. O cadastro de usuário exige somente informações necessárias?

Anotações:


77. Possui links com tamanho adequado ao clique?

78. Possui espaço suficiente entre botões e links, evitando que o usuário selecione outro elemento?




93


Anotações:



84. A interface do aplicativo se adapta a rotação da tela?

85. Independente da orientação e do uso do scroll, todo conteúdo fica visível na tela, sem cortes?



88. As imagens (gráficos, ícones, etc) também são descritas textualmente?




92. Quando utiliza o scroll é somente vertical ou somente horizontal?

Anotações:

94

APÊNDICE C – Aplicativos Avaliados

Aplicativo Versão Endereço de download Captura de Tela

Dicionário da

Língua Portuguesa

Porto Editora

1.1 https://play.google.com/store/apps/details?id=pt.portoeditora.android.dicionario.lingua_portuguesa&feature=apps_topselling_free

Boa Lista - Lista de

Compras

2.0.2 https://play.google.com/store/apps/details?id=net.dotlegend.boalista&feature=related_apps#?t=W251bGwsMSwxLDEwOSwibmV0LmRvdGxlZ2VuZC5ib2FsaXN0YSJd

4Shared 1.1.2 https://play.google.com/store/apps/details?id=com.forshared

WhatsApp 2.8.5732 https://play.google.com/store/apps/details?id=com.whatsapp&feature=

search_result#?t=W251bGwsMSwxLDEsImNvbS53aGF0c2FwcCJd

App2SD 2.6 https://play.google.com/store/apps/details?id=com.a0soft.gphone.app

2sd&feature=search_result#?t=W251bGwsMSwxLDEsImNvbS5hMHNvZnQuZ3Bob25lLmFwcDJzZCJd

Weather Channel 3.8.3 https://play.google.com/store/apps/details?id=com.weather.Weather&f

eature=search_result#?t=W251bGwwxLDEsImNvbS53ZWF0aGVyLldlYXRoZXIiXQsMS

Google Tradutor 2.5.1 https://play.google.com/store/apps/details?id=com.google.android.app

s.translate&feature=search_result#?t=W251bGwsMSwxLDEsImNvbS5nb29nbGUuYW5kcm9pZC5hcHBzLnRyYW5zbGF0ZSJd

Banco do Brasil 5.0.4 https://play.google.com/store/apps/details?id=br.com.bb.android&feat

ure=search_result#?t=W251bGwsMSwxLDEsImJyLmNvbS5iYi5hbmRyb2lkIl0

DropBox 2.2 https://play.google.com/store/apps/details?id=com.dropbox.android

Traffic Counter

Extended

1.7.1b https://play.google.com/store/apps/details?id=com.carl.trafficcounter&feature=search_result#?t=W251bGwsMSwxLDEsImNvbS5jYXJsLnRyYWZmaWNjb3VudGVyIl0

Google Drive 1.1.4.29 https://play.google.com/store/apps/details?id=com.google.android.app

s.docs&feature=search_result#?t=W251bGwsMSwxLDEsImNvbS5nb29nbGUuYW5kcm9pZC5hcHBzLmRvY3MiXQ

Gmail 2.3.6 https://play.google.com/store/apps/details?id=com.carl.trafficcounter&f

eature=search_result#?t=W251bGwsMSwxLDEsImNvbS5jYXJsLnRyYWZmaWNjb3VudGVyIl0

Consulta Visa Vale 2.3.1 https://play.google.com/store/apps/details?id=com.nzn.baixaki&featur

e=search_result#?t=W251bGwsMSwxLDEsImNvbS5uem4uYmFpeGFraSJd

Angry Birds 2.3.0 https://play.google.com/store/apps/details?id=com.rovio.angrybirds&fe

ature=search_result#?t=W251bGwsMSwxLDEsImNvbS5yb3Zpby5hbmdyeWJpcmRzIl0

Google Goggles 1.9 https://play.google.com/store/apps/details?id=com.google.android.apps.unveil&feature=search_result#?t=W251bGwsMSwxLDEsImNvbS5nb29nbGUuYW5kcm9pZC5hcHBzLnVudmVpbCJd

95

IMDb 2.7.5.10

275000

https://play.google.com/store/apps/details?id=com.imdb.mobile&feature=apps_topselling_free

Saraiva eReader 1.813 https://play.google.com/store/apps/details?id=br.com.livrariasaraiva.er

eader.andr&feature=search_result#?t=W251bGwsMSwyLDEsImJyLmNvbS5saXZyYXJpYXNhcmFpdmEuZXJlYWRlci5hbmRyIl0.

Trip Advisor 2.0.5 https://play.google.com/store/apps/details?id=br.com.livrariasaraiva.er

eader.andr&feature=search_result#?t=W251bGwsMSwyLDEsImJyLmNvbS5saXZyYXJpYXNhcmFpdmEuZXJlYWRlci5hbmRyIl0.

PersonalFinance 2.1.6 https://play.google.com/store/apps/details?id=incomeincloud.android.a

ctivity&feature=top-fre

FacebookMessenge

r

2.1.2 https://play.google.com/store/apps/details?id=com.facebook.orc

Consulta CEP 2.0.0 https://play.google.com/store/apps/details?id=com.carvtech.android.c

e

YouTube 2.3.4 https://play.google.com/store/apps/details?id=com.google.android.you

tube

Viber 2.2.3 https://play.google.com/store/apps/details?id=com.viber.voip&feature=

search_result#?t=W251bGwsMSwyLDEsImNvbS52aWJlci52b2lwIl0

Tavindo 1.3 https://play.google.com/store/apps/details?id=br.eti.erickcouto.tavind

Qual Operadora 2.0.5 http://www.baixaki.com.br/android/download/qual-operadora-.htm

Cadê Meu Banco 2.03 https://play.google.com/store/apps/details?id=br.com.buscabanc

Wikipedia 1.3.1 https://play.google.com/store/apps/details?id=org.wikipedi

Wallpapers HD

iPhone

1.6 https://itunes.apple.com/br/app/wallpapers-hd-for-iphone-ipod/id398383945?mt=8

Instagram 3.4.0 https://play.google.com/store/apps/details?id=com.instagram.android&

feature=apps_topselling_free

Churrascometro 1.4 https://play.google.com/store/apps/details?id=br.com.kazap.churrasco

metro

96

Brasileirão 1.0.17 https://play.google.com/store/apps/details?id=br.com.zynger.brasileirao2012&feature=apps_topselling_free

CamScanner

iPhone

1.5.0.0 https://itunes.apple.com/br/app/camscanner-free/id388627783?mt=8

Buscapé iPhone 3.6.3 https://itunes.apple.com/br/app/buscape/id296987450?mt=

Groupon iPhone 2.2 https://itunes.apple.com/br/app/groupon/id352683833?mt=8

Voos Online 1.7 https://play.google.com/store/apps/details?id=br.gov.infraer

Wase 3.5.1 https://itunes.apple.com/br/app/futebol/id361393520?mt=8

Apn Brasil 1.2 https://play.google.com/store/apps/details?id=br.com.droidbrasil.apnbr

as

TrackPack 2.5.0 https://play.google.com/store/apps/details?id=br.com.tribotech.trackpa

c

AVG Mobilation 3.0.0.174

757

https://play.google.com/store/apps/details?id=com.antivirus&feature=search_result#?t=W251bGwsMSwxLDEsImNvbS5hbnRpdmlydXMiXQ

CardioTrainer 3.6.7 https://play.google.com/store/apps/details?id=com.wsl.CardioTrainer

Facebook 2.1.2 https://play.google.com/store/apps/details?id=com.facebook.katan

Feriados 2013

iPhone

1.4 https://itunes.apple.com/br/app/feriados-2013/id558677448?mt=8

Catarinense 2013

iPhone

1.1 https://itunes.apple.com/br/app/campeonato-catarinense-2013/id591876570?mt=8

Internacional

SporTV iPhone

2.5.3 https://itunes.apple.com/br/app/internacional-sportv/id482569445?mt=8

Night Sky Lite

iPhone

1.9.1 ps://itunes.apple.com/br/app/the-night-sky-lite/id502998318?mt=8

http://www.google.com.br/url?sa=i&source=images&cd=&cad=rja&docid=tVXftP380ZtHhM&tbnid=MJp76vznqyYdsM:&ved=0CAgQjRwwAA&url=http://kk.org/cooltools/archives/6208&ei=kRY2UefCF4e68AS-2oGAAg&psig=AFQjCNHR7dxFfaCN-Ysu5O4_htjayIK1Qw&ust=1362585617447175

http://www.google.com.br/url?sa=i&rct=j&q=&esrc=s&frm=1&source=images&cd=&cad=rja&docid=VuuH9yh55iEeRM&tbnid=O-qKHo1gtpWLAM:&ved=0CAUQjRw&url=http://www.iphoneappsplus.com/navigation/waze/index.htm&ei=wBc2UaCLI4Pe8wTSmoDQAg&bvm=bv.43148975,d.dmQ&psig=AFQjCNGaHTwpK89uhbXGdlNNNJMMHjvbMA&ust=1362585891400602

http://www.google.com.br/url?sa=i&source=images&cd=&cad=rja&docid=oDC3rHzcB_ltuM&tbnid=n9PIt2Tcr4WdPM:&ved=0CAgQjRwwAA&url=http://gallery.mobile9.com/asf/?uid=iI9Y6dd1a0oG&ei=Uxg2UabwK4qS9QSLsoCYAQ&psig=AFQjCNFAtcNMnQxjDpZ9vxUum9r1OrYUKA&ust=1362586067780501

97

Sky Sports iPhone 1.1 https://itunes.apple.com/br/app/sky-sports/id591874478?mt=8

Shazam iPhone 5.5.3 https://itunes.apple.com/br/app/shazam/id284993459?mt=8

GloboEsporte.com

iPhone

1.4 https://itunes.apple.com/br/app/futebol/id361393520?mt=8

EyeEm iPhone 3.3.1 https://itunes.apple.com/br/app/eyeem-foto-filtros-

camera/id445638931?mt=8

Dictionary.com

iPhone

3.7 https://itunes.apple.com/br/app/dictionary.com-dictionary/id308750436?mt=8

Quora iPhone 2.1 https://itunes.apple.com/br/app/quora/id456034437?mt=8

Converter 1.2.8 https://play.google.com/store/apps/details?id=com.blogspot.asifrc.Con

verter&feature=search_result#?t=W251bGwsMSwyLDEsImNvbS5ibG9nc3BvdC5hc2lmcmMuQ29udmVydGVyIl0

Photaf Panorama 3.2.1 https://play.google.com/store/apps/details?id=obg1.Photaf&feature=se

arch_result#?t=W251bGwsMSwxLDEsIm9iZzEuUGhvdGFmIl0

Clean Master 2.5.1.30 https://play.google.com/store/apps/details?id=com.cleanmaster.mguard&feature=search_result#?t=W251bGwsMSwxLDEsImNvbS5jbGVhbm1hc3Rlci5tZ3VhcmQiXQ

Sonar 1.1.107 https://play.google.com/store/apps/details?id=me.sonar.android&featu

re=apps_topselling_fr

Simulado Detran

Free

2 http://www.baixaki.com.br/android/download/simulado-detran-free.htm

Rádio Atlântida 1.0.2 https://play.google.com/store/apps/details?id=com.clicrbs.atlantida&fe

ature=search_resu

Spider Solitaire 1.0.2 https://play.google.com/store/apps/details?id=com.magmamobile.gam

e.SpiderSolitaire&feature=apps_topselling_free

Pessoa física 1.0.0 https://play.google.com/store/apps/details?id=br.gov.fazenda.receita.pessoafisica&feature=search_result#?t=W251bGwsMSwyLDEsImJyLmdvdi5mYXplbmRhLnJlY2VpdGEucGVzc29hZmlzaWNhIl0

Rádio Pessoal

AUPEO!

1.3.4 https://itunes.apple.com/br/app/radio-pessoal-aupeo!-musica/id453001420?mt=8

Guia de aeroportos

HD

1.0.2 https://itunes.apple.com/br/app/guia-de-aeroportos-hd/id424032540?mt=8

98

iCall 2.1.48 https://itunes.apple.com/br/app/icall-chamadas-telefone-bate/id293837001?mt=8

Baby holidays 1.1.1 https://itunes.apple.com/br/app/baby-holidays-picture-

maker/id574376508?mt=8

Radar G1 2.1.48 https://itunes.apple.com/br/app/radar-g1/id544983263?mt=8

Eu atleta 1.2.2 https://itunes.apple.com/br/app/eu-atleta/id572977180?mt=8

Diário Catarinense - https://play.google.com/store/apps/details?id=com.clicrbs.dc&feature=

personalized-recommendations#?t=W251bGwsMSwxLDIxMywiY29tLmNsaWNyYnMuZGMiXQ

Globo News 1.3 https://play.google.com/store/apps/details?id=com.fingertips.android.globonews&feature=related_apps

Kekanto - Bares e

Restaurantes

5.0.2 https://play.google.com/store/apps/details?id=com.kekanto.android&feature=nav_result#?t=W251bGwsMSwyLDNd

Vogue Brasil Mobile 2.4 https://play.google.com/store/apps/details?id=br.com.edglobo.vogue&f

eature=search_result#?t=W251bGwsMSwxLDEsImJyLmNvbS5lZGdsb2JvLnZvZ3VlIl0

Marie Claire Brasil

Mobile

1.13 https://play.google.com/store/apps/details?id=br.com.editoraglobo.marieclaire.sitemobile&feature=search_result#?t=W251bGwsMSwxLDEsImJyLmNvbS5lZGl0b3JhZ2xvYm8ubWFyaWVjbGFpcmUuc2l0ZW1vYmlsZSJd

Crescer Mobile 1.12 https://play.google.com/store/apps/details?id=br.com.editoraglobo.crescer.sitemobile&feature=search_result#?t=W251bGwsMSwxLDEsImJyLmNvbS5lZGl0b3JhZ2xvYm8uY3Jlc2Nlci5zaXRlbW9iaWxlIl0

Expedia Hotels &

Flights

2.3 https://play.google.com/store/apps/details?id=com.expedia.bookings&feature=search_result#?t=W251bGwsMSwxLDEsImNvbS5leHBlZGlhLmJvb2tpbmdzIl0

Dieta e Saúde 2.5.7 https://play.google.com/store/apps/details?id=com.buscaalimento.and

roid&feature=search_result#?t=W251bGwsMSwxLDEsImNvbS5idXNjYWFsaW1lbnRvLmFuZHJvaWQiXQ

Radar G1 2.1.48 https://itunes.apple.com/br/app/radar-g1/id544983263?mt=8

Simple PAC 1.4 https://play.google.com/store/apps/details?id=org.gunnm.simplepac&f

eature=nav_result#?t=W251bGwsMSwxLDMsIm9yZy5ndW5ubS5zaW1wbGVwYWMiXQ

Shared MP3 Baixar

músicas

1.4 https://play.google.com/store/apps/details?id=br.com.sharedmp3.sharedmp3&feature=apps_topselling_new_free#?t=W251bGwsMSwyLG51bGwsImJyLmNvbS5zaGFyZWRtcDMuc2hhcmVkbXAzIl0

99

Insta Collage 1.01 https://play.google.com/store/apps/details?id=com.instacollage.android&feature=apps_topselling_new_free#?t=W251bGwsMSwyLG51bGwsImNvbS5pbnN0YWNvbGxhZ2UuYW5kcm9pZCJd

Bíblia Sagrada NVI 1.5 https://play.google.com/store/apps/details?id=br.com.telmoandrade.bi

bliasagradanvi&feature=apps_topselling_new_free#?t=W251bGwsMSwyLG51bGwsImJyLmNvbS50ZWxtb2FuZHJhZGUuYmlibGlhc2FncmFkYW52aSJd

Minimalistic Text 3.0.10.2 https://play.google.com/store/apps/details?id=de.devmil.minimaltext&feature=featured-apps

Myway Diabetes

Manager

0.9.2 https://play.google.com/store/apps/details?id=myway.prompt&feature=also_installed#?t=W251bGwsMSwxLDEwNCwibXl3YXkucHJvbXB0Il0.

Ringtone Maker 2.2.1 https://play.google.com/store/apps/details?id=com.proringtonemaker&

feature=apps_topselling_new_free#?t=W251bGwsMSwyLG51bGwsImNvbS5wcm9yaW5ndG9uZW1ha2VyIl0

Wales, UK 2.3.2.1 https://play.google.com/store/apps/details?id=com.mobilereference.Tr

avelWalesAppFree&feature=search_result#?t=W251bGwsMSwyLDEsImNvbS5tb2JpbGVyZWZlcmVuY2UuVHJhdmVsV2FsZXNBcHBGcmVlIl0

Livraria Cultura

eBooks

1.0.10 https://play.google.com/store/apps/details?id=br.cultura.loja.ebooks.android&feature=search_result#?t=W251bGwsMSwyLDEsImJyLmN1bHR1cmEubG9qYS5lYm9va3MuYW5kcm9pZCJd

ASTRO File

Manager

3.1.427 https://play.google.com/store/apps/details?id=com.metago.astro&feature=search_result#?t=W251bGwsMSwxLDEsImNvbS5tZXRhZ28uYXN0cm8iXQ

Any.Do 1.8.1 https://itunes.apple.com/br/app/any.do-to-do-list/id497328576?mt=8

IntaWeather Free 2.1.2 https://itunes.apple.com/us/app/instaweather-free/id564147490?mt=8

Qello 1.3.2 https://itunes.apple.com/us/app/qello-watch-hd-music-

concerts/id491069819?mt=8

TaxiBeat 3.5 https://itunes.apple.com/gr/app/taxibeat/id436031420?mt=8

Thrist 2.0.2 https://itunes.apple.com/us/app/thirst/id594730520?mt=8

Mokriya craigslist 1.1 https://itunes.apple.com/us/app/mokriya-craigslist-app-

for/id597638475?ls=1&mt=8

ArtFinder 5.0.1 https://itunes.apple.com/us/app/artfinder/id477518205?mt=8

Wunderlist 2.0.6 https://itunes.apple.com/ca/app/wunderlist/id406644151?mt=8..

100

WBCBaseball 1.0.0 https://itunes.apple.com/us/app/2013-world-baseball-classic/id596233358?mt=8

TouristEye 2.1 https://itunes.apple.com/us/app/touristeye-travel-guide-

trip/id363369132?mt=8

Foursquare 5.5 https://itunes.apple.com/br/app/foursquare/id306934924?mt=8

CineMark Brasil 1.2.1 https://play.google.com/store/apps/details?id=com.cinemar

Ingresso.com 1.1.4 https://play.google.com/store/apps/details?id=br.eti.faces.ingress

Climatempo 1.1 https://play.google.com/store/apps/details?id=com.mobimidia.climaTe

mp

Tela Transparente 1.1 https://play.google.com/store/apps/details?id=com.ellipselab.android.t

ransparentscreen.free

QRDroid 5.3 https://play.google.com/store/apps/details?id=la.droid.qr&feature=sear

ch_result#?t=W251bGwsMSwxLDEsImxhLmRyb2lkLnFyIl0

Baixaki 1.2.1 https://play.google.com/store/apps/details?id=com.nzn.baixaki&featur

e=search_result#?t=W251bGwsMSwxLDEsImNvbS5uem4uYmFpeGFraSJd

Buscapé Mobile 3.6.3 https://play.google.com/store/apps/details?id=br.com.buscape.MainPa

ck&feature=search_result#?t=W251bGwsMSwxLDEsImJyLmNvbS5idXNjYXBlLk1haW5QYWNrIl0

Tic Tac Toe - Pro 5.0.1 https://play.google.com/store/apps/details?id=com.tictactoe.wintrino&f

eature=apps_topselling_fr

Hotmail 7.8.2.8 https://play.google.com/store/apps/details?id=com.hotmail.Z7&feature

=apps_topselling_free

Pedômetro -

Accupedo

2.4.7 https://play.google.com/store/apps/details?id=com.corusen.accupedo.te&feature=apps_topselling_free

Dictionary.com 3.7 https://itunes.apple.com/br/app/dictionary.com-

dictionary/id308750436?mt=8

Air Horn Free 6.0 https://play.google.com/store/apps/details?id=com.progimax.airhorn.fr

ee&feature=search_result

101

Photo Grid 4.26 https://play.google.com/store/apps/details?id=com.roidapp.photogrid&feature=search_result#?t=W251bGwsMSwxLDEsImNvbS5yb2lkYXBwLnBob3RvZ3JpZCJd

Globo.com 2.3 https://play.google.com/store/apps/details?id=com.globo&feature=sea

rch_result#?t=W251bGwsMSwyLDEsImNvbS5nbG9ibyJd

Caça Palavras 1.0 https://play.google.com/store/apps/details?id=com.berniiiiiiii.braz&feat

ure=search_result#?t=W251bGwsMSwxLDEsImNvbS5iZXJuaWlpaWlpaWkuYnJheiJd

Jogo da Forca 1.93 https://play.google.com/store/apps/details?id=br.com.gtlsistemas.forc

a&feature=more_from_developer#?t=W251bGwsMSwxLDEwMiwiYnIuY29tLmd0bHNpc3RlbWFzLmZvcmNhIl0

Qual é a resposta? 1.99 https://play.google.com/store/apps/details?id=br.com.gtlsistemas.jogo

deperguntas&feature=nav_result#?t=W251bGwsMSwxLDMsImJyLmNvbS5ndGxzaXN0ZW1hcy5qb2dvZGVwZXJndW50YXMiXQ

Medscape 2.2.1 tps://play.google.com/store/apps/details?id=com.medscape.android&f

eature=top-free

Remember The Milk 3.0.1 https://itunes.apple.com/app/remember-the-milk/id293561396?mt=8

MusiXmatch 2.3.1 https://itunes.apple.com/us/app/musixmatch-

lyrics/id454723812?mt=12

Split Pic 2.0.1 https://itunes.apple.com/br/app/split-pic-2.0-clone-

yourself/id570748340?mt=8

Passa Regua 1.5 https://itunes.apple.com/br/app/passa-regua/id449074589?mt=8

Partiu Balada 1.4 https://itunes.apple.com/br/app/partiubalada/id544524369?mt=8

Genéricos Brasi 1.0 https://play.google.com/store/apps/details?id=br.com.petax.genericos

&feature=top-free

Vacinas Brasil Lite 2.1 https://play.google.com/store/apps/details?id=lite.vacinas.vandfald.net

&feature=top-free

Pressão Arterial 1..2.9 https://play.google.com/store/apps/details?id=com.szyk.myheart&feat

ure=top-free

Guia Médico

Nacional Unimed

1.0.1 https://play.google.com/store/apps/details?id=com.unimed.guiamdico&feature=top-free

102

Diário de Pressão

Sanguinea

1.4.21 https://play.google.com/store/apps/details?id=com.ptashek.bplog&feature=related_apps#?t=W251bGwsMSwxLDEwOSwiY29tLnB0YXNoZWsuYnBsb2ciXQ..

GAPS - Antibiótico

na Urgência

1.3 https://play.google.com/store/apps/details?id=appinventor.ai_flptuon.infeccao&feature=also_installed

TV Show Favs 3.5.5 https://play.google.com/store/apps/details?id=com.tvshowfavs&featur

e=search_result#?t=W251bGwsMSwyLDEsImNvbS50dnNob3dmYXZzIl0.

Diabetes 3.0 https://play.google.com/store/apps/details?id=appinventor.ai_rsepulve

dapalamara.Diabetes&feature=more_from_developer#?t=W251bGwsMSwyLDEwMiwiYXBwaW52ZW50b3IuYWlfcnNlcHVsdmVkYXBhbGFtYXJhLkRpYWJldGVzIl0.

Gripe Suína 1.0 https://itunes.apple.com/br/app/gripe-suina/id315185762?mt=8

Apgar 0.2 https://play.google.com/store/apps/details?id=appinventor.ai_fernando

_ivan.Apgar_portugues&feature=apps_topselling_free

KCRW SongTag 1.6 https://play.google.com/store/apps/details?id=com.norvan.SongTag&f

eature=also_installed#?t=W251bGwsMSwyLDEwNCwiY29tLm5vcnZhbi5Tb25nVGFnIl0.

Sky Drive 1.1 https://play.google.com/store/apps/details?id=com.microsoft.skydrive&

feature=nav_result#?t=W251bGwsMSwyLDNd

O que é o que é 3.1 https://play.google.com/store/apps/details?id=br.com.arnapio&feature

=search_result#?t=W251bGwsMSwxLDEsImJyLmNvbS5hcm5hcGlvIl0.

iBeer FREE 1.3.1 https://play.google.com/store/apps/details?id=com.hottrix.ibeerfree&fe

ature=search_result#?t=W251bGwsMSwxLDEsImNvbS5ob3R0cml4LmliZWVyZnJlZSJd

Google Play Books 2.7.38 https://play.google.com/store/apps/details?id=com.google.android.app

s.books&feature=search_result#?t=W251bGwsMSwxLDEsImNvbS5nb29nbGUuYW5kcm9pZC5hcHBzLmJvb2tzIl0.

Lighter Free 6.0 https://play.google.com/store/apps/details?id=com.progimax.lighter.fre

e&feature=search_result#?t=W251bGwsMSwxLDEsImNvbS5wcm9naW1heC5saWdodGVyLmZyZWUiXQ..

Maze game 25.3 https://play.google.com/store/apps/details?id=com.guruas.mazegamej

&feature=search_result#?t=W251bGwsMSwxLDEsImNvbS5ndXJ1YXMubWF6ZWdhbWVqIl0.

Change my Voice 1.9.8 https://play.google.com/store/apps/details?id=com.coolapps.changem

yvoice&feature=search_result#?t=W251bGwsMSwxLDEsImNvbS5jb29sYXBwcy5jaGFuZ2VteXZvaWNlIl0.

Galinha Pintadinha 1.4 https://play.google.com/store/apps/details?id=br.com.warpzone.zerou

m.galinha&feature=search_result#?t=W251bGwsMSwxLDEsImJyLmNvbS53YXJwem9uZS56ZXJvdW0uZ2FsaW5oYSJd

Guess The Movie 1.234567

89

https://play.google.com/store/apps/details?id=com.june.guessthemovie&feature=search_result#?t=W251bGwsMSwxLDEsImNvbS5qdW5lLmd1ZXNzdGhlbW92aWUiXQ..

103

Flashlight 1.1.9 https://play.google.com/store/apps/details?id=com.intellectualflame.ledflashlight.washer&feature=search_result#?t=W251bGwsMSwxLDEsImNvbS5pbnRlbGxlY3R1YWxmbGFtZS5sZWRmbGFzaGxpZ2h0Lndhc2hlciJd

Toddler Animal

Sounds

1.3 https://play.google.com/store/apps/details?id=com.kidstatic.toddleranimalsounds&feature=apps_topselling_free

MyBaby: My puzzle

for kids

1.3 https://play.google.com/store/apps/details?id=org.example.babypuzzle&feature=apps_topselling_free

Presidentes 1.0 https://play.google.com/store/apps/details?id=br.com.cre8.presidentes

&feature=apps_topselling_free

Pou 1.2.14 https://play.google.com/store/apps/details?id=me.pou.app&feature=na

v_result#?t=W251bGwsMSwyLDNd

Logo Quiz 11.3 https://play.google.com/store/apps/details?id=logos.quiz.companies.g

ame&feature=search_result#?t=W251bGwsMSwxLDEsImxvZ29zLnF1aXouY29tcGFuaWVzLmdhbWUiXQ..

Procedimentos

TUSS

1.2.1 https://play.google.com/store/apps/details?id=thirtyideas.ptuss&feature=apps_topselling_free

Alergias 1.5 https://play.google.com/store/apps/details?id=info.diegoramos&featur

e=apps_topselling_free

Breast-feeding 1.9.8 https://play.google.com/store/apps/details?id=com.whisperarts.kids.br

eastfeeding&feature=apps_topselling_free

Diabetes Diary Lite 1.0.4 https://play.google.com/store/apps/details?id=jp.hideki.diabeteslite&fe

ature=search_result

Jogos Mentais 1.0 https://play.google.com/store/apps/details?id=com.thepapership.brain

games.espanol&feature=search_result#?t=W251bGwsMSwxLDEsImNvbS50aGVwYXBlcnNoaXAuYnJhaW5nYW1lcy5lc3Bhbm9sIl0.

bPresso.com 0.9.2 https://play.google.com/store/apps/details?id=com.freshware.bpresso

&feature=more_from_developer

Medicamentos A a

Z: Pediatria Free

1.0 https://itunes.apple.com/br/app/medicamentos-z-pediatria-free/id492015261?mt=8#

Procedimentos SUS 1.2.5 https://itunes.apple.com/br/app/procedimentos-

sus/id502701842?mt=8

CliniCalc: Medical

Calculator

1.7 https://itunes.apple.com/br/app/clinicalc-medical-calculator/id353404314?mt=8

GestaTools 1.0 https://itunes.apple.com/br/app/gestatools/id458897590?mt=8

104

Dengue Adulto e

Criança

2.0 https://itunes.apple.com/br/app/dengue-adulto-e-crianca/id512107567?mt=8

Aleitamento 1.0.3 https://itunes.apple.com/br/app/aleitamento/id506198319?mt=8

Breastfeed 1.0.0 https://itunes.apple.com/br/app/breastfeed/id519547920?mt=8

GlicoCare 1.0 https://itunes.apple.com/br/app/glicocare/id477974723

Universo Médico 2.0 https://itunes.apple.com/br/app/universo-medico/id461429319?mt=8

Meu diário Mensal 1.1 https://itunes.apple.com/br/app/meu-diario-

mensal/id539888761?mt=8

Rotinas

Terapeuticas

1.0 https://itunes.apple.com/br/app/rotinas-terapeuticas-hospital/id571776048?mt=8

Appedatria 1.0 https://itunes.apple.com/br/app/appediatra/id573010328?mt=8

Psisoríase 1.3 https://itunes.apple.com/br/app/psoriase/id459472409?mt=8

Guia TV BR 3.0 https://play.google.com/store/apps/details?id=guiatvbrlite.com&feature

=featured-apps

Dblcam 1.0.1 https://itunes.apple.com/br/app/dblcam/id605269890?mt=8

Alarme AntiFurto 1.7.01 https://play.google.com/store/apps/details?id=br.com.verde.alarme&fe

ature=top-free

Engraçado Tones

SMS

1.2.1 https://play.google.com/store/apps/details?id=com.sancronringtones.funnysmssb&feature=apps_topselling_free

Diabetes 1.0.06 https://play.google.com/store/apps/details?id=com.szyk.diabetes&feat

ure=search_result#?t=W251bGwsMSwxLDEsImNvbS5zenlrLmRpYWJldGVzIl0.

Fácil voz Bloco de

Notas

1.3 https://play.google.com/store/apps/details?id=jp.somethinggoodsoft.easyvoicenotepad&feature=search_result#?t=W251bGwsMSwxLDEsImpwLnNvbWV0aGluZ2dvb2Rzb2Z0LmVhc3l2b2ljZW5vdGVwYWQiXQ..

105

Horóscopo HD

Grátis Português

1.28 https://play.google.com/store/apps/details?id=ch.smalltech.horoscope.free&feature=search_result#?t=W251bGwsMSwxLDEsImNoLnNtYWxsdGVjaC5ob3Jvc2NvcGUuZnJlZSJd

Lembrete de

Aniversários

1.0 https://play.google.com/store/apps/details?id=in.androbolt.android.birthdaybook&feature=search_result#?t=W251bGwsMSwxLDEsImluLmFuZHJvYm9sdC5hbmRyb2lkLmJpcnRoZGF5Ym9vayJd

Battery Master 1.4.1 https://play.google.com/store/apps/details?id=jp.somethinggoodsoft.b

atterymasterf&feature=search_result#?t=W251bGwsMSwxLDEsImpwLnNvbWV0aGluZ2dvb2Rzb2Z0LmJhdHRlcnltYXN0ZXJmIl0.

WikipediaPlaces

Free

2.27 https://play.google.com/store/apps/details?id=org.msq.WikiPlaces.free&feature=search_result#?t=W251bGwsMSwxLDEsIm9yZy5tc3EuV2lraVBsYWNlcy5mcmVlIl0

Baby Names 1.3 https://play.google.com/store/apps/details?id=org.msq.babynames&fe

ature=more_from_developer

Faces - Photo Fun 2.48 https://play.google.com/store/apps/details?id=org.msq.Face&feature=

more_from_developer#?t=W251bGwsMSwxLDEwMiwib3JnLm1zcS5GYWNlIl0.

CPF/CNPJ 3.6 https://play.google.com/store/apps/details?id=br.com.livetouch.serasa

consulta&feature=top-free

Tempo de trabalho 1.7.2 https://play.google.com/store/apps/details?id=com.oversense.worktim

e&feature=apps_topselling_free

Rastreio Correios 1.3.1 https://play.google.com/store/apps/details?id=br.com.lardev.android.ra

streiocorreios&feature=apps_topselling_free

Nó em gravata 1.0.2 https://play.google.com/store/apps/details?id=me.greenpea.tieatie&fe

ature=apps_topselling_free

Privalia Mobile 2.1 https://itunes.apple.com/br/app/privalia-mobile/id394874573?mt=8

Simples MP3

Downloader

1.1.20 https://play.google.com/store/apps/details?id=org.goldennuggetapps.simpledl&feature=search_result#?t=W251bGwsMSwxLDEsIm9yZy5nb2xkZW5udWdnZXRhcHBzLnNpbXBsZWRsIl0

Presto! Remote 2.0 https://play.google.com/store/apps/details?id=com.raks.niz.AndroPcC

ontroller&feature=search_result

ColorNote Bloco de

Notas Lista

3.9.17 https://play.google.com/store/apps/details?id=com.socialnmobile.dictapps.notepad.color.note&feature=apps_topselling_free

aCalendar - Android

Calendar

0.14.8.3 https://play.google.com/store/apps/details?id=org.withouthat.acalendar&feature=apps_topselling_free

106

WiFi Manager 2.6.7 https://play.google.com/store/apps/details?id=org.kman.WifiManager&feature=apps_topselling_free

Astrid Lista de

Tarefas

4.5.3 https://play.google.com/store/apps/details?id=com.timsu.astrid&feature=apps_topselling_free

Diário feliz PLUS 1.6 https://play.google.com/store/apps/details?id=net.qopo.diaryplus&feat

ure=apps_topselling_free

Fake Call & SMS 2.16 https://play.google.com/store/apps/details?id=com.popularapp.fakecal

l&feature=apps_topselling_free

Telefone celular

Voip

47 https://play.google.com/store/apps/details?id=com.zmobilevoip&feature=apps_topselling_free

Wedding Planning 1.2 https://play.google.com/store/apps/details?id=com.wedplanning&featu

re=apps_topselling_free

Benji Bananas 1.6 https://play.google.com/store/apps/details?id=com.fingersoft.benjiban

anas&feature=top-new-free

Sleep as Android Não

infomada

https://play.google.com/store/apps/details?id=com.urbandroid.sleep&feature=apps_topselling_free

Lupa (Magnifier HD) 3.2 https://play.google.com/store/apps/details?id=cps.mmxi.magnifier&fea

ture=apps_topselling_free

Emoji para Android 1.0 https://play.google.com/store/apps/details?id=com.teizeba.emoji&feat

ure=apps_topselling_free

Relax and Sleep 4.1 https://play.google.com/store/apps/details?id=com.mizusoft.relaxandsl

eep&feature=apps_topselling_free

EarthView 1.7 https://play.google.com/store/apps/details?id=com.exoprimus.earthvie

w&feature=apps_topselling_free

Postos combustível

Brasil

1.02 https://play.google.com/store/apps/details?id=com.biblum.topgasbr&feature=apps_topselling_free

Tv Show. Tracker

2.3.1 https://itunes.apple.com/app/tv-show-tracker-suivez-vos/id334565283?mt=8

Tumblr 3.3 https://itunes.apple.com/br/app/tumblr/id305343404?mt=8

ShareFood 1.0 https://itunes.apple.com/jp/app/sharefood/id611219625?l=en&mt=8

107

SoundCloud 2.5 https://itunes.apple.com/en/app/soundcloud/id336353151?mt=8

Taximetro Pro 2.1.2 https://play.google.com/store/apps/details?id=br.com.main&feature=a

pps_topselling_free

London

Underground Tube

Map

2.1.3 https://play.google.com/store/apps/details?id=com.visualit.tubeLondonCity&feature=apps_topselling_free

I am Here 1.3 https://play.google.com/store/apps/details?id=com.spacetimeapps.iamhere&feature=apps_topselling_free

Night Vision

Camera

1.1.15 https://play.google.com/store/apps/details?id=com.fingersoft.nightvisioncamera&feature=more_from_developer

Festas UFSC

1.2 https://itunes.apple.com/au/app/festas-ufsc/id469968458?mt=8

GlobeConvert 1.7.3 https://itunes.apple.com/app/globeconvert-currency-

units/id462208752?mt=8

MagicPlan 3.0.1 https://itunes.apple.com/ca/app/magicplan/id427424432?mt=8

NET 2.0.1 https://itunes.apple.com/us/app/net/id518321053?mt=8

Viddy 2.2 https://itunes.apple.com/app/viddy/id426294709

Bouncy Bill Easter

Tales

Não

informada

https://play.google.com/store/apps/details?id=mominis.Generic_Android.Bouncy_Bill_Easter_Tales&feature=apps_topselling_new_free

Xadrez 1.0 https://play.google.com/store/apps/details?id=cox.google.xndroid.ch

ess&feature=apps_topselling_new_free

Pet Shop Story:

Easter

1.0.5.9.1 https://play.google.com/store/apps/details?id=com.teamlava.petshop20&feature=apps_topselling_new_free

Piano Virtual 6.0 https://play.google.com/store/apps/details?id=com.androidgonzalez

2013.piano&feature=apps_topselling_new_free

Exercícios em casa 13030918 https://play.google.com/store/apps/details?id=emcasa.hdcar.in.exerc

iciosemcasa&feature=apps_topselling_new_free

Reuters 1.1 https://itunes.apple.com/us/app/reuters/id602660809?mt=8

108

Floripa VIP 1.1 https://itunes.apple.com/us/app/floripa-vip/id577778153?mt=8

Compras, moda e

liquidações

3.038 https://play.google.com/store/apps/details?id=com.snapette&feature=apps_promotion_30000ca_Fashi

Brasil Mobile

Florianópolis

1.3 https://itunes.apple.com/us/app/brasil-mobile-guia-turistico/id370843693?mt=8

Medida Certa 1.4 https://play.google.com/store/apps/details?id=br.com.ftips.medidacert

a&feature=top-free

Nike+ Running 1.1.0 https://play.google.com/store/apps/details?id=com.nike.plusgps&feature=top-free

Android Massager 1.0 https://play.google.com/store/apps/details?id=br.com.ideatech.celsoari.massageator&feature=top-free

Metas de Vida 1.0 https://play.google.com/store/apps/details?id=br.com.minhavida.metasdevida&feature=apps_topselling_free

Receita Móvel Free 2.0.0 https://play.google.com/store/apps/details?id=receita.movel.free&feature=apps_topselling_free

Saúde Vale 2.8 https://play.google.com/store/apps/details?id=com.saude.vale&feature=apps_topselling_free

Nivea Sun 1.0.11 https://play.google.com/store/apps/details?id=br.com.agenciaclickisobar.niveasun&feature=apps_topselling_free#?t=W251bGwsMSwxLG51bGwsImJyLmNvbS5hZ2VuY2lhY2xpY2tpc29iYXIubml2ZWFzdW4iXQ..

TeleListas 3.7 https://play.google.com/store/apps/details?id=com.cellcity.telelistas&feature=apps_topselling_free

Sabores do Brasil 2.7 https://play.google.com/store/apps/details?id=com.melicoapp.Sabores&feature=apps_topselling_free

iCaipirinha 1.1.2 https://play.google.com/store/apps/details?id=br.com.yottaapps.icaipirinha&feature=apps_topselling_free

Evernote Hello 1.3.1.26 https://play.google.com/store/apps/details?id=com.evernote.hello&feature=apps_topselling_free

ProEstetica 1.0.1 https://play.google.com/store/apps/details?id=pro.bv.pack&feature=apps_topselling_free

109

Qranio 1.3 https://itunes.apple.com/sn/app/qranio/id473459715?mt=8

Twitter 5.5 https://itunes.apple.com/us/app/twitter/id333903271?mt=8

Decolar.com Hotéis

e Voos

1.4.1 https://play.google.com/store/apps/details?id=com.gm.decolar&feature=top-free

Aprenda a falar

outras línguas

2.1 https://play.google.com/store/apps/details?id=com.usefull.phrasestranslate&feature=top-free

1001 Lugares no

Brasil

1.0.4 https://play.google.com/store/apps/details?id=br.com.abril.mileumlugares&feature=apps_topselling_free

Bússola

estabilizada

1.3.3 https://play.google.com/store/apps/details?id=com.netpatia.android.filteredcompass&feature=apps_topselling_free

Hotel Hoje 1.1.1 https://play.google.com/store/apps/details?id=com.hotelzilla.android&feature=apps_topselling_free

minube 2.34 https://play.google.com/store/apps/details?id=com.minube.app&feature=apps_topselling_free

Mochileiros 1.0.1 https://play.google.com/store/apps/details?id=com.quoord.tapatalkmochi.activity&feature=apps_topselling_free

Sushi BR 1.2 https://itunes.apple.com/br/app/sushi-br/id435613346?mt=8

EasyMeasure 11.2 https://itunes.apple.com/us/app/easymeasure-measure-your-camera!/id349530105?mt=8

Photo Effects 2.0.1 https://play.google.com/store/apps/details?id=com.appspot.swisscodemonkeys.effectsfree&feature=search_result#?t=W251bGwsMSwxLDEsImNvbS5hcHBzcG90LnN3aXNzY29kZW1vbmtleXMuZWZmZWN0c2ZyZWUiXQ

Flash Card Demo flash https://play.google.com/store/apps/details?id=com.flashcards.demo&feature=search_result#?t=W251bGwsMSwyLDEsImNvbS5mbGFzaGNhcmRzLmRlbW8iXQ

Dodol Phone 3.0.24 https://play.google.com/store/apps/details?id=demo.galmoori.datausage&feature=search_result#?t=W251bGwsMSwxLDEsImRlbW8uZ2FsbW9vcmkuZGF0YXVzYWdlIl0

Prague Shopping

Guide

0.1 https://play.google.com/store/apps/details?id=com.wPragueShoppingGuide&feature=search_result#?t=W2

110

APÊNDICE D – Formulário utilizado para registrar as avaliações

111

APÊNDICE E - Dados coletados na realização das avaliações

Aplicativos/Questões 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

Dicionário Porto 2 2 0 2 2 2 1 0 0 2 2 2 2 9 2

1001 Lugares no Brasil 2 1 2 2 2 2 9 0 0 2 1 2 2 9 2

Decolar.com 2 2 2 2 2 0 2 0 0 2 2 2 2 2 2

minube 1 1 2 1 1 0 2 0 0 2 2 0 2 9 2

Mochileiros 1 2 2 1 2 2 2 0 0 2 1 2 2 9 2

Aprenda a falar outras línguas 2 1 2 2 2 2 9 0 2 2 2 2 2 9 2

Hotel Hoje 2 1 2 2 2 2 2 0 0 2 2 2 2 0 2

Palco MP3 2 2 2 2 2 1 2 0 0 2 2 2 2 9 2

Color Touch 1 1 0 1 0 0 2 0 0 2 1 1 2 9 2

TeleListas 2 2 2 2 0 2 2 2 0 2 2 2 2 9 2

ProEstetica 2 2 2 2 2 2 9 0 0 2 2 2 2 2 2

Sabores do Brasil 1 1 2 9 2 0 9 0 0 9 1 2 2 9 2

Evernote Hello 1 1 2 2 2 0 2 2 0 1 1 0 1 0 2

iCaipirinha 2 1 0 2 2 2 9 2 0 2 2 2 2 9 2

Nike+ Running 1 1 2 1 2 2 2 2 0 2 1 1 2 1 2

Receita Móvel 2 2 2 9 2 0 9 0 0 9 1 2 2 9 2

Saúde Vale 2 2 2 2 2 2 2 0 0 1 2 2 2 2 2

Android Massager 2 2 0 2 0 2 9 0 0 2 9 2 2 9 2

Metas de Vida 1 1 2 2 2 0 9 2 0 0 2 2 2 2 2

Medida Certa 1 1 2 1 2 0 2 0 0 2 2 1 1 1 2

Nivea Sun 1 1 2 2 2 2 2 2 0 2 2 2 2 2 2

Bounce Bill Easter Tales 2 2 0 2 2 2 2 0 2 2 2 2 2 2 2

Pet Shop Story 2 2 0 1 2 0 2 2 2 2 1 2 2 9 2

Compras, moda e liquidações 1 1 2 1 0 2 2 2 0 1 1 1 2 9 2

Piano Virtual 2 2 0 2 0 9 2 0 2 2 9 2 2 9 2

Exercícios em casa 1 1 0 2 0 0 0 0 0 2 9 2 2 9 2

Xadrez 1 2 2 1 0 2 2 0 0 1 1 2 2 0 2

Night Vision Camera 1 1 0 1 0 2 2 0 1 2 1 0 2 9 2

Taximetro Pro 2 2 2 1 2 2 2 0 0 2 2 2 2 2 2

Relax and Sleep 1 2 2 2 0 0 9 0 2 2 1 2 2 9 2

London Underground Tube Map 1 1 2 1 2 0 2 2 0 2 2 2 2 2 2

Benji Bananas 2 2 0 2 2 0 1 0 2 2 2 2 2 1 2

Postos Combustível Brasil 2 1 2 2 2 0 2 0 0 2 1 2 2 9 2

Earth View 2 2 2 2 2 2 2 2 0 2 9 2 2 9 2

Sleep as Android 1 1 2 2 2 2 9 0 2 1 1 1 2 0 2

Emoji 0 0 2 0 2 0 9 0 0 9 2 0 2 0 2

I am Here 2 2 2 2 0 2 2 0 0 2 2 2 2 9 2

Lupa 0 2 0 1 0 2 9 0 0 2 1 2 2 9 2

Mobile Voip 1 0 2 1 0 0 9 2 0 2 0 1 2 9 2

Happy Diary Plus 2 0 2 1 2 0 2 0 0 2 1 2 2 9 2

ColorNote 2 2 2 2 2 2 9 2 0 2 2 2 2 2 2

aCalendar 2 2 2 2 2 2 9 2 0 2 1 1 2 2 2

WiFi Manager 2 2 2 2 2 2 2 2 0 2 1 2 2 9 2

Call Assistant 2 2 2 2 2 2 2 2 0 2 1 2 2 1 2

Astrid Lista de Tarefas 1 1 2 1 2 1 1 2 0 2 1 0 2 1 2

Wedding Planning 2 2 0 2 2 2 9 2 0 2 1 2 2 2 2

Wikipedia Places 1 1 2 1 2 0 2 0 0 1 1 1 2 9 2

Rastreio Correios 2 2 2 1 2 2 2 0 0 2 2 2 2 9 2

Baby Names 2 2 2 1 2 0 1 0 0 2 2 2 2 9 2

Lembretes de Aniversário 2 2 2 2 2 0 2 2 0 2 2 2 2 9 2

Tempo de Trabalho 2 2 2 1 2 0 2 0 0 2 2 2 2 2 2

Presto! Remote 1 2 2 1 2 2 0 2 0 2 1 2 2 9 2

Battery Master 2 2 2 2 2 2 9 2 0 2 1 2 1 9 2

Simples MP3 Downloader 0 2 2 1 2 2 1 2 0 2 9 2 2 9 2

Nó em Gravata 2 2 2 9 2 0 9 0 0 9 2 2 2 2 2

CPF/CNPJ 1 2 2 2 2 2 1 0 0 2 1 2 2 9 2

Faces - Photo Fun 2 2 2 2 0 2 0 0 0 2 1 1 2 9 2

Horóscopo 2 1 0 2 0 2 9 2 0 2 2 2 2 9 2

Fácil Voz Bloco de Notas 2 2 2 1 0 1 2 2 0 2 1 1 2 9 2

Jogos Mentais 1 1 0 0 0 0 9 0 2 2 0 1 2 0 2

Guia TV BR 2 1 2 2 2 0 2 2 0 2 2 2 2 9 2

Engraçado Tones SMS 1 2 2 2 2 2 9 2 2 2 1 2 1 9 2

Alarme Antifurto 2 1 0 2 0 2 2 0 2 2 2 2 2 9 2

Logo Quiz 2 2 0 2 0 0 2 0 2 2 2 2 2 2 2

Google Play Books 2 2 0 2 2 2 2 2 2 2 2 2 2 9 2

Pou 2 2 0 2 2 2 2 0 2 2 2 2 2 2 2

112

MyBaby Puzzle 1 2 0 2 0 9 9 0 2 2 2 2 2 2 2

Toddler Animal Sound 2 2 0 2 0 0 9 0 2 2 2 2 2 9 2

Galinha Pintadinha 2 2 0 9 0 9 9 0 2 9 2 2 2 9 2

Aplicativos/Questões 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 Gues the Movie! 2 1 2 2 2 0 2 0 2 1 2 2 2 2 2

O que é o que é? 2 1 2 9 2 9 9 0 0 2 2 2 2 9 2

Change my voice 0 2 2 9 0 2 0 0 0 9 2 2 2 9 2

Maze Game 0 0 2 1 2 0 0 0 0 2 1 2 2 2 2

SkyDrive 1 2 2 2 2 0 2 2 0 2 2 2 2 9 2

Flashlight 2 1 0 9 0 2 0 0 2 9 0 1 2 9 2

Presidentes 1 2 2 1 2 2 9 0 0 2 1 2 2 2 2

iBeer 0 2 0 0 0 2 0 0 2 9 1 1 2 9 2

Lighter Free 2 2 0 2 0 2 2 0 2 2 2 2 2 9 2

PhotoGrid 2 2 2 2 0 0 2 2 2 1 1 1 2 0 2

Globo.com 2 2 0 2 0 2 2 2 0 2 2 2 2 9 2

Caça Palavras 1 1 2 9 0 9 0 0 0 2 1 1 2 2 2

Air Horn Free 1 1 0 0 0 2 1 0 0 2 1 0 2 9 2

Astro File Manager 1 2 2 1 2 0 1 2 0 1 2 2 2 9 2

Jogo da Forca 0 1 0 0 2 0 1 0 2 2 1 1 1 0 2

Qual é a resposta? 0 1 0 0 0 0 1 0 2 2 1 1 1 2 2

SimplePac 0 1 0 1 2 0 1 0 2 2 2 0 2 9 2

Dieta e Saúde 2 2 2 2 2 0 2 0 0 1 2 2 2 9 2

Kekanto 2 2 2 2 1 0 2 2 0 1 2 1 2 9 2

Vogue 0 1 2 1 2 0 1 0 0 1 1 2 2 9 2

Marie Claire 0 2 2 1 2 0 1 0 0 1 1 2 2 9 2

Crescer Mobile 0 2 2 1 2 0 1 0 0 1 1 2 2 9 2

Expedia 1 2 2 2 0 2 2 2 0 2 1 1 2 9 2

Diário Catarinense 1 2 2 2 2 0 2 0 0 2 2 2 2 9 2

Globo News 2 2 2 2 2 2 2 0 0 1 2 2 2 9 2

Spider Solitarie 2 2 0 2 2 0 9 2 2 2 2 2 2 9 2

Photaf Panorama 1 2 0 1 2 0 2 2 2 1 2 2 2 2 2

Converter 2 2 2 2 2 2 9 2 0 2 2 2 2 9 2

Radio Atlântida 2 2 2 2 2 0 2 0 0 1 1 1 2 9 2

Pessoa Física 2 1 2 2 2 2 2 0 0 2 2 2 2 9 2

Simulado Detran Free 1 2 2 1 2 2 2 0 0 1 1 2 2 2 2

Clean Master 1 2 2 1 2 0 2 2 0 1 1 2 2 9 2

Boa Compra 2 2 2 1 2 1 1 2 1 2 2 2 2 2 2

4shared 1 2 2 1 2 1 2 2 0 2 T 2 1 0 2

Google Drive 1 2 2 1 2 2 2 2 0 2 2 2 2 0 2

CineMark Brasil 2 1 2 2 1 2 2 2 0 2 2 2 2 0 2

Banco do Brasil 2 2 2 2 2 2 2 0 0 2 1 2 2 2 0

App2SD 2 2 2 2 2 2 2 2 0 2 2 2 2 9 2

DropBox 2 2 2 2 2 2 2 2 0 2 2 2 2 0 2

Shazam 2 2 2 2 2 1 2 2 2 2 1 2 2 2 2

Weather Channel 1 2 2 2 0 2 1 2 0 1 1 2 2 9 2

Climatempo 2 2 2 2 2 0 2 0 2 1 2 2 2 0 2

Tic Tac Toe 2 2 2 2 1 0 0 0 0 1 2 2 2 2 2

WhatsApp 2 2 2 1 2 0 2 2 1 2 2 2 2 2 2

Hotmail 2 2 2 2 2 1 2 2 0 1 1 2 2 1 2

Google Tradutor 2 2 2 2 2 0 2 2 2 2 2 2 1 9 2

QR Droid 2 2 2 2 2 1 2 2 2 2 0 1 1 2 2

Traficc Counter Extended 2 2 2 2 1 0 2 0 0 2 2 2 2 9 2

Gmail 2 2 2 2 1 2 1 2 1 2 2 2 2 0 2

Baixaki 2 2 2 2 2 2 2 0 0 1 1 2 2 2 2

Consulta Visa Vale 1 2 2 0 2 9 0 0 0 2 9 2 2 9 2

Angry Birds 2 0 0 2 9 0 2 2 0 2 1 2 2 2 2

Google Goggles 2 2 2 2 2 0 2 2 0 2 2 2 2 1 2

IMDb 2 2 2 2 2 2 2 2 2 2 1 2 2 0 2

Saraiva eReader 2 1 2 2 2 2 2 0 0 9 2 2 2 0 2

Trip Advisor 2 2 2 2 2 2 2 2 0 9 2 2 2 9 9

PersonalFinance 2 1 2 2 1 9 9 1 0 9 2 2 2 9 2

Buscapé 2 2 2 1 0 0 2 0 2 2 2 1 2 0 2

Tela Transparente 2 2 2 2 2 0 2 2 2 2 2 2 2 2 2

FacebookMessenger 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2

Consulta CEP 2 2 2 2 2 0 2 2 0 2 2 2 2 0 2

YouTube 2 2 1 2 0 1 2 2 2 2 2 2 2 0 0

Viber 1 2 2 2 0 2 2 2 2 2 2 2 1 0 2

Tavindo 2 2 2 2 2 1 9 0 0 9 9 2 2 9 2

Qual Operadora 2 2 2 2 2 2 2 0 0 2 1 2 2 2 2

Cadê Meu Banco 1 2 2 2 2 1 2 0 0 2 2 2 2 9 0

113

Wikipedia 2 1 2 2 2 2 1 2 0 2 2 2 2 9 0

Wallpapers HD iPhone 2 2 2 2 0 2 2 0 2 1 2 2 2 2 0

Instagram 2 2 2 2 2 2 2 2 0 2 1 1 2 0 2

Aplicativos/Questões 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 Ingresso.com 2 2 2 2 1 1 2 0 0 2 1 2 2 1 2

Churrascometro 2 1 2 2 1 0 9 0 0 9 2 2 2 1 2

Brasileirão 2 2 2 2 2 0 2 0 0 1 2 2 2 2 2

CamScanner iPhone 2 2 2 2 2 2 2 2 2 2 2 2 2 0 0

Buscapé iPhone 2 2 2 2 1 0 2 2 2 2 1 2 2 1 0

Groupon iPhone 1 2 2 2 2 1 2 2 2 2 1 2 2 0 0

Voos Online 0 0 1 0 2 0 1 0 0 9 2 2 2 2 0

Wase iPhone 2 2 2 2 2 1 2 2 2 2 1 2 2 0 2

Accupedo - Pedômetro 2 2 2 2 2 0 2 2 2 2 2 2 2 2 2

Apn Brasil 2 1 2 2 2 1 2 2 0 2 2 2 2 9 2

TrackPack 1 1 2 1 2 2 1 0 2 2 1 2 2 2 2

AVG Mobilation 2 2 2 2 2 0 2 2 0 2 1 2 2 2 2

Facebook 1 2 2 2 0 2 2 0 1 9 2 2 2 9 2

CardioTrainer 1 0 2 9 2 0 2 2 2 9 1 9 2 9 0

Feriados 2013 iPhone 2 1 2 2 2 2 2 0 0 1 2 2 2 2 2

Catarinense 2013 iPhone 2 2 2 2 1 2 2 0 0 2 2 2 2 2 2

Internacional SporTV iPhone 2 2 2 2 1 2 0 0 1 2 2 2 1 0 2

Night Sky Lite iPhone 2 2 0 2 0 1 2 2 2 2 2 1 2 1 2

Sky Sports iPhone 2 2 2 1 2 1 2 0 0 2 2 2 2 1 2

Shazam iPhone 2 2 2 2 2 2 2 0 2 2 2 2 2 2 2

GloboEsporte.com iPhone 2 2 2 2 2 2 0 0 0 1 2 2 2 2 2

EyeEm iPhone 2 2 2 1 2 2 0 2 1 2 2 2 1 0 2

Dictionary.com iPhone 2 2 2 2 0 2 2 0 2 2 1 2 2 2 2

Quora iPhone 2 2 2 2 2 2 2 0 0 1 2 2 2 1 2

Áudio pessoal AUPEO iPhone 2 2 2 2 0 2 2 2 2 2 1 1 2 9 0

Guia de Aeroportos HD iPhone 2 2 2 2 2 2 2 0 0 2 2 2 2 0 0

Guia Médico Nacional Unimed 1 1 0 2 0 2 2 0 1 2 2 9 2 0 2

Myway Diabetes Manager 2 1 2 2 0 0 0 0 0 2 1 1 2 2 2

Genéricos Brasil 2 1 2 2 0 2 0 0 2 2 2 2 2 2 0

Vacinas Brasil Lite 2 2 2 2 2 0 0 2 1 2 2 2 2 0 0

Pressão Arterial 2 2 2 2 0 0 9 2 2 2 1 1 2 1 0

Diário de Pressão Sanguinea 2 2 2 2 2 0 9 2 2 2 2 2 2 2 0

GAPS - Antibiótico na Urgência 2 2 2 2 2 0 9 0 1 2 2 2 2 0 2

Diabetes 2 2 2 2 2 2 9 0 0 9 0 1 2 2 2

Apgar 2 1 2 2 2 2 9 0 0 9 9 2 2 2 0

Medscape 2 2 2 2 2 2 2 0 0 2 0 2 2 2 0

Procedimentos TUSS 2 2 2 2 2 2 9 0 0 2 1 2 2 0 0

Alergias 2 2 2 9 2 0 9 0 0 2 1 1 2 0 0

Amamentação 2 2 2 2 0 0 2 0 0 2 2 2 2 2 0

Diabetes 1 2 0 2 0 2 9 0 0 2 1 2 2 2 0

Diabetes Diary Lite 2 1 0 1 0 2 9 0 0 2 0 1 2 2 0

bPresso.com 2 2 2 2 2 2 2 2 0 2 2 2 2 2 2

Foursquare iPhone 2 2 2 2 0 1 2 2 0 1 2 2 2 2 0

Any.Do iPhone 2 0 2 2 0 0 2 0 0 1 2 2 2 2 0

Wunderlist iPhone 2 2 2 2 2 1 2 2 2 2 2 2 2 2 0

InstaWeather Free iPhone 2 2 0 2 0 1 2 0 2 1 2 2 2 1 0

Taxibeat iPhone 2 1 2 2 2 1 2 0 0 2 2 2 1 2 0

Passa Régua iPhone 2 1 0 2 0 0 2 2 0 2 2 1 2 1 0

Qello iPhone 2 2 2 2 2 2 2 2 2 2 1 2 2 1 0

Thirst iPhone 2 2 2 2 2 2 2 2 0 2 2 2 2 1 0

TouristEye iPhone 2 2 2 2 2 1 2 2 2 2 2 2 2 1 0

Mokriya Craigslist apps for iPhone 2 2 2 2 2 1 2 0 0 2 2 2 2 1 0

Gripe Suína 2 2 2 2 2 1 2 1 0 2 2 2 2 2 0

Psoríase 2 2 2 2 2 1 0 1 0 2 2 2 2 2 0

Appediatria 2 2 2 2 2 1 9 0 2 9 2 2 2 2 0

Rotinas Terapeuticas 2 2 0 2 2 2 0 1 0 2 2 2 2 2 0

Meu Diário Mensal 2 2 2 2 2 1 9 0 0 2 2 2 2 0 0

Universo Médico 2 2 2 2 2 2 0 1 0 2 2 2 2 2 0

GlicoCare 2 2 2 2 2 2 2 0 0 2 2 2 2 2 0

Breastfeed 2 2 2 2 2 2 2 0 0 9 9 1 2 2 0

Aleitamento 2 2 2 2 2 0 2 1 0 2 2 2 2 2 0

Dengue Adulto e Criança 2 2 2 2 2 1 9 2 0 2 1 1 2 2 0

GestaTools 2 2 2 2 2 1 9 1 0 2 2 2 2 1 0

CliniCalc: Medical Calculator 2 2 2 2 2 2 9 2 0 2 2 2 2 2 0

Procedimentos SUS 2 2 2 2 2 1 9 0 0 2 2 2 2 2 0

Medicamentos A a Z: Pediatria Free 2 2 2 2 1 0 9 1 0 2 1 2 2 2 0

114

WBCBaseball iPhone 2 2 2 2 1 1 2 0 0 2 2 2 2 1 0

Partiu Balada iPhone 2 2 2 2 2 2 2 0 0 0 2 2 2 2 0

ArtFinder iPhone 2 1 2 2 2 1 2 0 0 2 2 2 2 1 0

Aplicativos/Questões 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 EyeEm iPhone 2 2 2 2 1 1 2 2 0 2 2 2 2 2 2

Remember The Milk iPhone 2 2 2 2 2 0 2 2 0 2 1 2 2 2 0

MusiXmatch iPhone 2 2 2 2 2 2 2 2 2 2 2 2 2 1 0

Split Pic iPhone 2 1 0 2 0 0 2 0 2 2 1 1 2 1 0

ShareFood iPhone 2 2 2 2 2 2 2 0 0 2 2 2 2 2 2

TV Show Tracker iPhone 2 1 2 2 0 0 2 2 2 2 2 1 2 1 0

Privalia iPhone 2 1 2 2 0 2 2 0 0 2 2 2 2 1 2

yap TV Guide iPhone 2 1 2 2 2 0 2 2 2 1 1 2 2 1 0

Tumblr iPhone 2 2 2 2 0 2 2 0 0 2 1 2 2 1 2

Festas UFSC iPhone 2 2 2 2 0 2 2 0 0 2 2 2 2 2 0

SoundCloud iPhone 2 2 2 2 1 1 2 0 0 2 2 2 2 1 0

GlobeConvert iPhone 2 2 2 2 2 0 2 2 0 2 1 2 2 2 0

MagicPlan iPhone 2 2 2 2 2 0 2 2 2 2 2 2 2 1 0

NET iPhone 2 1 2 2 0 2 2 2 2 2 2 2 2 1 0

Viddy iPhone 2 2 2 2 2 1 2 2 2 1 1 2 2 1 0

Reuters iPhone 2 2 2 2 1 0 2 2 2 2 1 2 2 2 0

Brasil Mobile iPhone 2 2 2 2 2 0 0 2 0 2 2 2 2 2 0

Floripa VIP iPhone 2 2 2 2 2 2 2 0 0 2 2 1 2 2 0

Qranio iPhone 2 2 2 2 2 0 1 0 0 2 2 2 2 2 2

Twitter iPhone 2 2 2 2 2 2 2 2 2 2 1 2 2 2 0

Insta College 1 0 0 2 0 0 9 0 0 2 2 2 2 2 0

Biblia Sagrada NVI 2 2 2 2 2 2 2 0 2 2 2 2 2 2 0

Shared Mp3 2 2 2 2 2 2 2 0 9 9 9 0 2 2 0

Prague Shopping Guide 1 1 0 9 2 2 1 2 0 9 0 0 2 9 2

Ringtone Maker 2 2 2 2 2 9 9 2 0 9 2 2 2 9 0

Tv show favs 2 2 2 2 1 9 2 2 0 0 2 2 2 9 0

KCRW SongTag 2 2 2 2 2 9 2 0 0 2 9 2 2 2 0

Livraria Cultura eBook 2 2 2 2 1 0 2 0 0 9 9 9 2 9 0

Wales UK-Free Travel Guide 2 0 2 9 0 2 2 1 0 9 1 2 2 9 2

Baby holidays 1 1 0 2 0 0 2 0 2 2 1 0 2 0 0

RadarG1 2 1 2 2 0 2 1 0 0 2 2 2 2 0 0

iCall 2 2 2 2 2 2 2 2 0 2 1 2 0 0 2

Eu atleta 2 1 2 2 2 1 2 0 0 2 1 2 2 0 2

Sonar 1 2 2 2 2 0 2 0 0 2 2 2 2 0 2

Sushi BR 2 1 2 2 2 0 0 0 2 2 2 2 2 1 0

Photo Effects 2 2 2 2 0 1 2 0 0 2 2 0 2 0 0

EasyMeasure 2 2 0 2 1 0 2 2 2 2 1 2 1 1 0

Flash Card Demo 1 2 2 2 0 0 9 0 0 2 0 0 2 0 2

Dodol Phone 2 2 2 2 2 2 2 2 0 2 2 2 2 1 0



Decolar.com 2 2 9 2 9 9 9 2 2 1 2 2 2 2 2

minube 0 2 2 2 0 9 9 2 0 9 2 2 1 2 0

Mochileiros 2 2 2 2 9 9 9 2 0 9 2 2 2 2 0


Hotel Hoje 1 2 0 2 2 9 9 2 1 0 2 1 1 2 2

Hotel Hoje 9 9 9 2 9 9 9 2 9 9 9 2 2 2 2

Palco MP3 1 1 9 2 2 9 9 2 2 9 2 2 2 2 2

Color Touch 9 2 9 2 9 2 2 2 9 9 0 1 1 2 2

TeleListas 0 0 9 2 9 2 2 2 2 9 0 2 2 2 2

ProEstetica 1 2 9 2 9 9 9 2 9 2 2 2 2 2 2


Evernote Hello 2 2 0 2 0 2 0 2 2 0 2 1 1 2 2

iCaipirinha 1 2 9 2 9 9 9 2 9 9 2 1 2 2 2

Nike+ Running 2 2 2 2 9 9 9 2 1 0 2 1 2 2 2

Receita Móvel 2 2 9 2 9 9 9 9 9 9 2 2 1 2 2

Saúde Vale 2 2 9 2 9 9 9 2 2 2 2 2 2 2 2


Metas de Vida 2 0 2 2 9 2 2 2 2 2 2 1 2 2 2

Medida Certa 2 0 0 2 9 9 1 2 2 1 2 1 2 2 2

Nivea Sun 2 0 9 0 9 1 2 2 2 2 2 1 2 2 2


Pet Shop Story 0 2 0 2 9 0 2 2 2 0 2 2 2 2 2


Piano Virtual 0 9 9 2 9 9 9 9 9 9 0 1 9 9 9


115

Xadrez 2 2 9 2 9 2 2 2 9 0 2 2 2 2 2


Taximetro Pro 2 2 9 2 0 9 9 2 2 0 2 2 2 2 2


Relax and Sleep 2 2 9 0 9 2 2 2 9 9 2 2 1 1 2


Benji Bananas 0 2 9 2 9 9 9 2 9 1 2 2 2 2 2


Earth View 2 2 9 2 9 9 9 2 9 9 2 2 2 2 2

Sleep as Android 2 2 9 2 9 2 2 2 1 0 2 1 2 2 0

Emoji 2 2 9 2 9 9 9 9 9 0 0 1 0 2 2

I am Here 2 2 9 2 9 9 9 2 2 9 2 2 1 2 2

Lupa 9 0 9 2 9 9 9 2 9 9 0 2 9 2 2

Mobile Voip 2 1 9 0 9 9 9 9 0 9 0 0 0 2 0

Happy Diary Plus 2 2 0 2 9 9 9 9 2 9 2 0 2 2 2

ColorNote 2 2 9 2 9 2 2 2 2 9 2 1 2 2 2

aCalendar 2 2 9 2 9 2 2 2 2 2 2 1 1 2 0

WiFi Manager 2 1 9 2 9 9 9 2 2 9 2 2 2 2 2

Call Assistant 0 2 9 0 9 9 9 2 2 0 2 1 2 2 0





Baby Names 2 2 9 2 9 2 2 2 2 9 2 2 2 2 2



Presto! Remote 2 2 9 2 9 9 9 2 9 9 2 2 2 2 2

Battery Master 2 2 9 2 9 1 2 2 9 9 2 1 2 2 0


Nó em Gravata 2 2 9 2 9 9 9 9 9 2 2 2 2 2 2

CPF/CNPJ 2 1 9 2 9 9 9 2 2 9 2 2 2 2 2

Faces - Photo Fun 1 0 9 2 9 0 2 2 2 0 0 2 2 9 2

Horóscopo 2 2 9 2 9 9 9 2 2 9 2 1 2 2 0


Jogos Mentais 9 0 9 0 9 0 0 9 9 0 0 1 1 1 1

Guia TV BR 2 2 9 0 2 2 2 2 1 9 2 1 2 2 2



Logo Quiz 2 2 2 2 9 0 0 2 2 2 0 2 2 2 2


Pou 0 1 0 2 9 0 9 2 2 2 2 1 2 2 2

MyBaby Puzzle 9 2 9 2 9 2 2 9 9 2 9 2 9 9 9



Gues the Movie! 1 2 9 2 9 1 2 2 2 2 2 2 2 2 2

O que é o que é? 9 9 9 0 9 9 9 9 9 9 2 1 0 9 2

Change my voice 0 0 9 0 9 9 9 0 9 9 0 2 2 9 2

Maze Game 2 2 9 2 9 2 2 2 9 2 2 1 1 2 2

SkyDrive 2 2 0 0 2 0 2 2 2 9 2 2 2 2 2

Flashlight 9 2 9 0 9 9 9 9 9 9 9 1 1 9 2

Presidentes 2 2 9 2 9 0 2 2 2 2 2 1 2 2 2

iBeer 9 0 9 0 2 9 9 9 9 9 0 1 9 1 2

Lighter Free 2 2 9 2 9 9 9 2 9 9 0 1 2 2 2

PhotoGrid 2 2 9 2 0 2 2 2 2 0 2 2 2 2 2

Globo.com 2 2 9 2 0 9 9 2 9 9 9 2 2 2 2

Caça Palavras 9 2 9 2 9 9 9 9 9 2 9 1 2 9 2

Air Horn Free 9 9 9 9 9 9 9 2 9 9 9 1 2 9 2


Jogo da Forca 9 0 9 2 9 9 2 9 9 0 2 1 1 2 0

Qual é a resposta? 9 0 9 2 9 9 2 9 9 2 0 1 1 2 0

SimplePac 2 2 0 2 9 9 9 2 2 9 2 1 1 2 2

Dieta e Saúde 2 2 9 2 9 9 9 9 2 9 2 2 2 2 2

Kekanto 2 0 0 2 0 0 2 2 1 0 2 2 2 2 2

Vogue 2 2 9 2 9 9 9 2 9 9 1 1 2 2 2

Marie Claire 2 2 9 2 9 9 9 2 2 9 1 2 2 2 2

Crescer Mobile 2 2 9 2 9 9 9 2 2 9 1 2 2 2 2

Expedia 1 2 9 2 9 9 9 9 1 9 1 2 1 2 2


Globo News 2 2 9 2 2 9 9 9 9 9 2 2 2 1 2

116


Photaf Panorama 2 2 9 2 9 0 0 2 0 2 2 2 2 2 2

Converter 2 2 9 2 9 9 9 2 2 9 2 2 2 2 2


Radio Atlântida 2 2 9 0 2 9 9 2 9 9 2 1 2 2 2

Pessoa Física 2 2 9 2 9 9 9 2 2 9 2 2 2 2 2


Clean Master 2 2 9 0 2 0 0 1 9 9 2 2 2 2 2

Boa Compra 2 2 0 2 0 1 1 0 1 1 2 2 2 2 2

4shared 2 2 0 2 2 0 2 2 2 0 2 1 2 1 0

Google Drive 2 2 2 2 2 1 1 2 2 2 2 2 2 1 2

CineMark Brasil 2 2 1 2 2 2 0 9 2 1 2 1 2 2 0

Banco do Brasil 2 2 2 2 9 9 9 2 1 2 2 2 2 1 2

App2SD 2 2 9 2 9 0 0 2 9 9 2 2 2 2 0

DropBox 2 2 1 2 2 0 0 2 2 1 2 2 2 2 2

Shazam 2 2 2 2 2 0 0 9 0 2 2 2 2 2 2

Weather Channel 2 2 9 2 9 9 9 2 0 9 0 2 2 2 0

Climatempo 2 2 2 2 9 9 9 0 1 1 2 2 2 2 2

Tic Tac Toe 9 2 9 2 9 0 0 0 9 2 2 1 1 2 2

WhatsApp 2 0 9 2 1 0 0 2 2 2 2 2 1 2 2

Hotmail 2 2 9 0 0 0 0 0 1 1 2 2 2 2 2

Google Tradutor 2 2 2 2 9 2 2 2 1 9 2 1 2 2 2

QR Droid 2 2 1 2 0 2 2 0 1 1 2 2 2 2 2


Gmail 2 2 2 2 0 0 0 2 2 2 2 2 2 2 2

Baixaki 2 2 9 2 0 0 0 0 1 2 2 2 2 2 2


Angry Birds 9 2 9 2 9 9 9 2 9 2 9 2 2 1 2

Google Goggles 2 2 9 2 2 2 2 1 1 1 2 2 2 2 2

IMDb 2 2 0 2 1 1 2 2 2 2 1 2 2 2 0

Saraiva eReader 2 2 2 2 0 9 9 0 1 9 2 1 1 2 2

Trip Advisor 0 2 9 2 2 9 9 9 1 9 2 2 1 0 2


Buscapé 2 2 0 2 0 0 0 1 1 0 1 1 1 2 2



Consulta CEP 0 2 9 2 0 0 0 1 0 1 2 2 2 2 2

YouTube 2 2 2 2 2 0 0 0 0 2 2 2 2 9 0

Viber 1 2 0 2 1 1 2 0 2 2 9 2 2 9 2

Tavindo 2 2 9 2 9 1 1 2 2 2 2 2 2 2 2

Qual Operadora 2 2 9 2 1 1 1 2 2 1 2 2 2 2 2

Cadê Meu Banco 2 2 9 2 9 0 0 0 2 9 9 1 9 2 2

Wikipedia 0 0 9 0 9 1 1 0 1 9 9 2 1 2 2


Instagram 2 2 2 2 1 1 0 0 0 2 2 2 2 9 0

Ingresso.com 2 2 9 2 2 0 0 2 1 1 2 2 2 2 0

Churrascometro 2 2 9 2 9 1 1 9 9 2 9 1 0 2 2

Brasileirão 2 2 9 2 9 9 9 2 9 2 2 2 2 2 2


Buscapé iPhone 2 2 0 2 0 1 1 2 2 2 9 2 1 2 2

Groupon iPhone 2 1 2 2 9 0 0 2 2 2 2 2 1 2 2

Voos Online 2 0 9 2 9 9 9 0 1 2 9 2 2 9 2

Wase iPhone 2 2 2 2 0 0 0 0 2 2 2 2 2 1 0


Apn Brasil 2 2 9 2 9 2 0 2 2 9 2 1 1 2 2

TrackPack 2 2 9 2 9 9 2 2 2 2 2 2 2 2 2

AVG Mobilation 1 2 9 0 2 0 0 2 2 9 2 2 2 2 2

Facebook 0 2 2 2 9 9 9 0 0 9 9 2 2 9 2

CardioTrainer 2 2 9 2 9 9 9 0 9 0 9 2 9 1 0

Feriados 2013 iPhone 2 2 9 2 9 9 9 2 2 2 2 1 2 2 2





Shazam iPhone 2 2 9 2 2 2 0 2 2 2 2 2 2 2 2


EyeEm iPhone 0 0 2 2 0 0 2 2 1 2 2 2 2 2 2


Quora iPhone 2 2 9 2 9 2 0 2 2 1 2 2 2 2 2

117











Diabetes 2 2 9 2 9 9 9 9 9 1 2 1 2 2 0

Apgar 9 9 9 2 9 2 2 9 9 2 2 2 2 9 2

Medscape 0 2 0 2 0 9 9 2 2 2 2 1 1 2 2


Alergias 0 0 9 2 9 0 0 1 1 1 0 2 0 2 2

Amamentação 0 2 9 2 2 0 0 2 0 2 0 2 1 2 2

Diabetes 1 2 2 2 9 0 0 1 1 2 0 1 1 2 2


bPresso.com 2 2 0 2 2 0 0 2 1 2 2 2 2 2 0


Any.Do iPhone 2 0 9 2 2 2 2 9 2 2 2 1 0 2 2



Taxibeat iPhone 2 0 0 2 2 0 0 9 2 2 2 1 0 2 2


Qello iPhone 2 0 0 2 2 0 0 0 1 1 2 2 2 2 2

Thirst iPhone 2 1 2 2 0 0 0 9 2 1 2 1 2 2 2



Gripe Suína 0 2 9 2 9 9 9 2 9 2 2 2 2 2 2

Psoríase 1 2 9 2 0 9 9 2 2 2 2 2 2 2 2

Appediatria 9 2 9 2 0 9 9 9 9 2 2 2 2 2 2



Universo Médico 2 2 2 2 0 0 0 2 2 2 2 2 2 2 2

GlicoCare 0 2 0 2 9 0 0 2 2 2 2 2 1 2 2

Breastfeed 2 9 9 2 2 0 0 9 9 2 9 2 0 2 2

Aleitamento 2 2 9 2 2 2 0 2 2 2 2 2 2 2 2


GestaTools 0 2 9 2 9 0 0 2 2 2 2 2 2 2 2







EyeEm iPhone 2 2 0 2 2 2 2 2 1 1 2 2 1 1 2



Split Pic iPhone 2 0 0 2 2 2 2 2 9 2 1 1 0 2 2



Privalia iPhone 2 2 0 2 2 2 2 2 1 2 0 2 1 2 2


Tumblr iPhone 2 2 0 2 2 2 2 2 2 1 2 2 2 2 2





NET iPhone 2 1 0 2 2 2 2 2 2 2 2 2 1 2 2

Viddy iPhone 2 1 0 2 0 2 2 2 2 1 2 1 1 2 2

Reuters iPhone 2 1 0 2 2 2 2 9 2 2 2 1 1 2 2



Qranio iPhone 2 1 0 2 0 0 0 2 2 2 2 2 2 2 0

Twitter iPhone 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2

Insta College 9 2 9 2 9 0 0 0 2 9 0 2 9 2 2


Shared Mp3 2 2 9 2 0 9 9 9 2 2 1 2 0 2 9


118

Ringtone Maker 2 2 9 2 9 9 9 0 9 9 2 2 2 2 2

Tv show favs 2 2 2 2 9 0 0 0 0 2 2 0 2 0 2

KCRW SongTag 2 2 9 2 9 9 9 1 9 9 2 9 0 2 2




Baby holidays 9 0 9 2 0 0 0 2 0 9 2 2 2 2 2

RadarG1 2 1 9 2 0 0 0 2 2 2 2 2 2 2 2

iCall 2 2 2 2 0 0 0 2 2 2 2 2 1 0 1

Eu atleta 2 1 2 2 9 0 0 2 2 2 1 1 2 2 2

Sonar 2 2 2 2 9 0 0 0 2 1 2 1 2 1 2

Sushi BR 2 2 9 2 2 2 2 9 2 2 1 1 2 2 1

Photo Effects 2 0 9 2 1 0 0 0 2 9 1 2 9 2 2

EasyMeasure 9 0 9 2 0 2 2 2 1 2 2 1 2 2 2

Flash Card Demo 0 0 9 2 9 0 0 0 0 9 1 1 9 0 2

Dodol Phone 2 0 9 0 9 0 0 0 2 2 2 1 2 1 2




Decolar.com 2 2 2 2 2 2 2 9 2 2 1 2 2 2 2

minube 1 1 1 1 2 1 0 9 1 2 1 1 2 1 2

Mochileiros 2 2 2 1 2 2 0 9 2 2 1 2 2 1 2


Hotel Hoje 2 2 2 2 2 2 0 9 2 2 1 2 2 2 2

Hotel Hoje 9 2 2 9 9 2 0 9 2 2 2 2 2 2 2

Palco MP3 2 2 2 2 2 2 0 2 2 2 2 2 2 2 2

Color Touch 0 0 1 2 2 1 2 2 1 2 2 0 2 2 9

TeleListas 2 2 1 1 2 2 0 0 1 2 2 1 2 2 0

ProEstetica 2 2 2 2 1 2 0 9 2 2 2 1 2 2 2


Evernote Hello 0 2 1 1 2 2 2 2 2 2 1 0 2 2 1

iCaipirinha 2 2 2 2 9 2 2 9 2 2 2 2 2 2 2

Nike+ Running 2 2 1 1 2 1 2 9 2 2 1 1 2 2 2

Receita Móvel 9 2 2 2 2 2 1 9 2 2 2 1 2 2 2

Saúde Vale 2 2 2 2 2 2 0 9 2 2 2 1 2 2 2


Metas de Vida 2 2 2 2 2 2 0 9 1 2 2 2 2 2 2

Medida Certa 1 1 1 1 0 1 0 9 1 1 0 0 2 2 2

Nivea Sun 2 2 2 2 0 2 0 9 1 2 2 1 2 2 2


Pet Shop Story 2 2 2 2 2 2 0 2 2 2 2 2 2 2 2


Piano Virtual 9 2 2 9 9 9 0 9 2 9 9 2 0 9 9


Xadrez 2 2 2 2 9 2 0 2 2 2 2 1 0 1 2


Taximetro Pro 2 2 2 2 9 2 0 9 2 2 1 2 0 2 2

Relax and Sleep 1 2 2 2 9 2 0 2 2 2 2 1 2 2 2


Benji Bananas 2 2 2 2 9 2 0 9 2 9 2 2 2 2 2


Earth View 9 2 2 2 9 2 0 9 2 2 2 2 2 2 2

Sleep as Android 2 2 2 2 2 0 0 0 2 2 0 2 2 1 2

Emoji 0 2 0 0 2 0 0 9 2 9 0 0 2 2 0

I am Here 2 2 2 2 2 0 0 1 2 2 2 1 0 2 2

Lupa 0 2 2 1 9 2 0 9 1 2 2 1 0 2 9

Mobile Voip 2 2 1 1 9 0 0 9 1 1 1 0 2 0 0

Happy Diary Plus 2 2 2 2 2 2 0 2 2 2 1 1 2 2 2

ColorNote 2 2 2 2 2 2 0 2 2 2 2 2 2 2 2

aCalendar 2 2 2 2 9 2 0 2 1 2 2 2 2 1 2

WiFi Manager 2 2 2 2 9 2 0 9 1 1 1 1 2 1 2

Call Assistant 1 2 2 2 9 2 0 2 2 2 1 1 2 1 2





Baby Names 2 2 2 2 2 2 0 9 2 2 2 1 2 2 1



Presto! Remote 2 2 2 2 9 1 0 9 1 2 2 2 2 2 1

119

Battery Master 2 2 1 1 2 0 0 2 1 1 1 1 2 1 1


Nó em Gravata 2 2 2 2 9 2 0 9 2 2 1 1 2 2 2

CPF/CNPJ 2 2 2 2 2 1 0 9 1 2 1 2 2 2 2


Faces - Photo Fun 0 2 2 2 9 2 0 0 1 9 9 0 0 1 0

Horóscopo 2 2 2 2 2 2 0 9 2 2 2 1 2 1 2


Jogos Mentais 0 2 2 1 9 2 0 1 1 2 1 1 2 1 9

Guia TV BR 2 2 2 2 2 2 0 2 2 2 2 2 2 2 2



Logo Quiz 2 2 2 2 9 2 0 2 2 2 2 1 0 2 0


Pou 2 2 2 2 9 2 0 9 1 2 2 1 2 2 2

MyBaby Puzzle 2 2 2 2 9 9 0 9 0 9 9 2 0 9 9



Gues the Movie! 2 2 2 2 2 2 0 9 2 2 2 2 2 2 2

O que é o que é? 9 2 9 9 9 2 1 9 2 9 9 1 2 2 2

Change my voice 9 2 2 9 9 2 0 9 0 2 2 1 0 1 9

Maze Game 1 2 2 2 9 2 0 0 2 1 1 1 2 2 1

SkyDrive 2 2 2 2 2 2 0 2 2 2 2 2 2 2 2

Flashlight 2 2 2 9 9 2 0 9 1 2 9 1 0 2 2

Presidentes 2 2 2 2 9 2 0 0 2 2 2 2 2 2 2

iBeer 9 2 2 9 9 2 0 9 2 2 2 2 0 2 9

Lighter Free 9 2 2 2 9 2 0 9 2 2 2 2 0 2 9

PhotoGrid 2 2 2 2 2 2 0 1 2 2 2 2 2 2 1

Globo.com 9 2 2 2 2 2 0 9 2 2 2 1 0 2 0

Caça Palavras 9 2 2 9 9 2 0 9 2 9 2 0 2 2 9

Air Horn Free 9 2 2 9 9 2 0 9 9 2 2 0 0 2 0


Jogo da Forca 0 2 2 1 9 1 0 0 1 2 2 0 2 1 2

Qual é a resposta? 0 2 2 1 9 1 0 0 1 2 2 0 2 1 2

SimplePac 2 2 1 1 9 1 0 9 2 2 1 0 0 2 1

Dieta e Saúde 2 2 2 2 9 1 2 9 2 2 2 2 2 2 2

Kekanto 2 1 1 1 1 1 0 9 2 2 0 1 2 1 1

Vogue 2 2 2 2 2 2 0 9 1 2 1 2 2 2 2

Marie Claire 2 2 2 2 2 2 0 9 1 2 1 2 2 2 2

Crescer Mobile 2 2 2 2 2 2 0 9 1 2 1 2 2 2 2

Expedia 2 2 2 1 2 2 0 9 2 2 2 2 2 2 1


Globo News 2 2 2 2 2 2 0 9 1 2 2 2 2 2 2


Photaf Panorama 2 2 2 2 9 1 2 2 1 2 2 1 2 2 2

Converter 9 2 2 2 9 2 0 9 2 2 2 2 0 2 2

Radio Atlântida 2 2 2 2 9 1 0 9 0 2 2 2 0 2 2

Pessoa Física 2 2 2 2 9 2 0 9 2 2 2 2 2 2 2


Clean Master 2 2 2 2 9 2 0 1 2 2 2 2 2 2 2

Boa Compra 2 2 2 2 9 1 2 9 0 2 2 2 2 2 2

4shared 1 2 2 2 9 2 2 2 0 2 2 2 2 1 1

Google Drive 2 2 2 2 9 2 0 0 9 2 2 2 2 1 2

CineMark Brasil 2 2 2 2 1 2 0 0 2 2 2 2 2 1 2

Banco do Brasil 2 2 2 2 9 2 2 1 0 2 2 2 2 2 2

App2SD 2 2 2 2 9 2 0 1 0 2 1 2 2 1 2

DropBox 2 2 2 2 9 2 2 2 9 2 2 2 2 1 2

Shazam 1 2 2 2 2 2 0 0 1 2 2 2 2 1 2

Weather Channel 2 2 2 2 9 2 0 1 2 2 0 2 2 1 0

Climatempo 2 2 2 1 2 2 0 0 0 2 2 2 2 2 2

Tic Tac Toe 1 2 2 9 2 1 0 0 0 9 2 2 1 2 9

WhatsApp 2 2 2 2 9 2 2 0 0 2 2 2 2 2 2

Hotmail 1 2 2 2 2 1 2 2 2 9 1 1 2 2 2

Google Tradutor 2 2 2 2 9 2 0 0 0 2 2 2 2 2 2

QR Droid 2 2 2 2 2 2 0 1 2 2 2 2 2 1 2


Gmail 2 2 2 2 2 2 0 0 0 2 2 2 2 2 2

Baixaki 2 2 2 2 2 2 0 0 0 0 2 2 2 2 2


Angry Birds 9 2 2 2 9 2 2 1 0 0 9 2 2 2 9

120

Google Goggles 2 2 2 2 2 2 2 0 0 2 2 2 2 2 2

IMDb 2 2 2 2 9 1 0 0 0 2 1 2 2 1 2

Saraiva eReader 0 2 9 2 2 2 0 2 9 2 2 2 2 2 2

Trip Advisor 2 2 2 2 2 2 2 9 9 2 2 2 2 2 2



Buscapé 2 2 2 2 2 2 0 2 0 2 2 2 2 2 2



Consulta CEP 9 2 2 2 9 2 0 9 0 2 2 1 2 2 2

YouTube 2 2 2 2 2 2 0 2 9 2 2 2 2 2 2

Viber 2 2 2 2 9 2 0 1 9 2 2 2 2 2 2

Tavindo 9 2 2 2 9 2 0 9 0 2 2 1 2 2 2

Qual Operadora 2 2 2 2 2 2 0 9 2 2 2 2 2 2 2

Cadê Meu Banco 2 2 9 2 9 2 0 0 2 2 2 2 2 2 1

Wikipedia 2 1 2 2 2 0 9 2 2 2 1 2 2 1 1


Instagram 2 1 2 2 9 2 0 2 2 2 1 0 1 2 2

Ingresso.com 2 2 2 2 2 2 0 9 0 2 1 2 2 2 2

Churrascometro 9 9 9 2 9 2 0 9 0 2 2 2 2 2 2

Brasileirão 2 2 2 2 9 2 0 9 0 2 2 2 2 2 2


Buscapé iPhone 2 1 1 2 2 2 0 2 2 2 2 1 2 2 2

Groupon iPhone 2 1 2 2 2 2 0 9 2 2 1 1 2 1 1

Voos Online 0 9 2 2 9 2 0 9 9 0 2 2 2 2 2

Wase iPhone 0 1 2 1 9 2 1 0 2 2 1 0 2 2 2


Apn Brasil 2 2 2 2 9 2 0 0 2 2 2 2 2 2 2

TrackPack 2 2 2 2 9 2 0 1 2 2 2 2 2 2 1

AVG Mobilation 2 2 2 2 2 2 0 0 2 2 2 2 2 2 2

Facebook 2 2 2 2 2 2 0 0 2 2 9 2 2 2 9

CardioTrainer 0 0 2 2 9 2 0 9 2 9 2 0 2 2 2

Feriados 2013 iPhone 2 2 2 2 2 1 0 0 0 2 2 2 1 2 2





Shazam iPhone 2 2 2 2 2 2 0 9 2 2 2 2 1 2 2


EyeEm iPhone 2 2 2 2 2 2 0 9 0 2 2 0 1 2 2


Quora iPhone 2 2 2 2 2 2 0 0 2 2 2 2 1 2 2










Diabetes 9 2 2 2 9 2 0 9 0 0 1 2 1 2 2

Apgar 9 2 2 9 9 2 0 9 9 9 2 9 2 2 2

Medscape 9 2 2 2 2 2 0 9 2 2 2 2 2 2 2


Alergias 0 2 2 2 9 1 0 0 1 2 2 2 1 2 0

Amamentação 9 2 2 2 9 2 0 0 2 2 2 2 2 2 0

Diabetes 2 9 2 2 9 2 0 2 2 2 1 2 2 2 0


bPresso.com 2 2 2 2 9 2 0 2 2 2 2 2 2 2 2


Any.Do iPhone 2 2 2 2 2 2 2 0 0 1 1 2 1 2 2



Taxibeat iPhone 2 2 1 1 2 2 2 0 0 2 2 2 2 2 2


Qello iPhone 2 2 1 2 2 1 0 0 2 2 2 2 2 2 1

Thirst iPhone 2 2 2 2 2 2 0 0 0 2 2 2 2 2 2



121

Gripe Suína 9 2 2 2 2 2 0 9 2 0 1 2 2 2 2

Psoríase 2 2 2 2 9 2 0 9 2 0 0 2 2 2 2

Appediatria 2 2 2 2 9 2 0 9 2 2 2 2 2 2 2




Universo Médico 2 2 2 2 2 2 0 9 1 1 1 2 2 2 2

GlicoCare 2 2 2 2 9 2 0 0 2 1 2 2 2 2 2

Breastfeed 9 2 2 9 9 1 0 0 0 2 9 0 1 2 1

Aleitamento 2 2 2 2 2 2 0 0 2 2 2 2 2 2 2


GestaTools 2 2 2 2 9 2 0 9 2 1 2 1 1 2 2







EyeEm iPhone 2 2 2 2 2 1 0 2 0 2 1 2 1 2 2



Split Pic iPhone 2 2 1 2 2 2 2 2 0 2 2 2 0 2 2



Privalia iPhone 2 2 2 2 2 2 0 0 2 2 9 2 2 2 2


Tumblr iPhone 2 2 2 2 2 2 0 1 2 2 2 2 2 2 2





NET iPhone 2 2 2 2 2 2 0 0 0 2 2 2 2 2 2

Viddy iPhone 2 2 2 2 2 2 0 1 2 2 2 2 1 2 2

Reuters iPhone 2 2 2 2 2 2 0 0 0 2 2 1 0 2 2



Qranio iPhone 2 2 2 2 2 2 2 1 0 2 2 2 2 2 2

Twitter iPhone 2 2 1 2 2 2 0 2 1 2 2 2 2 2 2

Insta College 2 2 2 9 2 0 2 2 9 2 2 9 2 9 2


Shared Mp3 2 2 0 0 0 0 0 2 9 1 1 2 2 2 2


Ringtone Maker 2 2 2 9 2 0 2 2 9 1 2 0 9 2 0

Tv show favs 2 0 1 9 2 0 9 2 2 1 2 9 2 2 0

KCRW SongTag 2 2 2 9 2 1 2 2 9 2 9 9 9 9 2



Baby holidays 1 2 1 9 0 0 2 0 2 9 1 2 9 2 0

RadarG1 2 2 1 1 1 0 9 2 2 2 2 2 2 2 0

iCall 2 2 2 2 2 0 2 2 2 1 2 2 9 2 2

Eu atleta 2 1 2 9 2 0 9 2 2 2 2 2 9 2 2

Sonar 1 2 2 9 0 0 9 2 2 2 2 1 2 2 0

Sushi BR 2 2 1 1 2 0 9 2 2 2 2 9 2 9 0

Photo Effects 2 2 9 9 9 0 2 2 0 1 0 0 9 2 0

EasyMeasure 2 1 1 2 2 2 2 0 2 2 2 9 2 1 2

Flash Card Demo 2 1 0 9 1 0 9 0 1 1 2 1 9 2 2

Dodol Phone 2 2 2 9 2 2 9 1 2 1 2 2 9 2 0




Decolar.com 2 2 0 2 2 2 0 0 2 0 0 2 2 1 2

minube 2 2 2 1 1 0 0 0 1 0 0 1 0 0 1

Mochileiros 2 2 0 1 2 2 0 0 2 0 2 1 1 1 2


Hotel Hoje 2 2 0 2 2 2 0 0 2 0 0 1 2 1 2

Hotel Hoje 9 9 0 2 2 2 0 9 2 0 0 0 2 2 2

Palco MP3 2 2 0 2 2 2 0 1 2 0 0 2 1 2 2

Color Touch 2 9 0 2 1 2 0 0 2 0 0 2 2 2 2

TeleListas 2 2 0 2 2 2 2 2 2 0 0 2 2 2 1

ProEstetica 2 9 0 2 2 2 0 2 2 0 0 1 2 2 2

122


Evernote Hello 2 1 0 2 0 2 2 0 2 0 0 1 1 0 2

iCaipirinha 9 9 0 2 2 2 0 2 2 0 0 2 2 2 2

Nike+ Running 2 2 2 2 1 0 2 1 2 0 0 2 1 1 1


Receita Móvel 2 9 0 2 2 2 9 0 2 0 0 2 2 2 2

Saúde Vale 2 2 0 2 2 2 0 2 2 0 0 1 2 2 2


Metas de Vida 2 2 0 2 2 2 0 2 2 0 0 2 2 2 2

Medida Certa 2 2 2 2 0 0 0 0 1 0 0 1 1 0 2

Nivea Sun 2 2 2 2 2 0 0 2 1 0 0 2 2 2 2


Pet Shop Story 2 2 0 2 2 0 0 2 2 0 2 2 2 2 2


Piano Virtual 9 9 0 2 2 0 0 9 2 0 0 2 2 9 9


Xadrez 9 9 0 2 2 2 9 2 2 0 2 0 2 0 2


Taximetro Pro 9 2 2 2 2 2 2 2 2 0 0 1 2 0 2

Relax and Sleep 9 2 0 2 2 2 2 0 2 0 0 1 2 2 2


Benji Bananas 9 9 0 2 2 0 0 0 2 0 0 2 2 2 2


Earth View 9 9 0 2 2 2 0 0 2 0 0 0 2 2 2

Sleep as Android 1 2 0 1 0 2 2 2 1 0 0 2 0 0 1

Emoji 2 9 2 2 2 2 9 0 0 0 0 0 0 0 2

I am Here 2 2 0 2 2 2 0 9 2 0 0 2 2 2 2

Lupa 9 9 2 2 2 2 2 9 2 0 0 1 2 2 2

Mobile Voip 9 2 2 2 0 0 0 0 2 0 0 1 0 0 2

Happy Diary Plus 2 2 0 2 2 2 2 0 2 0 0 0 2 0 2

ColorNote 9 2 0 2 2 2 2 0 2 0 2 2 2 2 2

aCalendar 9 2 0 2 1 2 2 0 1 0 1 1 2 2 2

WiFi Manager 1 2 0 2 2 2 2 1 2 0 1 1 2 2 0

Call Assistant 9 2 0 2 2 2 9 2 2 0 0 1 2 1 2





Baby Names 2 2 0 2 2 2 2 0 2 0 0 1 2 2 2



Presto! Remote 9 9 2 2 1 2 2 2 2 0 0 2 2 2 2

Battery Master 2 9 2 2 2 2 9 2 2 0 0 1 2 0 0


Nó em Gravata 9 9 0 2 2 2 9 0 2 0 0 2 2 1 2

CPF/CNPJ 2 2 2 2 2 2 0 2 2 0 0 2 2 1 2

Faces - Photo Fun 9 9 0 2 2 1 0 0 1 0 0 2 2 1 2

Horóscopo 2 2 0 2 2 2 9 0 2 0 0 2 2 2 2


Jogos Mentais 9 9 2 2 1 2 0 0 2 0 0 0 2 2 2

Guia TV BR 2 2 0 2 2 2 2 1 2 0 0 1 2 2 2



Logo Quiz 9 2 0 2 2 2 0 0 2 0 0 1 2 2 2


Pou 9 2 0 2 2 2 0 0 2 0 1 2 2 2 2

MyBaby Puzzle 9 9 0 2 2 2 2 0 2 0 0 2 2 9 9



Gues the Movie! 2 2 0 2 2 2 0 0 2 0 0 2 2 2 2

O que é o que é? 9 9 0 2 2 2 0 9 2 0 0 9 2 2 2

Change my voice 9 9 0 2 2 2 2 9 2 0 0 2 2 2 2

Maze Game 9 9 0 2 2 2 9 0 2 0 0 1 2 2 2

SkyDrive 2 2 0 2 2 2 0 2 2 0 0 2 2 2 2

Flashlight 9 9 0 2 2 2 9 0 2 0 0 1 2 2 2

Presidentes 9 2 0 2 2 2 0 2 2 0 0 2 2 2 2

iBeer 9 9 0 2 2 2 0 0 2 0 0 1 2 2 2

Lighter Free 9 9 0 2 2 2 0 0 2 0 2 1 2 2 2

PhotoGrid 2 2 0 2 1 2 2 1 2 0 0 2 2 2 2

Globo.com 2 9 0 2 2 1 9 2 2 0 0 1 2 2 2

123

Caça Palavras 9 9 0 2 2 2 9 0 2 0 0 1 2 2 2

Air Horn Free 9 9 0 2 2 2 2 9 2 0 1 1 2 2 2


Jogo da Forca 9 9 0 2 2 2 0 0 1 0 0 1 1 2 2


Qual é a resposta? 9 9 0 2 2 2 0 0 1 0 0 1 1 2 2

SimplePac 2 2 2 2 2 2 9 0 2 0 0 2 2 2 2

Dieta e Saúde 9 2 0 2 2 2 9 0 2 0 0 2 2 2 2

Kekanto 2 2 0 1 0 2 2 0 1 1 0 1 1 1 2

Vogue 1 9 1 2 2 0 9 2 2 0 0 2 2 2 2

Marie Claire 1 9 1 2 2 0 9 2 2 0 0 2 2 2 2

Crescer Mobile 1 9 1 2 2 0 9 2 2 0 0 2 1 2 2

Expedia 2 2 0 1 1 1 0 0 2 0 0 2 2 2 2


Globo News 2 9 0 2 2 2 9 0 2 0 0 2 2 2 1


Photaf Panorama 9 2 0 2 1 2 9 0 2 1 0 2 2 2 2

Converter 9 2 0 2 2 2 0 9 2 0 0 1 2 2 2

Radio Atlântida 9 9 0 2 2 2 9 2 2 0 0 2 2 2 2

Pessoa Física 9 2 0 2 2 2 0 2 2 0 0 2 2 2 2


Clean Master 9 9 0 2 2 2 9 0 2 0 0 2 2 2 2

Boa Compra 2 2 0 2 1 1 2 1 2 0 0 2 2 2 2

4shared 1 2 0 2 2 2 0 0 1 0 0 2 2 2 2

Google Drive 2 2 0 2 1 2 0 0 2 0 1 2 2 2 2

CineMark Brasil 1 2 0 2 2 1 0 1 2 0 0 2 2 2 2

Banco do Brasil 9 2 1 2 2 2 2 2 2 0 1 1 2 2 1

App2SD 9 9 0 2 2 2 9 2 2 0 1 2 2 2 2

DropBox 9 2 0 2 2 2 0 2 2 0 0 2 2 2 2

Shazam 2 2 1 2 1 2 2 1 2 0 0 2 2 2 2

Weather Channel 2 2 0 2 1 1 2 2 2 0 1 2 1 1 1

Climatempo 2 2 0 2 1 2 0 0 2 0 0 2 2 2 2

Tic Tac Toe 2 9 1 2 2 2 0 9 2 0 0 1 2 2 2

WhatsApp 9 2 0 2 2 2 2 0 2 1 2 2 2 2 2

Hotmail 2 2 0 2 2 1 0 2 2 0 0 2 2 2 2

Google Tradutor 2 2 2 2 2 2 2 2 2 1 0 2 2 2 2

QR Droid 2 2 0 2 1 2 2 1 2 0 0 2 2 2 2


Gmail 2 2 0 2 1 0 0 1 2 0 0 2 2 2 2

Baixaki 1 2 1 2 2 2 0 1 2 0 0 2 2 2 2


Angry Birds 9 9 0 2 2 0 9 0 2 0 1 1 2 2 2

Google Goggles 2 2 0 2 2 1 2 0 2 0 0 2 2 2 2

IMDb 1 1 2 2 2 2 0 2 2 0 0 2 2 1 2

Saraiva eReader 1 2 0 2 2 2 0 2 2 9 9 2 2 2 2

Trip Advisor 2 2 2 2 2 2 2 2 2 9 9 2 2 2 2


Buscapé 2 2 0 2 1 1 2 0 1 0 0 2 2 2 2



Consulta CEP 9 2 2 2 2 2 0 0 2 0 0 1 2 2 2

YouTube 2 2 0 2 2 2 2 2 2 0 2 2 2 1 2

Viber 9 2 2 0 2 1 2 2 2 0 2 2 2 2 2

Tavindo 9 2 0 2 2 2 0 0 2 0 1 0 2 1 2

Qual Operadora 2 2 0 2 2 2 0 2 2 0 1 2 2 2 2

Cadê Meu Banco 9 2 2 2 2 1 2 2 1 9 9 2 2 2 2

Wikipedia 2 2 0 2 2 1 0 2 2 9 2 2 2 2 2


Instagram 9 2 0 1 2 1 2 2 2 0 0 2 2 9 2

Ingresso.com 2 2 0 2 1 1 0 1 1 0 0 1 2 2 2

Churrascometro 9 2 0 2 2 2 0 2 2 0 0 1 2 2 2

Brasileirão 9 2 1 2 2 1 0 0 0 0 1 2 2 2 2


Buscapé iPhone 9 2 0 2 2 1 2 1 1 0 0 2 2 9 2

Groupon iPhone 2 2 0 2 2 2 0 0 0 0 0 1 2 9 2

Voos Online 9 2 0 2 2 2 0 1 0 9 9 2 1 2 2

Wase iPhone 9 2 0 2 2 2 2 1 1 1 2 2 2 2 2


Apn Brasil 2 2 0 2 2 2 0 1 2 0 0 2 2 2 2

TrackPack 9 2 0 2 2 2 0 0 2 0 0 2 2 2 2

124

AVG Mobilation 2 2 0 2 2 2 9 0 2 0 0 2 2 2 2

Facebook 2 2 0 2 2 2 0 2 2 9 0 2 2 2 2

CardioTrainer 9 2 0 2 2 2 2 2 2 2 0 2 1 2 2

Feriados 2013 iPhone 2 2 0 2 2 2 0 2 2 0 0 2 2 2 2






Shazam iPhone 2 2 0 2 1 2 2 2 2 0 0 2 2 2 2


EyeEm iPhone 2 2 0 2 2 2 2 1 1 0 0 2 2 2 2


Quora iPhone 2 2 0 1 1 2 0 2 2 0 0 2 2 2 2










Diabetes 9 9 0 2 2 2 0 2 1 0 0 1 2 0 2

Apgar 9 9 0 2 2 2 0 9 2 0 0 0 2 2 2

Medscape 2 9 0 2 2 0 0 2 2 0 0 2 2 2 2


Alergias 9 2 0 2 2 2 0 0 1 0 0 0 2 1 2

Amamentação 9 2 0 2 2 2 0 0 1 0 0 2 1 2 2

Diabetes 9 1 2 2 2 1 0 2 2 0 1 2 2 2 2


bPresso.com 9 2 1 2 2 2 0 2 2 0 0 2 2 2 2


Any.Do iPhone 2 1 0 2 2 2 2 0 2 0 2 0 2 2 2



Taxibeat iPhone 2 1 2 2 1 1 0 0 2 0 0 1 2 2 2


Qello iPhone 2 2 0 1 1 2 0 1 1 0 0 1 2 2 2

Thirst iPhone 2 2 0 1 2 2 0 0 1 0 0 2 2 2 2



Gripe Suína 2 9 0 2 2 2 0 0 0 0 0 1 2 1 2

Psoríase 9 2 0 2 2 2 0 1 2 0 0 2 2 1 2

Appediatria 9 9 0 2 2 2 0 0 0 0 0 2 2 2 2



Universo Médico 2 2 0 2 2 2 0 1 2 0 0 2 2 2 2

GlicoCare 9 2 0 2 2 2 0 2 2 0 0 2 2 2 2

Breastfeed 9 2 0 2 2 2 0 0 2 0 0 0 0 1 2

Aleitamento 2 2 0 2 2 2 0 1 2 0 0 2 2 2 2


GestaTools 9 2 0 2 2 2 0 0 0 0 0 0 2 1 2







EyeEm iPhone 1 2 0 2 1 2 2 1 2 1 0 2 2 2 2



Split Pic iPhone 2 9 2 2 1 2 2 0 1 0 0 1 2 2 2



Privalia iPhone 2 2 1 1 1 0 0 2 2 0 0 2 2 2 2


Tumblr iPhone 2 2 0 2 1 0 2 2 2 0 0 2 2 2 2



125



NET iPhone 2 2 1 2 2 1 0 2 2 0 0 2 1 2 2

Viddy iPhone 2 2 0 1 1 1 2 2 2 0 0 2 2 2 2


Reuters iPhone 2 2 2 1 2 1 0 0 2 0 0 1 2 2 2



Qranio iPhone 2 2 0 2 1 0 0 1 1 0 0 2 2 2 2

Twitter iPhone 2 2 0 2 1 2 2 2 2 0 0 2 2 2 2

Insta College 2 2 2 9 2 2 9 0 2 9 0 1 2 2 2


Shared Mp3 2 1 2 0 0 2 0 0 9 9 0 0 1 1 2


Ringtone Maker 2 2 2 0 1 0 2 2 1 0 2 2 2 2 1

Tv show favs 1 1 2 9 2 2 2 2 2 0 1 2 2 2 1

KCRW SongTag 1 2 2 9 1 2 0 2 2 9 9 0 2 2 2



Baby holidays 0 1 2 9 1 2 9 0 1 0 0 2 0 2 1

RadarG1 2 2 1 0 2 2 2 2 2 0 0 2 1 9 2

iCall 2 2 0 2 2 2 2 2 2 9 2 2 1 2 2

Eu atleta 2 2 1 2 2 2 2 2 2 0 0 2 2 2 2

Sonar 1 2 0 2 2 2 2 2 1 9 0 1 2 2 1

Sushi BR 2 2 2 0 0 1 2 0 2 0 0 0 2 2 2

Photo Effects 2 2 2 9 0 2 9 0 0 1 0 1 2 2 2

EasyMeasure 9 0 2 2 0 2 2 2 2 2 0 1 2 2 2

Flash Card Demo 1 1 2 1 0 1 9 2 1 9 9 2 1 2 2

Dodol Phone 2 2 2 2 2 2 2 1 1 2 2 2 1 2 2




Decolar.com 2 2 2 9 9 9 9 0 9 9 2 2 0 0 9

minube 1 0 2 9 9 9 9 0 9 9 0 0 0 0 2

Mochileiros 2 0 2 9 9 9 9 1 2 2 2 0 9 9 0


Hotel Hoje 2 1 2 9 9 9 9 0 9 9 2 2 9 9 2

Hotel Hoje 2 2 0 9 9 9 9 0 9 9 9 2 9 9 9

Palco MP3 2 2 2 9 9 0 9 2 2 2 2 2 0 0 9

Color Touch 1 2 2 9 9 9 9 2 2 2 2 2 9 9 9

TeleListas 2 1 2 0 9 9 9 0 9 9 2 0 2 0 9

ProEstetica 2 2 2 2 2 0 2 0 9 9 2 2 9 9 9


Evernote Hello 0 0 2 9 9 9 9 0 9 9 0 0 9 0 2

iCaipirinha 2 2 2 9 9 9 9 0 9 9 2 0 9 9 9

Nike+ Running 1 1 2 1 1 1 2 2 2 2 1 2 9 9 0

Receita Móvel 2 2 2 9 9 9 9 0 9 9 2 2 9 9 9

Saúde Vale 2 2 2 0 2 0 2 0 9 9 2 2 1 0 9


Metas de Vida 2 2 0 0 0 0 2 0 9 9 2 0 9 9 2

Medida Certa 0 0 2 9 9 9 9 2 1 2 0 0 9 9 2

Nivea Sun 2 1 2 0 2 0 2 2 2 2 1 2 1 0 9


Pet Shop Story 2 0 0 9 9 9 9 2 2 2 2 0 9 9 2


Piano Virtual 9 2 2 9 9 9 9 0 9 9 2 2 9 9 9


Xadrez 2 1 2 0 9 9 9 0 9 9 1 2 9 9 9


Taximetro Pro 2 1 2 0 0 0 2 2 2 2 2 0 2 9 9

Relax and Sleep 2 2 2 9 9 9 9 2 2 2 2 2 9 9 9


Benji Bananas 2 2 2 2 2 2 2 2 2 2 2 2 9 9 9


Earth View 2 2 2 9 9 9 9 2 2 0 2 2 9 9 9

Sleep as Android 0 0 0 9 9 9 9 2 2 1 1 2 9 0 9

Emoji 0 0 2 9 9 9 9 2 2 1 0 0 9 9 9

I am Here 2 2 2 1 2 2 2 2 2 2 2 2 9 9 9

Lupa 2 2 2 9 9 9 9 0 9 9 2 9 9 9 9

Mobile Voip 0 0 2 9 9 9 9 2 2 1 0 0 9 9 9

126

Happy Diary Plus 1 2 2 9 9 9 9 0 9 9 2 2 9 9 2

ColorNote 2 2 2 9 9 9 9 0 9 9 2 2 9 0 9

aCalendar 1 0 2 9 9 9 9 0 9 9 1 0 9 0 9

WiFi Manager 2 2 0 9 9 9 9 1 2 2 2 2 9 9 9


Call Assistant 2 0 2 9 9 9 9 0 9 9 1 1 0 2 9





Baby Names 2 2 2 9 9 9 9 0 9 9 2 0 0 2 9



Presto! Remote 1 2 0 0 0 0 2 2 2 2 1 0 9 9 9

Battery Master 0 0 2 9 9 9 9 2 2 2 1 0 9 9 9


Nó em Gravata 2 1 2 9 9 9 9 0 9 9 2 2 9 9 9

CPF/CNPJ 2 1 2 0 2 0 2 0 9 9 2 2 0 0 9

Faces - Photo Fun 1 2 2 9 9 9 9 0 9 9 0 9 9 9 9

Horóscopo 2 2 2 9 9 9 9 0 9 9 2 1 9 9 9


Jogos Mentais 0 2 2 9 9 9 9 0 9 9 0 9 9 9 9

Guia TV BR 2 1 2 9 9 9 9 0 9 9 2 1 0 1 9



Logo Quiz 2 2 2 9 9 9 9 0 9 9 2 0 9 9 2


Pou 2 2 2 9 9 9 9 2 2 2 2 2 9 9 2

MyBaby Puzzle 9 2 2 9 9 9 9 0 9 9 2 2 9 9 9



Gues the Movie! 2 2 0 9 9 9 9 0 9 9 2 2 9 9 9

O que é o que é? 9 2 2 9 9 9 9 0 9 9 2 2 9 9 9

Change my voice 1 1 2 9 9 9 9 0 9 9 1 0 9 9 9

Maze Game 1 1 2 9 9 9 9 2 2 2 2 2 9 9 9

SkyDrive 2 2 2 9 9 9 9 2 2 2 2 2 9 9 2

Flashlight 2 2 2 9 9 9 9 0 9 9 1 2 9 9 9

Presidentes 2 2 2 9 9 9 9 0 9 9 2 0 0 0 9

iBeer 2 2 0 9 9 9 9 0 9 9 1 2 9 9 9

Lighter Free 2 2 2 9 9 9 9 0 9 9 2 2 9 9 9

PhotoGrid 2 1 2 9 9 9 9 0 9 9 9 2 9 9 9

Globo.com 2 1 2 9 9 9 9 0 9 9 2 2 9 9 9

Caça Palavras 1 2 2 9 9 9 9 0 9 9 2 2 9 9 9

Air Horn Free 1 2 2 9 9 9 9 0 9 9 1 9 9 9 9


Jogo da Forca 0 1 2 9 9 9 9 0 9 9 1 9 9 9 9

Qual é a resposta? 0 1 2 9 9 9 9 0 9 9 1 9 9 9 9

SimplePac 0 2 2 9 9 9 9 2 2 2 1 2 9 9 2

Dieta e Saúde 2 2 2 9 9 9 9 2 2 2 2 2 0 0 2

Kekanto 0 0 2 0 1 2 2 0 9 9 0 0 2 2 2

Vogue 1 0 2 9 9 9 9 0 9 9 2 0 9 9 9

Marie Claire 1 0 2 9 9 9 9 0 9 9 2 0 9 0 9

Crescer Mobile 1 0 2 9 9 9 9 0 9 9 2 0 9 0 9

Expedia 2 2 0 9 9 9 9 0 9 9 1 0 2 0 9


Globo News 2 2 2 9 9 9 9 0 9 9 2 2 9 9 9


Photaf Panorama 2 2 2 0 0 0 2 2 2 2 2 2 9 9 9

Converter 2 2 2 9 9 9 9 2 2 2 2 2 2 9 9

Radio Atlântida 2 2 2 9 9 9 9 0 9 9 1 2 9 9 9

Pessoa Física 2 2 2 0 1 0 2 0 9 9 2 2 0 0 9


Clean Master 2 2 2 9 9 9 9 0 9 9 2 2 9 9 9

Boa Compra 2 1 2 9 9 9 9 2 2 2 1 2 2 0 2

4shared 2 2 2 9 9 9 9 0 9 9 1 2 2 0 2

Google Drive 2 2 2 9 9 9 9 2 2 2 2 2 2 2 2

CineMark Brasil 2 1 2 0 9 0 0 0 9 9 1 9 2 2 2

Banco do Brasil 1 2 2 0 0 0 2 2 2 2 2 0 2 0 2

App2SD 2 2 2 9 9 9 9 2 1 2 2 2 9 9 9

DropBox 2 2 2 9 9 9 9 2 2 1 2 2 1 1 2

127

Shazam 2 1 2 9 9 9 9 0 9 9 1 2 2 2 2

Weather Channel 1 0 2 9 9 9 9 2 1 0 1 0 2 0 9

Climatempo 2 1 2 9 2 1 0 0 9 9 1 2 0 2 9

Tic Tac Toe 1 2 2 9 9 9 9 0 9 9 1 2 9 9 9


WhatsApp 2 2 2 9 9 9 9 2 2 2 1 0 0 0 9

Hotmail 2 1 2 2 1 1 0 2 0 1 1 1 1 1 2

Google Tradutor 2 2 2 9 9 9 9 0 9 9 2 1 2 2 9

QR Droid 2 1 2 2 2 0 0 0 9 9 1 1 0 2 9


Gmail 2 2 2 0 2 2 0 2 2 2 2 2 0 1 2

Baixaki 2 2 2 2 2 2 0 0 9 9 2 0 2 0 2


Angry Birds 1 2 0 0 0 0 9 2 2 2 2 9 9 9 9

Google Goggles 2 2 2 9 9 9 9 2 2 2 2 1 2 0 9

IMDb 2 1 2 9 9 9 9 0 0 9 2 1 1 2 2

Saraiva eReader 1 1 0 1 1 1 1 2 2 2 2 0 0 0 0

Trip Advisor 2 2 2 9 9 9 9 0 9 9 2 0 2 0 9


Buscapé 1 2 2 1 1 0 0 0 9 9 1 2 2 2 2



Consulta CEP 2 1 2 9 9 9 9 0 9 9 2 0 0 0 9

YouTube 2 1 2 0 2 0 2 2 1 2 2 0 2 2 2

Viber 1 2 2 1 2 2 2 2 9 9 2 1 2 1 2

Tavindo 2 2 2 9 9 9 9 0 9 9 2 2 9 9 9

Qual Operadora 2 2 2 9 2 2 0 0 9 9 2 2 0 1 9

Cadê Meu Banco 2 2 2 9 2 2 2 0 9 9 2 2 2 0 9

Wikipedia 2 2 2 9 1 2 2 0 9 9 2 2 2 2 9


Instagram 1 2 2 1 2 1 2 2 0 0 1 2 1 2 2

Ingresso.com 1 2 2 2 2 2 0 0 9 9 1 2 0 2 2

Churrascometro 2 2 2 9 2 2 0 0 9 9 2 2 9 9 9

Brasileirão 1 0 2 2 2 2 0 0 9 9 2 1 9 9 9


Buscapé iPhone 2 9 2 1 2 0 2 2 1 2 1 0 2 2 0

Groupon iPhone 2 9 2 9 2 2 2 0 9 9 2 0 2 2 2

Voos Online 1 0 2 9 0 9 0 0 9 9 2 0 2 9 9

Wase iPhone 1 2 2 0 2 2 2 2 2 2 1 0 1 2 2


Apn Brasil 2 2 2 9 9 9 9 0 9 9 2 2 9 9 9

TrackPack 2 2 2 9 9 9 9 0 9 9 2 2 9 9 9

AVG Mobilation 2 1 0 9 9 9 9 2 2 0 2 2 2 9 9

Facebook 2 2 2 9 9 9 9 2 2 2 1 0 9 0 2

CardioTrainer 2 0 1 9 9 9 9 2 2 2 2 2 9 9 9

Feriados 2013 iPhone 2 2 1 2 2 0 2 0 9 9 2 2 2 0 9





Shazam iPhone 2 2 1 1 2 0 2 0 9 9 2 2 0 0 9


EyeEm iPhone 2 2 2 1 2 0 2 0 9 9 1 2 0 0 2


Quora iPhone 2 1 2 2 1 0 2 0 9 9 1 2 2 0 2










Diabetes 1 0 2 9 9 9 9 0 9 9 1 0 9 9 9

Apgar 2 2 2 9 9 9 9 0 9 9 2 2 9 9 9

Medscape 2 2 2 9 9 9 9 0 9 9 2 1 0 2 0


Alergias 0 2 2 9 9 9 9 0 9 9 1 2 0 9 9

128

Amamentação 2 1 2 9 9 9 9 0 9 9 2 1 9 9 9

Diabetes 2 2 2 0 0 0 2 0 9 9 1 1 0 0 2


bPresso.com 2 2 2 1 2 2 2 2 0 2 2 2 0 9 0



Any.Do iPhone 2 1 2 1 1 0 2 0 9 9 1 2 2 0 1



Taxibeat iPhone 1 2 2 1 1 1 2 0 9 9 1 2 0 0 2


Qello iPhone 1 1 2 2 2 2 2 2 1 1 1 2 0 0 2

Thirst iPhone 1 1 2 1 1 0 2 0 9 9 1 2 0 0 2



Gripe Suína 2 2 2 9 9 9 9 0 9 9 2 9 9 9 9

Psoríase 1 0 2 9 9 9 9 1 2 2 2 1 0 0 9

Appediatria 2 2 2 9 9 9 9 0 9 9 2 9 9 9 9



Universo Médico 1 1 0 9 9 9 9 0 9 9 2 2 0 0 2

GlicoCare 2 2 2 9 9 9 9 0 9 9 2 2 0 2 2

Breastfeed 1 1 2 9 9 9 9 0 9 9 2 9 9 9 9

Aleitamento 2 2 2 9 9 9 9 0 9 9 2 1 9 9 9


GestaTools 2 2 2 9 9 9 9 0 9 9 2 1 0 9 9







EyeEm iPhone 1 2 2 2 2 2 2 0 9 9 2 2 0 0 2



Split Pic iPhone 0 2 0 1 1 0 2 0 9 9 1 2 9 9 2



Privalia iPhone 2 1 2 2 2 1 2 2 0 2 2 2 0 0 2


Tumblr iPhone 2 0 2 2 2 2 2 0 9 9 1 2 0 0 2





NET iPhone 2 1 2 2 2 2 2 0 9 9 1 0 0 0 2

Viddy iPhone 2 1 2 2 2 1 2 2 1 1 1 2 0 0 2

Reuters iPhone 2 1 2 1 2 1 2 0 9 9 2 2 2 0 2



Qranio iPhone 2 2 2 2 1 1 2 0 9 9 2 2 0 0 0

Twitter iPhone 2 1 2 2 2 2 2 2 2 2 2 2 2 0 2

Insta College 9 2 2 9 9 9 9 0 9 9 2 2 9 9 9


Shared Mp3 0 1 2 9 9 9 9 0 9 9 2 2 0 0 9


Ringtone Maker 1 1 2 9 9 9 9 0 9 9 2 2 0 0 9

Tv show favs 2 1 2 9 9 9 9 0 9 9 1 2 2 9 2

KCRW SongTag 9 2 2 1 1 2 2 0 9 9 2 9 9 9 9



Baby holidays 1 2 2 1 2 0 2 0 9 9 0 9 9 9 9

RadarG1 2 0 0 9 2 2 2 2 2 2 1 0 2 1 9

iCall 2 2 2 9 2 2 2 0 9 9 2 2 2 9 2

Eu atleta 2 2 2 0 2 0 2 1 2 2 2 2 1 2 0

Sonar 2 2 2 9 0 0 2 0 9 9 2 0 9 9 2

Sushi BR 2 1 2 2 2 1 2 0 9 9 2 2 9 9 9

Photo Effects 1 2 2 9 2 2 2 0 9 9 0 0 9 9 9

EasyMeasure 2 2 2 2 2 2 2 0 9 9 1 2 0 9 9

Flash Card Demo 0 2 0 0 9 9 9 0 9 9 0 0 0 9 9

129

Dodol Phone 2 2 2 2 9 9 9 0 9 9 2 0 2 9 9

Aplicativos/Questões 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92

Dicionário Porto 1 1 1 2 2 2 2 1 0 2 2 2 2 2 2 2 9

1001 Lugares no Brasil 2 2 2 2 1 2 1 1 0 2 2 2 2 2 2 1 2

Decolar.com 2 2 2 2 2 2 1 2 0 2 2 2 2 2 2 2 2


minube 2 2 2 1 2 2 0 1 0 2 2 2 2 2 2 0 2

Mochileiros 2 2 2 2 2 2 1 1 2 2 2 1 2 2 2 1 2

Aprenda a falar outras línguas 2 2 2 2 2 2 2 2 0 2 2 2 2 2 2 2 2

Hotel Hoje 2 2 1 2 2 2 2 1 0 2 2 2 2 2 2 1 2

Hotel Hoje 2 9 9 2 2 2 2 2 0 2 2 2 2 2 2 2 9

Palco MP3 2 2 2 2 2 2 1 1 0 2 2 1 2 2 2 1 2

Color Touch 1 2 2 1 1 2 2 1 0 2 1 1 1 1 2 2 2

TeleListas 1 1 2 1 1 2 1 0 0 2 2 1 2 2 2 2 2

ProEstetica 2 2 2 1 2 2 1 1 2 2 2 2 2 2 2 2 2

Sabores do Brasil 2 2 2 1 2 2 2 1 0 2 1 1 1 2 2 2 2

Evernote Hello 2 2 2 0 1 2 1 1 0 2 2 1 2 2 1 1 2

iCaipirinha 2 9 9 2 2 2 2 2 0 2 2 2 2 2 2 2 2

Nike+ Running 2 2 2 1 2 2 1 1 0 0 2 1 1 2 2 1 2

Receita Móvel 2 2 2 1 2 2 2 2 2 2 1 2 2 9 0 2 2

Saúde Vale 2 2 2 1 2 2 2 1 0 2 2 2 2 1 2 2 2

Android Massager 2 9 9 0 2 2 2 2 0 2 9 2 9 9 2 2 9

Metas de Vida 2 2 2 2 2 2 2 2 0 2 2 2 2 2 2 2 2

Medida Certa 1 1 2 0 1 2 0 1 0 2 2 2 2 1 1 1 2

Nivea Sun 1 2 2 1 2 2 1 1 0 2 2 1 2 2 2 2 2

Bounce Bill Easter Tales 2 9 9 2 2 2 2 2 0 2 2 2 2 2 2 2 2

Pet Shop Story 2 2 2 2 2 2 2 2 0 2 2 2 2 2 2 2 0

Compras, moda e liquidações 2 2 2 2 2 2 2 2 0 2 2 2 2 2 2 2 2

Piano Virtual 2 9 9 2 2 2 9 9 0 2 9 9 9 9 9 9 2

Exercícios em casa 2 2 2 0 2 2 0 0 0 2 9 2 2 2 0 0 2

Xadrez 2 9 9 1 2 2 1 1 2 2 2 2 9 1 2 1 2

Night Vision Camera 2 9 9 0 1 2 9 2 9 2 1 2 0 1 0 9 9

Taximetro Pro 1 9 9 2 1 2 1 1 0 2 1 2 2 2 0 2 2

Relax and Sleep 2 9 9 2 2 2 2 1 2 2 2 1 1 2 2 2 2

London Underground Tube Map 2 2 2 2 2 2 2 1 2 2 2 1 2 1 2 2 2

Benji Bananas 2 9 9 2 2 2 2 0 0 2 2 0 1 1 2 2 2

Postos Combustível Brasil 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2

Earth View 2 9 9 2 2 2 2 2 2 2 9 2 9 2 2 2 2

Sleep as Android 2 2 2 1 2 2 0 1 2 2 1 1 2 1 2 0 2

Emoji 2 2 9 0 0 2 0 0 2 2 2 0 9 9 0 0 0

I am Here 2 2 2 1 2 2 2 1 0 2 2 2 2 2 2 2 2

Lupa 2 9 9 1 1 2 2 2 0 2 2 2 0 2 2 2 9

Mobile Voip 0 9 9 0 0 2 0 0 0 2 1 1 1 1 1 0 2

Happy Diary Plus 1 2 2 1 1 2 1 1 0 2 0 1 1 1 1 2 2

ColorNote 2 2 2 1 2 2 2 2 2 2 2 2 1 2 2 2 2

aCalendar 2 9 9 1 2 2 1 1 2 2 2 1 2 2 1 2 2

WiFi Manager 2 9 9 1 2 2 2 2 2 2 2 2 1 2 2 2 2

Call Assistant 2 9 9 1 2 2 2 2 0 2 2 2 1 2 2 1 2

Astrid Lista de Tarefas 2 9 9 1 1 2 1 1 2 2 2 2 1 1 1 2 2

Wedding Planning 2 2 2 2 2 2 2 2 0 2 2 2 2 2 2 2 2

Wikipedia Places 2 2 2 1 2 2 1 1 2 2 1 1 1 2 2 1 0

Rastreio Correios 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2

Baby Names 2 2 2 1 2 2 2 1 2 0 2 1 2 2 2 2 2

Lembretes de Aniversário 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2

Tempo de Trabalho 2 2 2 1 2 2 1 1 0 1 2 1 9 9 2 0 2

Presto! Remote 2 9 9 2 2 2 1 1 0 2 2 1 2 1 2 1 2

Battery Master 2 2 2 1 2 2 0 0 2 2 1 1 1 0 1 0 0

Simples MP3 Downloader 2 2 2 2 2 2 2 1 2 2 9 2 9 9 2 2 2

Nó em Gravata 2 9 9 1 2 2 2 2 0 2 2 2 2 2 2 2 2

CPF/CNPJ 2 2 2 2 2 2 1 1 0 2 2 2 2 2 2 2 0

Faces - Photo Fun 2 9 9 0 1 2 9 2 0 2 1 2 0 1 0 9 9

Horóscopo 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2

Fácil Voz Bloco de Notas 2 2 2 1 2 2 1 1 2 2 2 2 1 2 1 1 1

Jogos Mentais 2 9 9 0 2 2 1 0 0 2 1 0 0 1 1 2 9

Guia TV BR 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2

Engraçado Tones SMS 1 2 2 2 1 2 2 2 0 2 2 2 1 1 2 2 2

Alarme Antifurto 1 9 9 1 2 2 1 1 0 2 1 1 1 2 2 1 9

Logo Quiz 2 9 9 1 2 2 2 2 2 2 2 2 2 2 2 2 2

Google Play Books 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2

Pou 1 9 9 1 1 2 2 2 0 2 2 2 1 2 2 2 2

130

MyBaby Puzzle 2 9 9 1 2 2 9 9 0 2 2 9 9 2 2 9 9

Toddler Animal Sound 2 9 9 1 2 2 2 2 0 2 2 2 1 2 2 2 9

Galinha Pintadinha 2 9 9 1 2 2 2 2 0 2 2 2 1 2 2 2 9

Gues the Movie! 2 2 2 1 2 2 2 2 0 2 2 2 1 1 2 2 2

O que é o que é? 9 9 9 1 2 9 2 2 2 2 2 2 2 9 2 2 9


Change my voice 2 9 9 1 1 2 1 1 0 2 2 1 1 2 2 1 2

Maze Game 1 9 9 1 2 1 1 1 0 2 2 1 1 2 1 1 2

SkyDrive 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 1 2

Flashlight 2 9 9 1 2 2 2 2 0 2 1 2 0 2 1 2 9

Presidentes 2 9 9 2 2 2 0 1 2 2 1 2 1 2 1 1 2

iBeer 2 9 9 1 2 2 2 2 2 2 2 2 1 2 2 2 9

Lighter Free 2 9 9 2 2 2 2 2 0 2 2 2 2 2 2 2 2

PhotoGrid 2 2 2 2 2 2 2 2 0 2 2 2 1 2 2 2 2

Globo.com 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2

Caça Palavras 1 9 9 0 2 2 2 1 0 2 1 1 9 9 1 1 9

Air Horn Free 2 9 9 0 2 2 9 2 0 2 2 2 1 2 1 2 9

Astro File Manager 2 9 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2

Jogo da Forca 1 9 9 1 2 2 1 1 0 2 2 1 2 1 1 1 9

Qual é a resposta? 2 9 9 1 2 2 1 1 0 2 1 1 2 1 1 1 9

SimplePac 1 9 9 0 2 1 0 0 2 2 1 1 1 1 1 1 2

Dieta e Saúde 2 9 9 2 2 2 2 2 0 2 2 1 2 2 2 2 2

Kekanto 2 2 2 1 2 2 1 2 2 2 2 1 1 2 1 2 2

Vogue 1 2 2 2 2 2 2 1 0 2 1 1 1 2 2 1 2

Marie Claire 1 2 2 2 2 2 2 1 0 2 2 1 1 2 2 1 2

Crescer Mobile 1 2 2 2 2 2 2 1 0 2 2 1 1 2 2 1 2

Expedia 1 2 2 2 2 2 2 2 1 0 2 2 1 2 2 2 2

Diário Catarinense 2 2 2 2 2 2 2 2 0 2 2 2 1 2 2 2 2

Globo News 1 2 2 2 2 2 2 2 0 2 2 2 2 2 2 2 2

Spider Solitarie 2 2 2 1 2 2 2 2 0 2 2 2 1 2 2 2 2

Photaf Panorama 1 9 9 1 2 2 2 1 0 2 1 2 1 1 2 2 2

Converter 2 9 9 2 2 2 2 2 2 2 2 2 2 9 2 2 2

Radio Atlântida 2 9 2 2 2 2 2 2 0 2 2 2 2 2 2 2 2

Pessoa Física 2 9 2 2 2 2 2 2 0 2 2 2 2 2 2 2 9

Simulado Detran Free 2 2 2 2 2 2 1 1 0 2 2 2 2 2 1 1 9

Clean Master 2 9 2 2 2 2 2 2 0 2 2 2 2 2 2 2 9

Boa Compra 2 2 2 1 2 2 1 2 0 2 2 2 1 2 2 1 9

4shared 2 9 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2

Google Drive 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2

CineMark Brasil 2 1 1 2 2 2 1 2 2 9 2 2 9 2 0 2 2

Banco do Brasil 2 9 2 1 2 2 1 1 2 2 2 2 1 2 2 2 2

App2SD 2 9 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2

DropBox 2 9 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2

Shazam 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2

Weather Channel 2 9 2 1 2 2 1 1 2 2 2 2 2 1 2 2 2

Climatempo 1 2 1 0 2 2 2 2 0 2 2 2 2 2 2 1 2

Tic Tac Toe 0 0 1 1 2 2 2 1 0 2 1 1 2 0 2 1 2

WhatsApp 2 9 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2

Hotmail 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2

Google Tradutor 2 9 2 2 2 2 2 2 2 2 2 1 1 2 2 1 2

QR Droid 2 2 2 0 1 2 2 2 2 2 2 2 2 2 1 2 2

Traficc Counter Extended 2 9 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2

Gmail 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2

Baixaki 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2

Consulta Visa Vale 2 9 2 1 2 2 1 1 2 2 9 2 9 9 2 2 2

Angry Birds 2 9 2 2 2 2 2 2 0 9 2 2 1 2 2 2 9

Google Goggles 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2

IMDb 2 9 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2

Saraiva eReader 1 2 2 2 2 2 2 2 2 2 2 2 0 2 2 9 2

Trip Advisor 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2

PersonalFinance 1 9 2 2 2 2 9 2 2 2 2 2 2 2 2 9 2

Buscapé 2 2 2 1 2 2 1 2 0 2 2 2 2 2 2 2 2

Tela Transparente 2 2 2 0 2 2 1 1 0 2 2 2 2 2 2 2 2

FacebookMessenger 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2

Consulta CEP 2 9 2 2 2 2 2 2 2 2 2 2 2 2 2 2 9

YouTube 2 1 1 2 2 2 1 2 2 2 2 2 1 2 2 2 1

Viber 2 9 2 2 2 2 2 2 2 2 2 2 2 9 2 2 2

Tavindo 2 9 2 2 2 2 2 2 2 2 2 2 9 2 2 2 2

Qual Operadora 2 1 1 2 2 2 2 2 0 9 2 2 1 2 2 2 2

Cadê Meu Banco 2 9 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2

131

Wikipedia 2 0 1 2 2 2 1 2 2 2 2 2 2 2 2 1 2

Wallpapers HD iPhone 2 1 2 2 2 2 2 1 0 2 2 2 0 2 9 2 2

Instagram 1 9 2 2 2 2 2 2 0 2 2 2 0 2 2 2 2

Ingresso.com 2 2 2 1 2 2 2 2 0 2 2 2 2 2 2 2 2

Churrascometro 1 9 1 2 2 2 2 2 0 2 2 2 2 2 2 2 2


Brasileirão 2 9 2 0 2 2 2 2 2 2 1 2 2 2 2 2 2

CamScanner iPhone 2 9 2 2 2 2 2 2 0 2 2 2 0 2 2 2 2

Buscapé iPhone 2 2 2 1 2 2 2 2 0 2 2 2 1 2 2 2 2

Groupon iPhone 2 2 2 2 2 2 2 2 0 1 2 2 1 2 2 1 0

Voos Online 1 9 2 2 2 2 2 2 2 2 2 2 2 2 2 0 2

Wase iPhone 2 2 2 0 1 2 2 2 2 2 2 2 2 2 2 2 2

Accupedo - Pedômetro 2 2 2 0 2 2 2 2 1 2 2 2 2 2 2 2 2

Apn Brasil 2 9 9 2 2 2 2 2 2 2 2 2 2 2 2 2 2

TrackPack 2 9 2 2 2 2 2 2 2 2 2 1 1 2 2 2 2

AVG Mobilation 2 9 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2

Facebook 1 1 1 9 2 2 2 2 2 2 2 2 1 2 2 2 2

CardioTrainer 2 9 2 2 2 2 9 2 0 9 2 2 2 2 1 2 2

Feriados 2013 iPhone 2 2 2 2 2 2 2 2 0 9 2 2 2 1 1 2 2

Catarinense 2013 iPhone 1 2 0 2 2 1 2 1 0 2 2 2 2 1 2 2 2

Internacional SporTV iPhone 2 2 2 2 2 2 1 2 0 2 2 2 2 1 0 2 2

Night Sky Lite iPhone 0 2 0 1 2 1 2 1 0 2 1 2 0 2 2 2 2

Sky Sports iPhone 1 2 1 0 1 2 2 2 0 2 2 2 2 2 0 2 2

Shazam iPhone 2 2 2 2 2 2 2 2 0 2 2 2 2 2 0 2 2

GloboEsporte.com iPhone 2 2 2 2 2 2 2 2 0 2 2 2 2 2 0 2 2

EyeEm iPhone 2 2 2 0 2 2 2 2 0 2 2 2 2 2 1 2 2

Dictionary.com iPhone 1 2 2 2 2 2 1 2 2 2 2 2 1 1 2 2 2

Quora iPhone 2 2 2 2 2 2 2 2 0 2 2 2 2 2 1 2 2

Áudio pessoal AUPEO iPhone 2 9 2 2 2 2 2 2 0 2 2 2 1 2 2 2 2

Guia de Aeroportos HD iPhone 2 9 2 2 2 2 2 2 0 2 2 2 2 2 2 2 2

Guia Médico Nacional Unimed 2 9 2 2 2 2 2 2 0 0 2 2 2 2 2 2 0

Myway Diabetes Manager 2 9 2 2 2 2 2 2 0 9 2 2 2 2 0 2 9

Genéricos Brasil 2 9 2 2 2 2 2 2 2 2 2 2 2 2 2 2 0

Vacinas Brasil Lite 2 9 2 2 2 2 2 2 2 2 2 2 2 2 2 2 0

Pressão Arterial 2 9 2 2 2 2 2 2 2 2 1 2 0 2 2 2 9

Diário de Pressão Sanguinea 2 2 2 2 2 2 2 2 2 0 2 2 2 2 2 2 2

GAPS - Antibiótico na Urgência 2 9 2 1 2 2 2 2 2 2 2 2 9 2 1 2 2

Diabetes 2 9 2 2 2 2 2 2 0 2 1 1 0 2 0 2 0

Apgar 2 9 2 2 2 2 2 2 2 2 9 2 9 9 0 2 9

Medscape 2 2 2 2 2 2 2 2 1 1 2 2 2 2 2 2 0

Procedimentos TUSS 2 9 2 2 2 2 2 2 2 2 2 2 0 2 0 2 0

Alergias 2 9 2 2 2 2 2 1 2 2 2 2 2 0 0 2 9

Amamentação 2 9 2 2 2 2 2 2 2 1 2 2 2 2 1 2 2

Diabetes 2 9 2 2 2 2 2 2 1 1 2 2 0 2 0 2 2

Diabetes Diary Lite 2 9 2 0 2 2 2 2 0 0 2 2 2 2 0 2 9

bPresso.com 1 9 1 2 2 2 2 2 2 2 2 2 1 2 1 2 2

Foursquare iPhone 2 2 2 2 2 2 2 2 0 2 2 2 2 1 1 2 2

Any.Do iPhone 9 2 1 1 2 2 1 2 2 2 1 2 2 9 1 2 2

Wunderlist iPhone 9 2 2 1 2 2 2 2 0 2 2 2 2 2 1 2 2

InstaWeather Free iPhone 1 2 1 1 2 1 2 2 0 2 2 2 2 1 1 2 2

Taxibeat iPhone 2 2 1 0 1 2 1 2 0 2 2 2 2 1 0 1 2

Passa Régua iPhone 1 0 0 1 2 2 0 0 0 2 2 2 1 0 0 0 2

Qello iPhone 2 2 2 2 2 2 2 2 0 2 2 2 1 2 1 2 0

Thirst iPhone 2 2 2 0 2 2 2 2 0 2 2 2 2 2 0 2 2

TouristEye iPhone 2 2 2 1 2 2 2 2 0 2 2 2 2 2 1 2 2

Mokriya Craigslist apps for iPhone 2 2 2 0 2 2 2 2 0 2 2 2 2 2 1 2 2

Gripe Suína 2 2 2 2 2 2 2 2 0 9 2 2 2 2 0 0 9

Psoríase 2 9 2 2 2 2 1 1 0 1 2 2 2 1 2 1 9

Appediatria 2 9 2 2 2 2 2 2 0 2 2 2 2 2 2 2 9

Rotinas Terapeuticas 2 9 2 2 2 2 1 1 0 1 2 2 2 1 2 1 9

Meu Diário Mensal 2 9 2 0 2 2 2 2 0 2 2 2 2 2 0 2 9

Universo Médico 2 2 2 2 2 2 1 1 2 2 2 2 2 2 0 2 2

GlicoCare 2 9 2 2 2 2 2 2 0 1 2 2 2 2 0 2 9

Breastfeed 2 9 2 0 2 2 2 2 0 1 2 2 9 9 0 2 9

Aleitamento 2 2 2 1 2 2 2 2 0 2 2 2 2 2 2 2 9

Dengue Adulto e Criança 2 9 2 1 2 2 2 2 2 2 2 2 2 2 1 2 0

GestaTools 2 9 2 0 2 2 2 2 2 2 2 2 9 9 0 2 2

CliniCalc: Medical Calculator 2 9 2 2 2 2 2 2 0 1 2 2 2 2 1 2 2

Procedimentos SUS 2 9 2 1 2 2 2 2 2 2 2 2 2 2 0 2 0

132

Medicamentos A a Z: Pediatria Free 2 9 1 0 2 2 2 2 0 1 2 2 1 2 1 1 0

WBCBaseball iPhone 2 2 2 2 2 2 2 2 0 2 1 2 2 2 2 2 2

Partiu Balada iPhone 2 2 1 2 2 2 2 2 0 2 2 2 1 2 1 2 2

ArtFinder iPhone 2 2 1 0 2 2 1 2 0 2 2 1 0 1 1 2 2

EyeEm iPhone 1 1 2 0 2 2 2 1 0 2 2 1 1 1 2 2 2

Remember The Milk iPhone 2 2 2 0 2 2 2 2 2 0 2 2 1 2 1 2 0


MusiXmatch iPhone 2 2 2 2 2 2 2 2 1 1 2 2 1 2 1 2 2

Split Pic iPhone 0 0 1 1 2 1 1 1 0 2 2 2 1 1 1 2 2

ShareFood iPhone 2 2 2 2 2 2 1 2 0 2 1 2 0 1 2 1 2

TV Show Tracker iPhone 0 2 1 0 2 2 2 2 1 2 2 1 0 0 2 1 0

Privalia iPhone 1 2 1 2 2 2 2 2 0 2 2 2 2 1 0 2 2

yap TV Guide iPhone 1 2 1 0 2 2 1 2 0 2 2 1 0 1 1 0 2

Tumblr iPhone 2 0 1 2 2 2 2 2 0 2 2 2 1 2 1 2 2

Festas UFSC iPhone 0 0 1 2 2 2 1 2 0 2 2 2 1 2 1 2 0

SoundCloud iPhone 2 1 2 2 2 2 2 2 2 2 1 1 0 2 2 2 2

GlobeConvert iPhone 1 2 1 2 2 2 1 2 0 2 1 2 0 1 1 2 2

MagicPlan iPhone 2 1 2 0 2 2 2 2 0 2 2 2 1 1 2 2 2

NET iPhone 2 2 2 2 2 2 1 2 0 2 2 2 2 2 2 1 0

Viddy iPhone 2 2 2 2 2 2 2 2 0 2 2 2 1 1 1 2 2

Reuters iPhone 2 1 2 0 2 2 2 2 0 2 2 2 1 1 2 2 0

Brasil Mobile iPhone 2 0 0 0 2 2 1 2 0 2 2 1 0 1 1 1 2

Floripa VIP iPhone 2 2 2 2 2 2 1 1 0 2 1 1 2 1 1 2 2

Qranio iPhone 2 2 2 1 2 2 2 2 0 2 2 2 2 2 1 2 2

Twitter iPhone 2 1 1 2 2 2 2 2 1 2 2 2 2 1 2 2 2

Insta College 2 9 2 2 2 2 9 2 0 9 2 9 2 2 9 9 9

Biblia Sagrada NVI 2 9 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2

Shared Mp3 2 0 1 0 2 2 2 2 2 2 9 2 9 9 2 2 2

Prague Shopping Guide 2 9 2 2 2 2 9 2 2 2 1 2 2 2 2 9 2

Ringtone Maker 1 9 2 2 2 2 2 2 2 2 2 2 0 2 2 9 2

Tv show favs 2 2 2 1 2 2 2 2 2 2 2 2 1 2 2 2 2

KCRW SongTag 2 2 2 0 2 2 2 2 1 2 9 2 9 9 2 2 2

Livraria Cultura eBook 0 9 2 0 2 2 2 2 2 2 9 2 9 9 2 2 2

Wales UK-Free Travel Guide 2 0 0 2 2 2 2 2 0 9 2 2 2 2 2 2 9

Baby holidays 1 9 1 0 2 2 9 1 0 2 2 2 2 2 0 0 9

RadarG1 1 2 2 2 2 2 2 2 0 2 2 2 2 1 2 2 0

iCall 2 2 2 2 2 2 2 2 0 2 2 2 2 2 2 2 2

Eu atleta 1 9 2 2 2 2 2 2 0 2 2 2 1 2 2 2 2

Sonar 1 0 1 2 2 1 2 2 2 0 2 2 0 2 2 2 2

Sushi BR 9 2 2 0 2 2 0 2 0 2 1 1 2 0 1 2 2

Photo Effects 1 9 2 0 2 2 2 2 1 2 2 2 2 2 9 2 2

EasyMeasure 1 2 1 0 1 1 2 2 2 2 1 1 0 1 2 2 2

Flash Card Demo 1 9 2 0 1 2 0 2 2 2 2 2 0 9 0 0 2

Dodol Phone 2 9 2 2 2 9 2 2 2 2 2 2 2 2 2 2 2

133

APÊNDICE F - Parâmetros dos itens remanescentes no modelo dicotômico

Itens Escala (0,1) Escala (50,10)

a b a b

I01 1,063 -1,198 0,1063 38,0 I02 0,925 -1,171 0,0925 38,3 I04 1,023 -1,547 0,1023 34,5 I06 0,595 0,199 0,0595 52,0 I07 0,741 -1,871 0,0741 31,3 I11 0,889 -0,580 0,0889 44,2 I12 2,160 -1,077 0,2160 39,2 I13 0,873 -3,517 0,0873 14,8 I14 0,705 -0,205 0,0705 47,9 I17 0,797 -1,613 0,0797 33,9 I18 0,673 0,414 0,0673 54,1 I20 0,600 -0,202 0,0600 48,0 I25 0,829 -0,849 0,0829 41,5 I26 0,904 -1,818 0,0904 31,8 I27 0,903 -0,663 0,0903 43,4 I30 0,686 -2,678 0,0686 23,2 I31 1,444 -1,711 0,1444 32,9 I32 0,897 -3,271 0,0897 17,3 I33 1,491 -1,717 0,1491 32,8 I34 2,222 -1,315 0,2222 36,9 I35 1,139 -2,672 0,1139 23,3 I36 1,156 -1,340 0,1156 36,6 I41 0,959 -1,226 0,0959 37,7 I42 1,040 -0,825 0,1040 41,8 I44 0,875 -2,308 0,0875 26,9 I45 0,880 -1,694 0,0880 33,1 I47 1,108 -2,771 0,1108 22,3 I48 0,795 -1,178 0,0795 38,2 I50 0,861 -1,428 0,0861 35,7 I54 0,769 -2,091 0,0769 29,1 I57 0,724 -0,871 0,0724 41,3 I58 1,265 -1,878 0,1265 31,2 I59 0,998 -1,818 0,0998 31,8 I60 0,884 -3,567 0,0884 14,3 I61 1,880 -0,601 0,1880 44,0 I62 0,844 -0,181 0,0844 48,2 I71 1,415 -0,516 0,1415 44,8 I76 0,776 -1,874 0,0776 31,3 I79 1,214 -0,130 0,1214 48,7 I80 1,286 -2,288 0,1286 27,1 I81 0,923 -4,114 0,0923 8,9 I82 1,494 -0,868 0,1494 41,3 I83 1,379 -0,947 0,1379 40,5 I86 1,066 -2,022 0,1066 29,8 I87 1,353 -1,400 0,1353 36,0 I89 1,057 -1,411 0,1057 35,9 I90 0,796 -0,960 0,0796 40,4 I91 1,428 -1,171 0,1428 38,3

134

APÊNDICE G – Notas atribuídas aos aplicativos

APLICATIVOS NOTAS Banco do Brasil 51,0

Bounce Bill Easter Tales 69,5 Eu atleta 50,7

FacebookMessenger 68,6 Relax and Sleep 50,3

Traficc Counter Extended 66,7 EyeEm iPhone 50,3

Google Play Books 66,7 Medicamentos A a Z: Pediatria Free 50,1

Trip Advisor 66,6 Sky Sports iPhone 50,0

Converter 65,9 Baby Names 49,8

Earth View 65,7 SoundCloud iPhone 49,8

Pessoa Física 65,6 Diabetes 49,7

GlicoCare 65,4 NET iPhone 49,5

Rastreio Correios 65,3 GAPS - Antibiótico na Urgência 49,5

Hotel Hoje 65,2 Hotel Hoje 49,5

Shazam iPhone 64,7 Áudio pessoal AUPEO iPhone 49,1

Aleitamento 64,3 Thirst iPhone 48,7

Globo News 63,9 Hotmail 48,5

Wedding Planning 63,8 Presidentes 48,5

Appediatria 63,6 Viddy iPhone 48,4

Google Goggles 63,4 Buscapé iPhone 48,3

Biblia Sagrada NVI 63,2 Climatempo 48,0

Baixaki 63,0 Postos Combustível Brasil 47,9

Qual Operadora 62,9 CineMark Brasil 47,8

MusiXmatch iPhone 62,9 Pressão Arterial 47,5

Aprenda a falar outras línguas 62,7 2ulado Detran Free 47,5

iCaipirinha 62,7 Remember The Milk iPhone 47,5

ColorNote 62,4 Wikipedia 47,4

Partiu Balada iPhone 62,1 Guia Médico Nacional Unimed 47,3

Gmail 62,0 GlobeConvert iPhone 47,2

Medscape 61,5 Rotinas Terapeuticas 47,1

Apn Brasil 61,2 Ingresso.com 47,0

Diário Catarinense 61,1 TouristEye iPhone 47,0

Lighter Free 60,6 Photaf Panorama 47,0

Guia de Aeroportos HD iPhone 60,5 Ringtone Maker 46,9

Apgar 60,4 Instagram 46,7

bPresso.com 59,9 CPF/CNPJ 46,6

Spider Solitarie 59,9 Psoríase 46,5

Lembretes de Aniversário 59,6 Groupon iPhone 46,5

Dieta e Saúde 59,4 Expedia 46,5

MyBaby Puzzle 59,2 IMDb 46,4

SkyDrive 59,0 EyeEm iPhone 46,3

AVG Mobilation 58,7 Sabores do Brasil 46,3

Clean Master 58,7 Boa Compra 46,2

135

Gues the Movie! 58,7 Wunderlist iPhone 46,2

DropBox 58,6 Consulta Visa Vale 46,2

Facebook 58,5 Dengue Adulto e Criança 46,2

Tavindo 58,4 Tv show favs 46,2

Genéricos Brasil 58,1 London Underground Tube Map 46,1

Google Drive 58,1 CardioTrainer 46,0

Metas de Vida 58,0 iBeer 45,9

Piano Virtual 58,0 Any.Do iPhone 45,9

App2SD 57,9 QR Droid 45,8

Guia TV BR 57,8 Taximetro Pro 45,8

WhatsApp 57,7 Sonar 45,7

Toddler Animal Sound 57,6 Flashlight 45,7

Android Massager 57,6 Accupedo - Pedômetro 45,7

GloboEsporte.com iPhone 57,3 Voos Online 45,6

Twitter iPhone 56,9 Qello iPhone 45,6

Festas UFSC iPhone 56,8 4shared 45,6

Pet Shop Story 56,6 ArtFinder iPhone 45,5

YouTube 56,6 Lupa 45,4

Feriados 2013 iPhone 56,6 1001 Lugares no Brasil 45,4

Decolar.com 56,5 Call Assistant 45,4

Churrascometro 56,4 Buscapé 45,4

Logo Quiz 56,1 Breastfeed 45,3

I am Here 56,0 Livraria Cultura eBook 45,3

Wallpapers HD iPhone 55,8 Marie Claire 45,2

CamScanner iPhone 55,8 Nivea Sun 45,1

Diário de Pressão Sanguinea 55,7 Wase iPhone 45,1

Saúde Vale 55,7 Compras, moda e liquidações 45,1

Angry Birds 55,7 Myway Diabetes Manager 45,0

Quora iPhone 55,6 Floripa VIP iPhone 44,9

2ples MP3 Downloader 55,5 RadarG1 44,7

Cadê Meu Banco 55,4 Tempo de Trabalho 44,7

iCall 55,4 Crescer Mobile 44,5

Globo.com 55,3 Diabetes 44,3

Procedimentos TUSS 55,2 Xadrez 44,2

Meu Diário Mensal 55,1 InstaWeather Free iPhone 44,1

Amamentação 55,1 TeleListas 44,0

Nó em Gravata 55,1 Mochileiros 43,8

Catarinense 2013 iPhone 55,0 Alarme Antifurto 43,1

Consulta CEP 55,0 yap TV Guide iPhone 42,9

Vacinas Brasil Lite 55,0 Brasil Mobile iPhone 42,8

CliniCalc: Medical Calculator 54,9 Vogue 42,4

Google Tradutor 54,8 Presto! Remote 42,3

136

Dicionário Porto 54,8 aCalendar 42,2

Dodol Phone 54,8 Tic Tac Toe 41,5

Horóscopo 54,7 Air Horn Free 41,3

Internacional SporTV iPhone 54,7 Photo Effects 39,9

Viber 54,7 Alergias 39,4

Gripe Suína 54,6 Diabetes Diary Lite 39,3

Pou 54,6 Change my voice 38,8

O que é o que é? 54,5 Weather Channel 37,8

Tumblr iPhone 54,5 Caça Palavras 37,8

Procedimentos SUS 54,5 EasyMeasure 37,8

Receita Móvel 54,3 Happy Diary Plus 37,7

Benji Bananas 54,2 Shared Mp3 37,7

ShareFood iPhone 54,1 Night Vision Camera 37,6

TrackPack 54,0 Taxibeat iPhone 37,5

Galinha Pintadinha 54,0 Night Sky Lite iPhone 37,4

KCRW SongTag 53,9 Sushi BR 37,3

Qranio iPhone 53,8 TV Show Tracker iPhone 37,2

ProEstetica 53,7 Prague Shopping Guide 37,0

GestaTools 53,7 Fácil Voz Bloco de Notas 36,9

Brasileirão 53,7 Passa Régua iPhone 36,9

Radio Atlântida 53,3 Split Pic iPhone 36,9

Foursquare iPhone 53,1 Maze Game 36,8

Privalia iPhone 52,8 Faces - Photo Fun 36,8

WiFi Manager 52,6 Wikipedia Places 36,6

Saraiva eReader 52,6 Exercícios em casa 36,6

Universo Médico 52,6 Color Touch 36,4

PersonalFinance 52,5 Sleep as Android 34,8

Dictionary.com iPhone 52,3 Kekanto 34,7

Shazam 52,2 Nike+ Running 32,7

MagicPlan iPhone 52,0 Battery Master 31,9

Engraçado Tones SMS 51,9 Flash Card Demo 30,2

Mokriya Craigslist apps for iPhone 51,9 2plePac 29,8

Insta College 51,8 Baby holidays 29,7

PhotoGrid 51,8 minube 28,8

Palco MP3 51,6 Jogos Mentais 28,6

Tela Transparente 51,5 Evernote Hello 27,9

Wales UK-Free Travel Guide 51,3 Qual é a resposta? 27,7

WBCBaseball iPhone 51,2 Astrid Lista de Tarefas 27,7

Reuters iPhone 51,1 Jogo da Forca 27,6

Astro File Manager 51,1 Emoji 27,0

Medida Certa 25,2

Mobile Voip 21,0

137

APÊNDICE H – Tabelas de frequências de respostas

Heurísticas Questões Categorias

Não Parcial Sim NA

Visibilidade do status do

sistema

1. Para cada ação do usuário o aplicativo oferece feedback imediato e

adequado sobre seu status?

13 51 183 0

2. Os componentes interativos selecionados são claramente distintos dos

demais?

10 60 177 0


44 2 201 0

4. As mensagens sobre o status do aplicativo possuem uma linguagem

clara e concisa?

8 41 185 13

5. Todas as telas possuem título? 63 20 163 1

6. Todas as telas mantêm acessíveis menus e funções comuns do

aplicativo?

88 37 112 10

7. Fornece um update do status para operações mais lentas? 21 23 152 51

8. O aplicativo oferece informações sobre sua versão? 137 9 101 0

9. Oferece outras formas de feedback além do textual (luminoso,

sonoro, vibração)?

167 10 69 1

10. Quando uma mensagem é exibida o tempo de exibição é suficiente para realizar a leitura?

3 34 184 26

11. O significado de símbolos e ícones são compreensíveis e intuitivos? 9 83 143 12

12. As informações são dispostas em uma ordem lógica e natural? 12 36 196 3


Não Parcial Sim NA

Controle e Liberdade do

Usuário

13. É o usuário quem inicia e encerra tarefas e não o aplicativo? 1 14 232 0

14. É possível identificar o número de passos necessários para a

realização de uma tarefa?

40 36 86 85

15. O aplicativo pode ser fechado e não apenas minimizado? 78 0 168 1

16. É possível prever o tamanho da tela pelo tamanho do scroll? 28 13 180 26

17. É possível retornar a tela anterior a qualquer momento? 39 19 179 10

18. No caso de aplicativos associados a cadastro de login ou contas de e-

mail, permite o fácil acesso de mais de um usuário?

41 5 34 167

19. O usuário pode sair do aplicativo e retornar do ponto onde parou? 25 1 220 1

20. O usuário pode cancelar uma ação em progresso (ex.: download)? 42 6 55 144

21. O usuário pode desfazer (undo) uma ação? 69 13 61 104

22. O usuário pode refazer (redo) uma ação? 69 8 69 101


31 12 151 53

24. Informações relevantes como textos, botões e comandos ficam

visíveis quando o teclado é aberto?

19 46 109 73


20 37 105 85

138


Não Parcial Sim NA


26. As telas com o mesmo tipo de conteúdo possuem o mesmo título? 30 15 183 19

27. Controles e botões se distinguem do restante do layout, deixando

evidente que são clicáveis?

4 88 154 1

28. Itens não clicáveis deixam evidente que não o são? 16 55 167 9

29. O nome do botão/ícone é consistente com o nome da tela que abre? 4 17 209 17

30. Todas as informações textuais do aplicativo utilizam o mesmo

idioma?

30 8 205 4

31. Funções diferentes são apresentadas de maneira distinta ao usuário? 18 13 184 32

32. Funções semelhantes são apresentadas de forma similar? 4 13 227 3

33. Controles que realizam a mesma função ficam em posições

semelhantes na tela?

4 28 209 6

34. A forma de navegação é consistente entre as telas no aplicativo? 3 29 189 26

35. Os links são tratados de forma consistente entre as telas? 5 6 134 102

36. As informações textuais são apresentadas de forma padronizada?

(tamanho da fonte, cor)

23 32 190 2


Não Parcial Sim NA

Prevenção de erros

37. Nas primeiras interações do usuário com o aplicativo são mostradas

instruções básicas?

194 6 36 11

38. Os botões e controles que desencadeiam ações irreversíveis ficam

localizados em áreas de difícil acesso, exigem gestos desafiadores ou uma

confirmação do usuário (como por exemplo a técnica slide-to-unlock control usada pelos sistemas Android e Apple)?

57 18 63 109


Não Parcial Sim NA

Reconhecimento em vez de

lembrança

39. A opção voltar é apresentada de acordo com o padrão dos aplicativos para esta plataforma?

60 37 130 20

40. Em cada opção do menu, a primeira palavra é a mais importante? 9 29 193 16

41. Os títulos e rótulos são curtos? 14 49 171 13


27 51 160 9

43. Em todas as telas é possível reconhecer uma identidade visual (marca

ou nome do aplicativo, cores, etc)?

28 33 176 10

44. O aplicativo utiliza em seus textos e rótulos, uma linguagem habitual

e conhecida pelo usuário?

2 33 205 7

45. Os títulos das telas descrevem adequadamente seu conteúdo? 27 22 182 16

46. Os rótulos dos links descrevem adequadamente seu conteúdo e estão

de acordo com o conteúdo das telas que abrem?

3 19 134 91


2 10 169 66

139


Não Parcial Sim NA

Flexibilidade e Eficiência

de Uso

48. O aplicativo apresenta problemas durante a interação (trava, botões

não funcionam no primeiro clique, etc)?

172 23 52 0

49. O propósito/função do aplicativo é claro? 7 22 211 7

50. As tarefas são relativamente simples de serem executadas? 13 50 184 0

51. O aplicativo é carregado rapidamente? 24 37 186 0

52. Oferece mecanismos de input alternativos como por voz, por lista, por

foto ou por QR-code?

133 0 76 38

53. O aplicativo oferece mecanismos para uma navegação dinâmica na qual os usuários podem ir de uma tela para outra com apenas um click sem

ter que ir para uma outra página antes?

99 42 92 14

54. As funções mais utilizadas são facilmente acessadas? 8 39 199 1

55. Os usuários experientes têm acesso a um caminho preferencial,

claramente sinalizado, para ferramentas mais rápidas e poderosas?

214 10 6 17


197 21 21 8

57. O aplicativo utiliza objetos (ícones) ao invés de botões? 27 62 157 1


Não Parcial Sim NA

Estética e Design

Minimalista

58. São exibidas apenas informações relacionadas a tarefa que esta sendo realizada?

11 22 214 0

59. São usados textos somente quando estes são realmente

indispensáveis?

13 30 198 6

60. Em textos o uso de abreviaturas é evitado? 2 12 231 2

61. O menu é esteticamente simples e claro? 20 58 161 8

62. O aplicativo exibe quantidades pequenas de informações em cada

tela?

38 76 131 2

63. O aplicativo só apresenta funções que estão habilitadas? 28 4 215 0


Não Parcial Sim NA

Ajude o usuário a

reconhecer, diagnosticar e

recuperar de erros

64. O aplicativo permite fácil recuperação de erros? 27 35 35 150

65. As mensagens de erro são claras apontando a causa do erro? 17 23 65 142

66. As mensagens de erro, quando possível proveem uma ou mais opções

de navegação, como, por exemplo um link de "Voltar" para retornar à

página anterior, um link "Repetir" para tentar repetir a transação?

48 13 41 145

67. As mensagens de erro são amigáveis com usuário? 16 1 86 144


Não Parcial Sim NA

Ajuda e Documentação

68. O aplicativo possui uma opção de ajuda? 169 4 73 1

69. É fácil localizar a ajuda? 5 14 58 170

70. A ajuda é de fácil compreensão? 7 10 59 171

140


Não Parcial Sim NA

Pouca interação

homem/dispositivo

71. A navegação do aplicativo é intuitiva? 12 78 154 3

72. O aplicativo evita o uso do scroll, especialmente quando o dispositivo

está na posição horizontal?

55 30 148 14

73. O aplicativo evita a digitação (por exemplo: guardando as respostas

mais frequentes do usuário para que ele não precise digitá-las novamente,

oferecendo opções em forma de lista, utilizando o recurso de auto-completar, etc)?

74 9 48 116

74. Em situações de busca, possui um mecanismo de entrada de dados

tolerante a erros de digitação e uso de abreviações?

79 12 27 129

75. O cadastro de usuário exige somente informações necessárias? 8 2 77 160


Não Parcial Sim NA

Interação Física e

Ergonomia

76. Possui botões com tamanho adequado ao clique? 7 45 191 4

77. Possui links com tamanho adequado ao clique? 10 13 116 108

78. Possui espaço suficiente entre botões e links, evitando que o usuário

selecione outro elemento?

5 31 167 44


44 71 131 1

80. Os botões e controles podem ser facilmente acessados com qualquer

uma das mãos ou há opção para destro ou canhoto?

2 20 225 0

81. A área clicável dos botões e links ocupa toda a dimensão dos

mesmos?

0 8 237 2


Não Parcial Sim NA


82. O espaçamento entrelinhas utilizado favorece a leitura? 12 53 172 10

83. As fontes utilizadas favorecem a leitura? 9 58 178 2

84. A interface do aplicativo se adapta a rotação da tela? 140 11 95 1

85. Independente da orientação e do uso do scroll, todo conteúdo fica

visível na tela, sem cortes?

8 12 218 9

86. Os ícones possuem contraste suficiente em relação ao plano de fundo? 1 33 203 10

87. Os textos tem contraste suficiente em relação ao plano de fundo? 3 44 197 3

88. As imagens (gráficos, ícones, etc) também são descritas textualmente? 25 68 135 19


6 45 177 19

90. O aplicativo realça conteúdos mais importantes, deixando-os maiores,

mais brilhosos, negrito ou mais detalhados?

31 51 161 4

91. O alinhamento utilizado favorece a leitura? 13 40 185 9

92. Quando utiliza o scroll é somente vertical ou somente horizontal? 22 2 183 40

141

APÊNDICE I – Escala de Medida do Grau de Usabilidade

Nível Descrição Heurística

Os aplicativos avaliados utilizando o checklist para avaliação de aplicativos para toucscreen phones quase sempre ou sempre.....

30

13.É o usuário quem inicia e encerra tarefas e não o aplicativo? Controle e liberdade do usuário

81.A área clicável dos botões e links ocupa toda a dimensão dos mesmos? Interação física e ergonomia

60.Em textos o uso de abreviaturas é evitado? Estética e design minimalista

35.Os links são tratados de forma consistente entre as telas?


30.Todas as informações textuais do aplicativo utilizam o mesmo idioma?

32.Funções semelhantes são apresentadas de forma similar?

40

4. As mensagens sobre o status do aplicativo possuem uma linguagem clara e

concisa?



17. É possível retornar a tela anterior a qualquer momento? Controle e liberdade do usuário






36. As informações textuais são apresentadas de forma padronizada? (tamanho da

fonte, cor)

44. O aplicativo utiliza em seus textos e rótulos, uma linguagem habitual e conhecida

pelo usuário?



54. As funções mais utilizadas são facilmente acessadas? Flexibilidade e eficiência de uso

58. São exibidas apenas informações relacionadas a tarefa que esta sendo

realizada?

Estética e design minimalista


76. Possui botões com tamanho adequado ao clique?

Interação física e ergonomia 80. Os botões e controles podem ser facilmente acessados com qualquer uma das

mãos ou há opção para destro ou canhoto?


Legibilidade e layout 87. Os textos tem contraste suficiente em relação ao plano de fundo?

89. As imagens possuem cor e detalhamento favoráveis a leitura em uma tela

pequena?

50

1. Para cada ação do usuário o aplicativo oferece feedback imediato e adequado

sobre seu status?





25. O aplicativo deixa claro qual o próximo passo para realizar a tarefa? Controle e liberdade do usuário

27. Controles e botões se distinguem do restante do layout, deixando evidente que Consistência e padrões

142

são clicáveis?


Reconhecimento em vez de lembrança 42. Os dados e mensagens mais importantes encontram-se na posição padrão dos

aplicativos para esta plataforma?

48. O aplicativo apresenta problemas durante a interação (trava, botões não

funcionam no primeiro clique, etc)?

Flexibilidade e eficiência de uso 50. As tarefas são relativamente simples de serem executadas?


61. O menu é esteticamente simples e claro? Estética e design minimalista

71. A navegação do aplicativo é intuitiva? Pouca interação homem/dispositivo

82. O espaçamento entrelinhas utilizado favorece a leitura?

Legibilidade e layout


90. O aplicativo realça conteúdos mais importantes, deixando-os maiores, mais

brilhosos, negrito ou mais detalhados?


60

6. Todas as telas mantêm acessíveis menus e funções comuns do aplicativo? Visibilidade e status do sistema

14. É possível identificar o número de passos necessários para a realização de uma

tarefa?

Controle e liberdade do usuário

18. No caso de aplicativos associados a cadastro de login ou contas de e-mail,

permite o fácil acesso de mais de um usuário?


62. O aplicativo exibe quantidades pequenas de informações em cada tela? Estética e design minimalista

79. A navegação principal encontra-se na posição padrão dos aplicativos para esta

plataforma?

Interação física e ergonomia

143

APÊNDICE J – Artigo APLICAÇÃO DA TÉCNICA ESTATÍSTICA TEORIA DA RESPOSTA AO ITEM

PARA AVALIAR UM CONJUNTO DE HEURÍSTICAS DE USABILIDADE

PARA DISPOSITIVOS CELULARES TOUCHSCREEN.

Ariane Talita Witt¹

1Departamento de Informática e Estatística – Universidade Federal de Santa Catarina

(UFSC)

[email protected]

Resumo. O cenário atual é caracterizado pela presença de modernos aparelhos de

celulares e o acelerado crescimento do segmento de telefonia móvel no mundo. Essas

mudanças apresentam novas formas de interação, destacam-se nesse cenário os

touchscreen phones, celulares que possuem a tela sensível ao toque. O presente

trabalho tem como objetivo avaliar um conjunto de heurísticas de usabilidade para

dispositivos de celulares touchscreen realizando um estudo empírico onde é

concretizada uma série de avaliações heurísticas utilizando o checklist para avaliação

de aplicativos para dispositivos celulares touchscreen. A análise dos dados coletados

aplicando a Teoria da Resposta ao Item permite identificar a relevância de cada item

que compõe o checklist.

1. Introdução

A evolução dos telefones celulares nas últimas décadas é expressiva. Os aparelhos

deixaram de ser apenas um dispositivo de telefonia móvel e passaram a receber muitas

outras funcionalidades, como jogos, câmeras fotográficas e acesso à internet (LANDIM,

2011). O cenário atual é caracterizado por modernos aparelhos celulares que são cada

vez menores e com mais funções e recursos disponíveis.

As vendas de smartphones no mundo totalizaram 210 milhões de unidades no primeiro

trimestre de 2013, até 42,9% de aumento em relação ao primeiro trimestre de 2012

(GARTNER, 2013). Smartphones estão entre celulares e computadores, não possuem o

hardware tão robusto quanto um computador e nem tão simples quanto um celular. Os

smartphones possuem funcionalidades avançadas que podem ser ampliadas por meio de

aplicativos executados no seu sistema operacional.

Destacam-se nesse cenário os touchscreen phones, celulares que possuem a tela sensível

ao toque, por isso dispensam o uso de teclados, pode-se tocar a tela e ela responderá

como se o toque fosse nos objetos mostrados nela. É uma tecnologia que integra não só

sensores na tela, mas também programas e interfaces específicas (ASSIS, 2009). A

venda desses modelos de dispositivos cresce com intensidade no mundo, a previsão de

aumento de unidades vendidas, é de 50% até 2014 (800.000.000 de unidades do total de

1,6 bilhões) (LEE, 2011).

Os touchscreen phones apresentam novas formas de interação como voz, gestos,

sensores e dados de localização (WASSERMAN, 2010). Além das diferenças de

interação o ambiente de uso desses dispositivos também é diferenciado, os usuários

144

deste tipo de dispositivo estão cercados por outros estímulos, pois muitas vezes estão

em movimento, andando na rua ou na espera no ponto de ônibus buscando concluir

rapidamente tarefas simples, obter informações ou para se divertir, assistindo a vídeos

ou jogando (SALAZAR et al. 2012).

Avaliando essas diferenças apresentadas pelos dispositivos touchscreen phones,

questões de design de interface e usabilidade desses dispositivos também precisam ser

analisadas (SALAZAR et al. 2012), pois é muito importante que as interfaces sejam

eficientes e eficazes durante o uso e que ofereçam uma experiência agradável ao usuário

(PREECE, 2005), essa característica deve estar presente também nos dispositivos

touchscreen phones e seus aplicativos.

Nesse contexto estão sendo desenvolvidos no GQS/INCoD/UFSC um conjunto de

heurísticas de usabilidade e um checklist para avaliar a usabilidade de sistemas em

dispositivos touchscreen phones (SALAZAR et al. 2012). Atualmente os resultados da

pesquisa são analisados por meio de um estudo empírico inicial. São comparados

resultados de testes de usabilidade com resultados de avaliações heurísticas adotando o

checklist desenvolvido. As avaliações foram realizadas em um aplicativo para iPhone

para acessar laudos de exames médicos (SALAZAR et al., 2012).

Nesse sentido, tendo como intuito avaliar a validade do checklist desenvolvido e

também gerar um conjunto mínimo de itens que permitam inferir o grau da usabilidade

de um aplicativo com o mínimo de esforço necessário, resume-se a hipótese de pesquisa

a ser analisada no presente trabalho da seguinte maneira: O conjunto proposto de

heurísticas/checklist de usabilidade para dispositivos celulares touchscreen mede o grau

de usabilidade desses aplicativos.

2. Metodologia

Em relação a natureza a pesquisa é do tipo aplicada, pois visa aplicar e validar um

checklist para avaliação de usabilidade em aplicativos para dispositivos touchscreen

phones. Para Barros e Lehfeld (2000), a pesquisa aplicada tem como motivação a

necessidade de produzir conhecimento para aplicação de seus resultados com o objetivo

de contribuir para fins práticos, visando à solução mais ou menos imediata do problema

encontrado na realidade. Quanto a abordagem a pesquisa é do tipo quantitativa, pois

está relacionada à quantificação de dados obtidos por meio de pesquisa e baseada em

técnica estatística para o tratamento dos dados.

Neste trabalho é realizado o estudo da literatura sobre heurísticas de usabilidade para

dispositivos celulares touchscreen e o estudo da técnica estatística Teoria da Resposta

ao Item. Através dessa técnica estatística é realizada uma avaliação sobre um conjunto

de itens empregados para avaliar a usabilidade de aplicativos para dispositivos

touchscreen.

A Teoria da Resposta ao Item procura medir habilidades, atitudes, interesses,

desempenho, maturidade, conhecimentos ou proficiência de indivíduos ou sistemas por

meio de um questionário e da construção de uma escala na qual, o traço latente do

respondente e a dificuldade de um item podem ser comparados (TEZZA, 2009). A

escolha do modelo de TRI mais adequado depende, sobretudo do que se deseja medir e

da natureza dos dados disponíveis (TEZZA, 2009).

145

A Teria da Resposta ao Item é uma ferramenta apropriada, pois possibilita a criação de

escalas a partir de um checklist que faz uso de conceitos de usabilidade (TEZZA, 2009).

No presente trabalho para a aplicação da TRI é utlilizado o Software BILOG-MG 3

(MISLEVY & BOCK, 2003). Este assume que os respondentes representam uma

amostra aleatória de uma população de proficiências que pode ser assumida como tendo

ou uma distribuição normal padrão, ou ainda uma distribuição discreta arbitrariamente

especificada pelo usuário, ou ainda uma distribuição empírica, a ser estimada

conjuntamente com os parâmetros dos itens (TEZZA, 2009).

A metodologia de desenvolvimento deste trabalho é dividida em quatro etapas:

Etapa 1: É realizada uma análise de literatura na área de IHC em geral e posteriormente

enfatizando a área de heurísticas de usabilidade para dispositivos celulares touchscreen.

Também é estudada a técnica estatística da Teoria da Resposta ao Item.

Atividade 1.1: Analisar a área de IHC/Engenharia de usabilidade/Heurísticas de

Usabilidade.

Atividade 1.2: Analisar os dispositivos celulares touchscreen.

Atividade 1.3: Estudar a técnica estatística da Teoria da Resposta ao Item.

Etapa 2: Analisar o estado da arte em relação à avaliação de heurísticas de usabilidade

existentes para o design de interface para celulares touchscreen. Para esta etapa é

utilizada a técnica de revisão sistemática de literatura.

Atividade 2.1: Definir a revisão sistemática da literatura.

Atividade 2.2: Executar a revisão sistemática da literatura.

Atividade 2.3: Analisar e interpretar as informações extraídas.

Atividade 2.4: Documentar e discutir os resultados.

Etapa 3: Nessa etapa é definida como a avaliação é realizada utilizando a teoria

estatística de Resposta ao Item. É realizado, também, o levantamento de aplicativos para

a realização da avaliação do conjunto de itens. As avaliações dos aplicativos para

celulares touchscreen para plataformas iOS ou Android são realizadas em duas

iterações.

Atividade 3.1: Definir a avaliação do primeiro conjunto.

Atividade 3.2: Levantamento de aplicativos para a realização da avalição.

Atividade 3.3: Primeira iteração das avaliações.

Atividade 3.3.1: Executar a avaliação do primeiro conjunto de aplicativos (cerca de

50 aplicativos).

Atividade 3.3.2: Analisar os resultados das avaliações do primeiro conjunto.

Atividade 3.3.3: Interpretar os resultados obtidos do primeiro conjunto.

Atividade 3.4: Segunda iteração das avaliações.

Atividade 3.4.1: Executar a avaliação do segundo conjunto de aplicativos (cerca de

200 aplicativos).

Atividade 3.4.2: Analisar os resultados das avaliações do segundo conjunto.

Atividade 3.4.3: Interpretar os resultados obtidos do segundo conjunto.

Atividade 3.5: Discutir os resultados.

3. Fundamentação Teórica

3.1 Heurísticas para dispositivos móveis touchscreen phones

146

O contexto de uso de um computador de mesa (desktop) para o qual foram

desenvolvidas as heurísticas de Nielsen é muito diferente do contexto de uso de um

dispositivo móvel. Dispositivos móveis geralmente são utilizados para aplicações

rápidas em um ambiente com muitas distrações, muitas vezes os usuários estão em

movimento, como por exemplo, andando na rua.

Os métodos tradicionais de avaliação de usabilidade não consideram essas

particularidades dos dispositivos móveis, por isso, existe uma necessidade do

desenvolvimento de novas técnicas de avalição de usabilidade para esses dispositivos

(INOSTROZA, 2012) (SALAZAR et al. 2012). Faz-se então necessário customizar as

heurísticas de Nielsen, adaptando-as ao paradigma dos dispositivos móveis.

Nesse sentido, alguns autores vêm realizando esforços com o objetivo de definir

heurísticas de usabilidade para dispositivos móveis touchscreen. Uma visão geral do

estado de arte referente às heurísticas de usabilidade para celulares touchscreen é

apresentado por Salazar et al (SALAZAR, et al. 2012). A revisão do estado arte

evidenciou que ainda não existem muitas pesquisas nessa área.

A revisão do estado da arte de Salazar et al (2012) obteve como resultado 13 artigos

relevantes no que diz respeito a heurísticas de usabilidade para celulares. Devido a essa

carência de trabalhos relacionados às heurísticas de usabilidade para celulares, o foco da

revisão do estado da arte foi ampliado a guias de estilo. Foram então selecionados os

guias de estilo de design das cinco plataformas de smartphones mais vendidas no

mundo em 2011 (SALAZAR et al. 2012). Apesar de existir forte correlação entre as

heurísticas propostas e as heurísticas tradicionais, muitas vezes as primeiras

reinterpretam e ajustam suas definições para dispositivos móveis. Alguns autores ainda

propuseram algumas heurísticas adicionais levando em consideração as características

específicas dos dispositivos móveis. A Tabela 1 apresenta o conjunto unificado de

heurísticas proposto por Salazar et al. (2012) a partir dos resultados obtidos após a

revisão do estado da arte. Tabela 1 – Conjunto de Heurísticas para dispositivos móveis

Heurísticas Tradicionais Heurísticas Novas

Visibilidade do status do sistema Compatibilidade entre diferentes plataformas

Liberdade e controle do usuário Pouca interação homem/dispositivo

Consistência e padrões Interação física e ergonômica

Prevenção de erros Legibilidade e Layout

Flexibilidade e eficiência de uso Estética e design minimalista

Ajudar os usuários a reconhecer, diagnosticar e recuperar erros

Fonte: (adaptado de SALAZAR et al. 2012)

A análise do estado da arte demonstrou que até o momento não existe uma

visão/compreensão única sobre quais são as heurísticas de usabilidade relevantes para

os dispositivos touchscreen phones.

Nesse sentido, com a intenção de criar um conjunto unificado de heurísticas de

usabilidade (Tabela 01) com base na literatura e experiências práticas, o GQS – Grupo

de Qualidade de Software - está atualmente definindo um conjunto de heurísticas de

usabilidade para celulares touchscreen.


147

3.2. Checklist para avaliação heurística de aplicativos em touchscreen

phones

Para facilitar a realização de avaliações heurísticas usando o conjunto de heurísticas

unificadas, uma lista de verificação (checklist) foi desenvolvida pelo GQS – Grupo de

Qualidade de Software. Esta, por sua vez, objetiva auxiliar na avaliação de usabilidade

dos dispositivos touchscreen phones de uma maneira rápida, fácil e eficiente

(SALAZAR et al., 2012).

Como escala de resposta aos itens do checklist é adotada uma escala ordinal com quatro

opções:

• Sim (Se o aplicativo estiver de acordo com o item);

• Parcialmente (se o aplicativo atender parcialmente o item);

• Não (se não estiver de acordo com o item) e

• Não se aplica (caso o item não possa ser avaliado ou não seja pertinente ao

escopo da aplicação).

Um extrato do checklist (v1.0) elaborado pode ser visualizado na Figura 1.

Figura 1: Lista de verificação aplicada a celulares touchscreen Fonte: SALAZAR et al., 2012


Avaliadora: Data:




sistema




11. Prioriza mensagens relativas a informações críticas e contextuais

como o status da bateria e status da rede?

12. As mensagens sobre o status do aplicativo possuem uma linguagem

clara e concisa?



aplicativo?



Anotações:

… ...

...


148

4 Estado da Arte

A revisão sistemática da literatura realizada teve como objetivo analisar e sintetizar a

literatura existente sobre a avaliação/validação de conjuntos de heurísticas de

usabilidade para aplicativos em dispositivos de touchscreen phones. O foco da revisão

está na seguinte questão: Como os conjuntos de heurísticas de usabilidade para celulares

touchscreen são validados?

Embora o foco principal estivesse relacionado a touchscreen phones, o escopo da

pesquisa foi ampliado para qualquer tipo de telefone celular, pois em uma busca inicial

não foi encontrada qualquer literatura relevante específica sobre touchscreen phones.

Em relação a validações dos conjuntos de heurísticas de usabilidade para celulares

touchscreen também não foi encontrada qualquer literatura relevante, por esse motivo, o

foco da pesquisa também foi ampliado para artigos que tivessem como foco a definição

de heurísticas de usabilidade para telefones móveis.

Foram pesquisados na Web artigos publicados na língua inglesa sobre heurísticas de

usabilidade para telefones celulares. As pesquisas foram realizadas nas mais

importantes bibliotecas digitais e bases de dados neste domínio (IEEEXplore, ACM

Digital Library, Science Direct, Wiley e Springer) através do acesso gratuito ao Portal

CAPES. Devido aos avanços tecnológicos apresentados pelos dispositivos estudados

foram considerados artigos publicados entre janeiro de 2006 e julho de 2012 e para

serem selecionados os artigos deveriam ter como foco a definição de heurísticas de

usabilidade para telefones móveis. Foram excluídos artigos que não apresentavam os

aspectos mencionados.

A realização da busca de artigos científicos foi realizada usando os termos de busca

especificados na Tabela 2. Devido ao fato de vários termos possuírem sinônimos foi

realizada uma pesquisa mais ampla, incluindo outros termos além de "smartphone",

como por exemplo, os termos “mobile”, “cell phone” e “handheld device”. No que diz

respeito às heurísticas o termo “usability guidelines” também foi utilizado além do

termo “usability heuristics”. A definição das mesmas é o resultado de várias calibrações

realizadas anteriormente. A pesquisa foi realizada em outubro de 2012. Tabela 2: Strings de buscas nas bases de dados

IEEE

XPLORE

((mobile OR "cell phones" OR smartphones OR "handheld devices" OR "touchscreen devices" OR

"touchscreen mobile devices" OR "touchscreen cell phones" OR "mobile computing") AND ("usability

heuristics" OR “usability guidelines” OR "design principles" OR "patterns interface"))INmetadata) AND

(pyr >= 2006AND pyr <= 2012).

ACM Digital

Library

("mobile" OR "cell phones" OR "smartphones" OR "handheld devices" OR "touchscreen devices" OR

"touchscreen mobile devices" OR "touchscreen cell phones" OR "mobile computing")AND ("usability

heuristics" OR “usability guidelines” OR "design principles" OR "patterns interface") for: (("mobile" OR

"cell phones" OR "smartphones" OR "handheld devices" OR "touchscreen devices" OR "touchscreen

mobile devices" OR "touchscreen cell phones" OR "mobile computing")AND ("usability heuristics" OR

“usability guidelines” OR "design principles" OR "patterns interface")) and (PublishedAs:journal)

ScienceDirect (mobile OR "cell phones" OR smartphones OR "handheld devices" OR "touchscreen devices" OR

"touchscreen mobile devices" OR "touchscreen cell phones" OR "mobile computing") and TITLE-

ABSTR-KEY("usability heuristics" OR “usability guidelines” OR "design principles" OR "patterns

interface")

WILEY

Interscience

mobile OR "cell phones" OR smartphones OR "handheld devices" OR "touchscreen devices" OR

"touchscreen mobile devices" OR "touchscreen cell phones" <or> "mobile computing" in Abstract AND

149

A busca inicial retornou 429 artigos (193 no IEEE Xplore, 152 no ACM Digital Library, 10 no

ScienceDirect, 41 no Wiley e 33 no Springer). Após a realização de uma análise dos artigos

encontrados através da leitura dos titulos, resumos e palavras-chave com o objetivo de verificar se os mesmos

respeitavam os critérios de inclusão, restaram 32 artigos relevantes. Trabalhos irrelevantes ou

duplicados foram removidos. Realizou-se então um exame desses 32 artigos, avaliando

a qualidade da informação apresentada. O resultado final foi a seleção de 15 artigos

considerados realmente relevantes. Posteriormente foi realizada a leitura dos artigos e

extraídos os dados referentes a validações de conjuntos de heurísticas/checklists

desenvolvidos para a avaliação heurística de dispositivos móveis touchscreen phones.

A partir dos artigos resultantes da revisão sistemática de literatura a leitura dos mesmos foi

realizada com o objetivo de analisar informações sobre a validação dos conjuntos de heurísitcas/checklist

propostos nos artigos. O resultado dessa leitura pode ser verificado na Tabela 3. Tabela 3: Dados extraídos sobre validação do conjunto de heurísticas/checklist

3 Não cita avaliações sobre as heurísticas de usabilidade propostos.

"usability heuristics" OR “usability guidelines” OR "design principles" OR "patterns interface" in

Abstract between years 2006 and 2012

SpringerLink (mobile and ("usability heuristics" or “usabilityand guidelines” or "design principles"))' published

between '1 Jan 2006' and '31 Jul 2012' with no filters

(mobile and "patterns interface")' published between '1 Jan 2008' and '31 Jul 2012' with no filters

("cell phones" and ("usability heuristics" or“usability and guidelines” or "design principles"))' published


("cell phones" and "patterns interface")' published between '1 Jan 2008' and '31 Jul 2012' with no filters

(smartphones and ("usability heuristics" or“usability and guidelines” or "design principles"))' published


(smartphones and "patterns interface")' published between '1 Jan 2008' and '31 Jul 2012' with no filters

("handheld devices" and ("usability heuristics" or“usability and guidelines” or "design principles"))'

published between '1 Jan 2006' and '31 Jul 2012' with no filters

("handheld devices" and "patterns interface")' published between '1 Jan 2008' and '31 Jul 2012' with no

filters

("touchscreen devices" and ("usability heuristics"or “usability and guidelines” or "design principles"))'

published between '1 Jan 2006' and '31 Jul 2012' with no filters

("touchscreen devices" and "patterns interface")' published between '1 Jan 2008' and '31 Jul 2012' with

no filters

("touchscreen cell phones" and ("usability heuristics" or “usability and guidelines”))' published between

'1 Jan 2006' and '31 Jul 2012' with no filters

("touchscreen cell phones" and ("design principles" or "patterns interface"))' published between '1 Jan

2006' and '31 Jul 2012' with no filters

Artigo Realiza validação do conjunto de

heurísticas/checklist

(Hashim et al., 2010) --3

(Lo & Tan, 2012) --

(Fetaji & Fetaji, 2011) --

(Zaibon & Shiratuddin 2012) --

(Inostroza et al., 2012) Avaliação heurística comparativa

(Wesselset al., 2011) --

(Rauch, 2011) --

(Ayob et al., 2009) --

(Billi et al., 2010) --

(Gu, Gu & Laffey, 2011) --

150

Apesar da importância da usabilidade no contexto de dispositivos móveis o resultado

escasso da revisão sistemática de literatura demonstra uma falta de investigação nesta

área. Analisando a Tabela 3 fica evidente a falta da realização de uma validação do

conjunto de heurísticas/checklists propostos na literatura encontrada.

Somente dois artigos citam a realização de uma avalição do conjunto de heurísticas

propostos (Inostroza et al., 2012) e (Bertini et al., 2006).

Inostroza et al. (2012) realizaram a comparação de dois conjuntos de heurísticas, por um

estudo comparativo em que realizaram uma avaliação utilizando as heurísticas propostas

para dispositivos touchscreen e a outra realizada com as heurísticas tradicionais de

Nielsen. Dois grupos de avaliadores, compostos por dois avaliadores cada, utilizaram

um dispositivo touchscreen para a realização da avaliação heurística, um deles utilizou

as heurísticas de Nielsen e o outro utilizou as heurísticas propostas para dispositivos

móveis.

O resultado foi a identificação de um número um pouco maior de problemas de

usabilidade utilizando as heurísticas para dispositivos móveis touchscreen. Além de

identificarem mais problemas o grupo ainda classificou os problemas em maiores graus

de severidade. Posterior a essa avalição, os autores, utilizaram a média e a variância dos

valores dos graus de severidade dos problemas encontrados com cada conjunto de

heurística para avaliar a validade do conjunto proposto.

Apesar dessa primeira tentativa de validar o conjunto de heurísticas proposto os autores

destacaram o fato dessa avaliação ainda ser preliminar e a necessidade da realização de

mais experimentos para ser possível uma melhor conclusão.

Bertini et al. (2006) realizaram um estudo empírico com objetivo de comparar o apoio

prestado pelo novo conjunto de heurísticas móveis contra as heurísticas de usabilidade

padrão. O estudo envolveu oito especialistas em usabilidade e teve como resultado uma

avaliação mais precisa em termos de problemas detectados (mais falhas detectadas) com

a utilização das heurísticas para dispositivos móveis.

Observando essa falta em geral de avaliações mais rigorosas dos conjuntos de

heurísticas pospostos para dispositivos móveis o presente trabalho objetiva avaliar um

conjunto de heurísticas de usabilidade para dispositivos de celulares touchscreen

utilizando a Teoria da Resposta ao Item, pois a mesma permite a criação de um

instrumento de medição que possua uma escala padronizada e permita sistematização e

precisão dos resultados e, logo, comparabilidade dos mesmos. Essa técnica já foi

utilizada para avaliar outro conjunto de heurísticas como, por exemplo, na elaboração de

um conjunto de heurísticas referente a usabilidade em sites de e-commerce (TEZZA,

2009). O trabalho citado anteriormente indica a adequação do uso da técnica de TRI

para validar/avaliar checklists que dentro desse contexto podem ser compreendidos

como questionário padronizado, assim é possível citar alguns trabalhos que fizeram uso

(Travis & Tay, 2011) --

(Alsos et al., 2012) --

(Nilsson, 2009) --

(J.Gong & P.Tarasewich, 2004) --

(E. Bertini et al., 2006) Avaliação heurística comparativa

151

da técnica de TRI para validar/avaliar questionários, como, por exemplo, questionários

para medir inteligência ou autismo infantil (SATO, 2009) ou questionários para medição

de fatores críticos da gestão pela qualidade (ALEXANDRE et al. 2001).

4. Avaliação das Heurísticas/checklist de usabilidade para aplicativos

em celulares touchscreen

O objetivo da avaliação é validar os itens do checklist para avaliação de usabilidade de

aplicativos dos dispositivos touchscreen phones.

Com esse objetivo é efetivado um estudo empírico onde é realizada uma série de

avaliações heurísticas utilizando o checklist para avaliação de aplicativos para

dispositivos celulares touchscreen proposto por Salazar et al. (2012).

A avaliação tem como foco aplicativos para dispositivos móveis e a principal

funcionalidade dos mesmos, portanto, as avaliações não levaram em consideração o

aplicativo como um todo e sim a sua principal função.

O estudo de caso é dividido em duas iterações:

Na primeira iteração são selecionados 50 aplicativos a serem avaliados. Os critérios

para a seleção dos aplicativos estão apresentados a seguir:


2. Número de downloads maior que 200 na página que o disponibiliza;

3. Aplicativos com diversificadas avaliações fornecidas pelos usuários que

utilizaram os aplicativos após realizar o download dos mesmos nas páginas que

os disponibilizam.

Para a iteração 2 são selecionados 197 aplicativos. O critério de seleção dos aplicativos

para a segunda iteração foi o seguinte:


2. Aplicativos gratuitos para realização de testes.

A Tabela 4 apresenta os 247 aplicativos selecionados ao total para a realização das

avaliações nas duas iterações.

Tabela 4: Aplicativos selecionados para a avaliação Aplicativos Avaliados

Dicionário da Língua Portuguesa Boa Lista - Lista de Compras 4Shared

Weather Channel Google Tradutor Banco do Brasil

Google Drive Gmail Consulta Visa Vale

Google Goggles IMDb Saraiva eReader

App2SD WhatsApp Consulta CEP

DropBox Traffic Counter Extended YouTube

Angry Birds PersonalFinance Viber

FacebookMessenger Trip Advisor Tavindo

Qual Operadora Cadê Meu Banco Wikipedia

Wallpapers HD iPhone Instagram Churrascometro

Brasileirão CamScanner iPhone Buscapé iPhone

Groupon iPhone Wase Voos Online

Apn Brasil TrackPack AVG Mobilation

CardioTrainer Facebook Feriados 2013 iPhone

Catarinense 2013 iPhone Internacional SporTV iPhone Night Sky Lite iPhone

Sky Sports iPhone GloboEsporte.com iPhone Shazam iPhone

EyeEm iPhone Dictionary.com iPhone Quora iPhone

Converter Photaf Panorama Clean Master

Sonar Simulado Detran Free Rádio Atlântida

152

Spider Solitaire Pessoa física Rádio Pessoal AUPEO!

Guia de aeroportos HD iCall Baby holidays

Radar G1 Eu atleta Shared MP3

Diário Catarinense Globo News Kekanto

Vogue Brasil Mobile Marie Claire Brasil Mobile Crescer Mobile

Expedia Hotels & Flights Dieta e Saúde Radar G1

Simple PAC Shared MP3 Baixar músicas Insta Collage

Bíblia Sagrada NVI Esboço do lápis Letra de música e do YouTube

Ringtone Maker Wales, UK Malaysia Cari

ASTRO File Manager Any.Do IntaWeather Free

Qello TaxiBeat Thrist

Mokriya craigslist ArtFinder Wunderlist

WBCBaseball TouristEye CineMark Brasil

Climatempo Foursquare Ingresso.com

Tela Transparente QRDroid Baixaki

Buscapé Mobile Tic Tac Toe - Pro Hotmail

Pedômetro - Accupedo Dictionary.com Air Horn Free

Photo Grid Globo.com Caça Palavras

Jogo da Forca Qual é a resposta? Medscape

Remember The Milk MusiXmatch Split Pic

Passa Regua Partiu Balada Genéricos Brasi

Vacinas Brasil Lite Pressão Arterial Guia Médico Nacional Unimed

Diabetes Gripe Suína Apgar

Diário de Pressão Sanguinea GAPS - Antibiótico na Urgência TV Show Favs

KCRW SongTag Sky Drive O que é o que é

iBeer FREE Google Play Books Lighter Free

Galinha Pintadinha Change my Voice Maze game

Guess The Movie Flashlight Toddler Animal Sounds

MyBaby: My puzzle for kids Presidentes Pou

Logo Quiz Livraria Cultura eBooks Procedimentos TUSS

Alergias Amamentação Diabetes

Diabetes Diary Lite Myway Diabetes Manager bPresso.com

Medicamentos A a Z Procedimentos SUS CliniCalc

Dengue Adulto e Criança Aleitamento Breastfeed

GlicoCare Universo Médico Meu diário Mensal

Rotinas Terapeuticas Appedatria Psisoríase

Dblcam Guia TV BR Alarme AntiFurto

Engraçado Tones SMS Jogos Mentais Fácil Voz Bloco de Notas

Horóscopo HD Grátis Lembretes de Aniversários Battery Master

WikipediaPlaces Free Baby Names Faces - Photo Fun

CPF/CNPJ Nó em gravata Rastreio Correios

Privalia Mobile Tempo de trabalho Presto! Remote

Simples MP3 Downloader aCalendar WiFi Manager

Astrid Lista de Tarefas Diário feliz PLUS Fake Call & SMS

Telefone celular Voip Wedding Planning Benji Bananas

Sleep as Android Lupa (Magnifier HD) Emoji para Android

Relax and Sleep EarthView Tv Show. Tracker

Tumblr ShareFood SoundCloud

Postos combustivel Brasil Taximetro Pro London Underground Tube

I am Here Night Vision Camera Festas UFSC

GlobeConvert MagicPlan NET

Viddy Compras, moda e liquidações Bouncy Bill Easter Tales

Xadrez Pet Shop Story: Easter Piano Virtual

Brasil Mobile Florianópolis Reuters FloripaVIP

Medida Certa Nike+ running Android Massager

Saúde Vale Metas de Vida Receita Móvel Free

Exercícios em casa Nivea Sun TeleListas

Sabores do Brasil iCaipirinha Evernote Hello

ProEstetica Color Touch Palco MP3

Qranio Twitter Decolar.com Hotéis e Voos

Aprenda a falar outras línguas 1001 Lugares no Brasil Bússola estabilizada

Hotel Hoje minube Mochileiros

Sushi BR EasyMeasure Photo Effects

Dodol Phone Prague Shopping Guide

4.2 Coleta de Dados

As avaliações heurísticas foram realizadas entre outubro de 2012 e abril de 2013. Cinco

153

pesquisadoras do GQS/INCoD/UFSC realizaram as avaliações. As avaliações

envolveram pesquisadores júnior com background na área de computação, na área de

usabilidade e uma pesquisadora formada em design.

A primeira etapa para a realização das avaliações foi o encontro entre todas as

pesquisadoras na sala GQS/INCoD/UFSC para a realização de uma avaliação heurística

em conjunto, essa avaliação teve como principal objetivo a calibração das

pesquisadoras. Nesse primeiro encontro o checklist também foi avaliado e o resultado

foi a percepção de alguns problemas no mesmo.

Após a reformulação dos problemas encontrados no checklist cada pesquisadora

realizou duas avaliações individualmente. Foram selecionados dois aplicativos para a

realização dessas avaliações individuais e posteriormente foi realizado um segundo

encontro onde as avaliações de cada uma das pesquisadoras foram confrontadas com as

demais. O resultado foi o nivelamento entre todas as pesquisadoras no que diz respeito

ao entendimento e interpretação do checklist, bem como, o entendimento de como se

dariam as avaliações.

Foi estabelecido que, para a realização das avaliações, o primeiro passo seria executar o

aplicativo e realizar uma breve análise do mesmo como um todo. Posterior a essa

primeira análise a principal função deveria ser identificada e selecionada para dar

continuidade a avaliação.

Os dados resultantes das avaliações foram armazenados em uma planilha eletrônica do

Excel Web App, aplicativo baseado em navegador que permite editar e exibir arquivos

do Excel no navegador de forma colaborativa. Dessa forma os resultados das avaliações

permaneceram unificados.

Para a realização das avalições heurísticas foram utilizados 7 dispositivos móveis

touchscreen. Os dispositivos são de propriedade das avaliadoras e/ou fornecidos pelo

GQS.

4.3 Análise subjetiva do checklist

A primeira etapa de análise dos dados e validação do checklist foi a realização de uma

análise empírica, o início dessa análise se deu em um encontro entre todas as

pesquisadoras após a primeira iteração de 50 avaliações. Previamente ao encontro criou-

se um documento online onde cada pesquisadora registrou suas impressões a cerca do

checklist após a primeira iteração das avaliações. Nesse mesmo documento foi possível

que as pesquisadoras comentassem os registros das demais, assim, antes da realização

do encontro, todas já tinham conhecimento sobre os pontos que seriam discutidos.

Durante o encontro foram abordados os tópicos registrados e o resultado foi a

reformulação, exclusão e/ou inclusão e agrupamento de alguns itens do checklist. O

resultado dessa avaliação foi a criação da versão 2.0 do checklist.

Posteriormente a geração da nova versão do checklist os aplicativos que haviam sido

avaliados na primeira iteração utilizando a versão 1.0 do checklist foram reavaliados

para que seus dados refletissem a nova configuração do checklist versão 2.0. A

reavaliação dos aplicativos foi realizada em Janeiro de 2013 por quatro pesquisadoras.

4.4 Análise estatística utilizando a Teoria da Resposta ao Item

Nesta seção serão mostrados, analisados e discutidos os resultados gerados pela TRI

referente aos 92 itens elaborados e a amostragem de 247 aplicativos para touchscreen

154

phones. A TRI foi mais uma ferramenta utilizada para auxiliar na validação do checklist.

O objetivo dessa análise foi realizar a avaliação dos dados obtidos através da realização

das avaliações heurísticas para que seja possível inferir quais itens que compõe o

checklist, contribuem mais para medir o traço latente, ou seja, a usabilidade. Usando a

TRI é possível avaliar a qualidade dos itens e classificar os aplicativos em relação ao

grau de usabilidade.

Para realizar essa análise foram utilizados os dados levantados através da amostra

composta por 247 avaliações. O tratamento dos dados foi realizado utilizando o

software BILOG-MG3 (MISLEVY & BOCK, 2003). O software é específico para

auxiliar no procedimento de estimação dos parâmetros e do traço latente.

Para a criação da escala usabilidade dos aplicativos para touchscreen phones é

necessário atribuir valores comparáveis aos itens e aos aplicativos para que possam ser

posicionados na mesma escala. Entretanto, devido a natureza arbitrária dos valores para

posicioná-los na escala, criou-se um valor de referência onde a média é 50 e o desvio

padrão é 10. A escala criada é uma escala (50,10) que não tem significado prático, ou

seja, esta escala poderia ter qualquer valor, onde o valor 50 representa o desempenho

médio de usabilidade dos 247 aplicativos. Para que esses valores arbitrários tenham

significado quando os itens forem posicionados na escala, o conteúdo abordado em cada

item faz com que esses valores tenham uma interpretação para o traço latente medido,

nesse caso, o traço latente é a usabilidade.

Para análise dos dados é realizado um agrupamento de duas categorias. São

consideradas as respostas “0” e “1” como a categoria “não satisfaz” e a resposta “2”

como a categoria “satisfaz” o requisito de usabilidade perguntado no item. A

interpretação dos resultados será a mesma, ou seja, estará sendo criada uma escala para

avaliar a usabilidade dos aplicativos, mas considerando apenas duas categorias.

Para itens com resposta dicotômica foi utilizado o modelo logístico dado por:

)b(aiiij

ijie1

1)b,a,|1X(P

sendo:

Xij a resposta ao item i (Xi = 1 se a resposta satisfaz, Xi = 0 se a resposta não

satisfaz) do aplicativo j;

j o parâmetro do aplicativo, representa a nota de usabilidade do aplicativo j;

ai o parâmetro de discriminação do item i.

bi o parâmetro de posição, também chamado de dificuldade, do item i

O parâmetro ‘b’ determina se um item é ‘difícil’, ou seja, poucos aplicativos atendem

determinada característica. O parâmetro ‘a’ mede quanto o item consegue diferenciar os

aplicativos que estão em um nível superior da escala atender suas características e os

aplicativos que estão em um nível inferior da escala não atender suas características.

Na estimação dos parâmetros dos itens e na nota de qualidade dos aplicativos, supõe-se

que a distribuição das notas dos aplicativos é normal com média 0 (zero) e desvio

padrão 1 (um), escala (0,1), essa suposição é feita nos softwares por questão de

conveniência. Para divulgação dos dados é conveniente ter uma escala que evite

155

números negativos. Assim, optou-se por uma distribuição das notas dos aplicativos com

média 50 e desvio padrão 10, escala (50,10).

4.5 Resultados

Nesta seção são mostrados, analisados e discutidos os resultados da análise estatística

gerados pela TRI referente aos 92 itens que compõem o checklist e a amostragem de

247 aplicativos para celulares touchscreen.

Primeiramente, antes de prosseguir com a análise, é importante ressaltar que um item

pode ser eliminado por falta de informação suficiente para conseguir medir a

característica de usabilidade indagada nele ou este item não está associado a

usabilidade. O importante é que dos itens remanescentes na análise, todos medem o

mesmo traço latente, ou seja, todos os itens estão medindo a usabilidade.

Os critérios estabelecidos para eliminação dos itens são feitos quando os itens têm os

parâmetros na escala (0,1). Os critérios foram:

• parâmetro de discriminação a<0,50;

• parâmetro de dificuldade b não convergiu (parâmetro com valore aquém do intervalo

(-4;4)).

Foram eliminados 44 itens segundo esses critérios, são eles: 3, 5, 8, 9, 10, 15, 16, 19,

21, 22, 23, 24, 28, 29, 37, 38, 39, 40, 43, 46, 49, 51, 52, 53, 55, 56, 63, 64, 65, 66, 67,

68, 69, 70, 72, 73, 74, 75, 77, 78, 84, 85, 88 e 92.

Os itens 6, 18 e 79 tiveram os maiores valores do parâmetro “b”, isto significa que é

muito provável que somente os melhores aplicativos analisados atendam as

especificações descritas nesses itens. Em compensação, os itens 13, 60 e 81 foram os

que tiveram o menor parâmetro “b”, logo, são itens que não discriminam aplicativos

com boa usabilidade dos demais aplicativos. Para estes itens é muito provável que

praticamente todos os aplicativos analisados atendam aos quesitos perguntados neles.

Pode-se afirmar que eles devem estar relacionados com requisitos básicos de

usabilidade de um aplicativo.

A Figura 2 apresenta a distribuição dos valores de usabilidade dos 247 aplicativos e o

posicionamento dos itens na escala.

156

Figura 2: Posicionamento dos itens e distribuição dos valores de usabilidade dos 247 aplicativos

Observa-se, na Figura 2, que a maior parte dos itens está posicionada abaixo do nível 50

(referência como valor médio) e a maior parte dos aplicativos (128) está posicionado

acima do nível 50, evidenciando que a maior parte dos itens apresentados no

questionário são básicos para a usabilidade dos aplicativos. Ou seja, muitos aplicativos

possuem as características de usabilidade perguntadas nos itens.

A Figura 3 fornece informações sobre o checklist para avaliações de usabilidade de

aplicativos para touchscreen phones, apresentando informação total do conjunto de

itens. A partir da figura é possível identificar que a informação do teste é maior na

região abaixo dos 50, o que já era esperado tendo em vista que a maior parte dos itens

ficaram posicionados nessa região. Assim, pode-se concluir que o checklist proposto é

mais indicado para medir aplicativos que apresentam baixa usabilidade, logo, o erro da

nota para estes aplicativos é menor pois existem muitos aplicativos posicionados nessa

área. Em contrapartida para os aplicativos que estão posicionados acima dessa região o

erro padrão da nota é maior, pois existe pouca informação nessa área.

Figura 3: Curva de Informação do Instrumento de avaliação heurística de aplicativos para touchscreen

phones

Compreende-se que os 44 itens foram eliminados por apresentarem baixo poder de

I81 I32 I44 I50 I14

I60 I47 I80 I41 I20

I13 I30 I54 I01 I62

I35 I86 I48 I79

I58 I91 I06

I76 I02 I18

I07 I12

I59 I90

I26 I83

I33 I57

I31 I82

I45 I25

I17 I42

I04 I27

I89 I61

I87 I11

I36 I71

I34

Ite

ns

157

discriminação, ou seja, não possuem capacidade de diferenciar aplicativos com boa

usabilidade dos aplicativos com usabilidade ruim. Essa capacidade é uma importante

característica que reflete a qualidade de um item. Um bom item é aquele que discrimina

os aplicativos com desempenho superior daqueles com desempenho inferior. Entende-se

que o checklist proposto é cumulativo, isso equivale a dizer que os aplicativos que

possuem as melhores avaliações, provavelmente, terão todas as caracteristicas

indagadas nos itens mais fáceis e provavelmente também terão as características

indagadas nos itens mais difíceis.

De forma geral, as questões que foram eliminadas eram atendidas por grande parte dos

aplicativos ou eram atendidas de forma distribuída, tanto por aplicativos classificados

com má quanto com boa usabilidade. Essa situação indica que tais questões não se

mostraram eficientes para diferenciar aplicativos com boa usabilidade. Contudo, seria

necessário um estudo mais detalhado para confirmar se tais questões realmente não se

referem a questões de usabilidade, que poderiam ser úteis no processo de

desenvolvimento de aplicativos, por exemplo.

4.6 Escala de Medida do Grau de Usabilidade

Com o objetivo de realizar uma interpretação qualitativa dos valores obtidos com a

aplicação do checklist, permitindo identificar em que nível de grau de usabilidade os

aplicativos avaliados se encontram, bem como em quais aspectos atendem ou não

questões de usabilidade, é construída uma escala de medida do grau de usabilidade. A

escala de medida é uma escala arbitrária onde o importante são as relações de ordem

existentes entre seus pontos e não necessariamente sua magnitude (ANDRADE et al.

2000). A construção da escala permite identificar quais requisitos correspondem ao

maior ou menor grau de usabilidade.

Na Tabela 4, estão as características referentes aos 4 níveis do grau de usabilidade

A definifição dos níveis da escala foi realizada pelas pesquisadoras do GQS. Os níveis

apresentados na escala são provenientes da região da escala onde há informação

disponível (a partir do nível 20 até o nível 60). Após a definição da escala foi realizada a

interpretação de cada um dos níveis, onde foram analisados o conjunto de itens que os

compõem e que caracterizam cada nível. Tabela 4: Escala de Medida do Grau de Usabilidade

Nível Descrição

Os aplicativos avaliados utilizando o checklist para avaliação de aplicativos para toucscreen phones quase sempre ou

sempre.....

30

Evitam abreviaturas e utilizam o mesmo idioma em textos.

Apresentam os links de forma consistente entre as telas.

Possuem botões e links com a área clicável ocupando toda a dimensão dos mesmos.

Nas tarefas realizadas são os usuários que as iniciam e não o aplicativo.

As funções similares são apresentadas de forma semelhante.

Em campos onde há a necessidade de inserção de dados isso é evidente.

40

Possuem botões com tamanho adequado ao clique e os mesmos podem ser acessados com qualquer uma das mãos.

Utilizam em seus textos e rótulos uma linguagem habitual e conhecida pelo usuário.

Os textos só são utilizados quando são realmente indispensáveis, possuem contraste suficiente em relação ao plano de

fundo e são apresentados de forma padronizada.

Permitem que as funções mais utilizadas sejam facilmente acessadas.

Os controles que realizam a mesma função ficam em posições semelhantes na tela e funções diferentes são

apresentadas de maneira distinta ao usuário.

Possibilitam o retorno a tela anterior a qualquer momento.

Possuem navegação consistente entre as telas e os títulos das telas descrevem adequadamente o seu conteúdo e

158

possuem o mesmo título quando o conteúdo é o mesmo.

As informações exibidas somente estão relacionadas com a tarefa que está sendo executada.

50

Possuem tarefas simples de serem executadas, e informações dispostas em uma ordem lógica e natural, deixando claro

o próximo passo para realizar a tarefa.

O menu é esteticamente simples e claro. A navegação é intuitiva e seguem os padrões de plataforma na disposição dos

dados e mensagens mais importantes..

Possuem feedback imediato e adequado sobre seu status para cada ação do usuário.

Apresentam título e rótulo curtos, o alinhamento favorece a leitura, em como as fontes e o espaçamento entrelinhas.

Utilizam objetos (ícones) ao invés de botões e o signoficado de símbolos e ícones são compreensíveis e intuitivos.

Não apresentam problemas durante a interação.

Realçam conteúdos mais importantes, deixando-os maiores, mais brilhosos, negrito ou mais detalhados.

Controles e botões deixam evidente que são clicáveis, assim como os componentes interativos selecionados se

distinguem dos demais.

60

Exibem pequenas quantidades de informação em cada tela e todas as telas mantêm acessíveis menus e funções comuns

do aplicativo.

Permitem identificar o número de passos necessários para a realização de uma tarefa e também permitem que o usuário

cancele uma ação em progresso.

Seguem os padrões da plataforma para a navegação principal.

Permitem, no caso de aplicativos associados a cadastro de login ou contas de e-mail, o fácil acesso de mais de um

usuário.

Considera-se que o nível 30 possui, na escala proposta, um grau de exigência de

usabilidade baixo, portanto, os itens que o compõem abordam requisitos básicos de

usabilidade. A heurística de usabilidade predominante neste nível é a heurística

‘Consistência e Padrões’, ligada à organização das informações na interface de forma

que o aplicativo ofereça uma navegação consistente entre as telas e permita que o

usuário utilize conhecimentos adquiridos na interação com outros aplicativos.

Na escala proposta, considera-se o grau de usabilidade de nível 40 maior que o nível 30,

sendo assim, os itens que representam o nível 40 possuem maior exigência que os itens

que representam o nível 30. Entende-se que o checklist proposto é cumulativo, o que

significa dizer que aplicativos que apresentam as características abordadas pelo nível 40

provavelmente apresentam também as características abordadas pelos itens do nível 30.

Os itens pertencentes ao nível 40 estão distribuídos entre as 9 heurísticas que compõem

o checklist, porém a heurística mais presente nesse nível novamente é a heurística

‘Consistência e Padrões’ seguida da heurística ‘Legibilidade e layout’.

A heurística ‘Consistência e Padrões’ destaca-se nos dois níveis mais baixos da escala

tendo 8 de seus 9 itens no nível 30 ou no nível 40. Assim, pode-se concluir que essa

heurística consegue avaliar muito bem os aplicativos com baixa usabilidade.

O próximo nível da escala é o nível 50, o que significada dizer que os aplicativos que

apresentam as características abordadas pelo nível 50 provavelmente também

apresentam as características abordadas pelos níveis 30 e 40. O nível 50 pode ser

considerado como sendo um grau de usabilidade médio, portanto, os itens que

compõem essa heurística abordam requisitos de usabilidade não tão fáceis quanto os

níveis inferiores e também não tão difíceis como no nível superior. As heurísticas

predominantes nesse nível são as heurísticas ‘Visibilidade do status do sistema’,

‘Legibilidade e layout’ e ‘Flexibilidade e eficiência de uso’.

Essas três heurísticas que compõem, predominantemente, o nível 50 tem a capacidade

de diferenciar aplicativos com usabilidade média. Pode-se então dizer que

características relacionadas a essas heurísticas agregam maior grau de usabilidade aos

aplicativos em comparação com a heurística ‘Consistência e Padrões’. Conclui-se que

159

aspectos relacionados a consistência e padrões são mais fáceis de serem cumpridos

pelos aplicativos. Após estas características serem cumpridas o que diferencia os

aplicativos para um nível de usabilidade um pouco maior são os aspectos relacionados a

Visibilidade do status do sistema, Legibilidade e layout e Flexibilidade e eficiência de

uso.

O nível mais alto da escala é o nível 60, portanto, aplicativos que apresentam as

características abordadas pelos itens que compõem esse nível possivelmente apresentam

também as características abordadas nos itens dos níveis anteriores. Somente quatro

heurísticas compõem esse nível. Sendo a heurística ‘Controle e liberdade do usuário’ a

heurística dominante, essa refere-se ao controle do usuário sobre sua navegação, como

quando optam por engano por uma funcionalidade que não pretendiam.

No nível 60, as características de controle e liberdade do usuário são o aspecto principal.

Já no nível 30 os principais aspectos estão relacionados a consistências e padrões. Essa

distinção permite concluir que os aspectos abordados no nível 60, quando comparados

aos aspectos abordados no nível 30, exigem um grau maior de usabilidade. Pode-se

afirmar que características relacionadas ao controle e liberdade do usuário agregam

maior grau de usabilidade que características relacionadas a consistências e padrões.

Embora a falta de padrões e consistência torne a interação com o aplicativo mais difícil,

a presença dessas falhas provavelmente não impedirão que os usuários realizem

determinada tarefa ou ação. Por exemplo, possuir botões com tamanho adequado ao

clique (item 76) pode facilitar a interação do usário com o aplicativo, mas dificilmente

impedirá que o usuário conclua suas ações. Já problemas ligados ao controle e liberdade

do usuário podem impedir, ou dificultar expressivamente a realização de determinada

ação. Por exemplo, impedir que o usuário cancele uma ação em progresso (ex.:

download)(item 20), pode impedir que o usuário de continuidade a uma tarefa ou alterne

para outra tarefa que ele deseja realizar.

Vale ressaltar que aplicativos que estão abaixo do nível 30, o menor nível da escala, não

apresentam nem as características básicas de usabilidade.

4.7 Checklist proposto

Como resultado da análise estatística do checklist, uma nova versão do mesmo

foi proposta. A nova versão pode ser observada na Figura 4.

Como escala de resposta aos itens do checklist é adotada uma escala ordinal com

três opções:

Sim (Se o aplicativo estiver de acordo com o item);

Não (se não estiver de acordo com o item) e

Não se aplica (caso o item não possa ser avaliado ou não seja pertinente ao

escopo da aplicação).

É importante destacar que a opção ‘parcial’ não está presente na nova

configuração do checklist. Esta categoria foi agrupada a categoria ‘não’.

160


Avaliador: Data:


Heurísticas Questões N6 S7 NA8


sistema



2. Os componentes interativos selecionados são claramente distintos

dos demais?

3. As mensagens sobre o status do aplicativo possuem uma

linguagem clara e concisa?


aplicativo?




Anotações:

Controle e Liberdade do

Usuário


9. É possível identificar o número de passos necessários para a

realização de uma tarefa?


11. No caso de aplicativos associados a cadastro de login ou contas de

e-mail, permite o fácil acesso de mais de um usuário?



Anotações:



15. Controles e botões se distinguem do restante do layout, deixando

evidente que são clicáveis?

16. Todas as informações textuais do aplicativo utilizam o mesmo

idioma?

17. Funções diferentes são apresentadas de maneira distinta ao

usuário?


19. Controles que realizam a mesma função ficam em posições

semelhantes na tela?



22. As informações textuais são apresentadas de forma padronizada?

(tamanho da fonte, cor)

Anotações:

Reconhecimento em vez de

lembrança


24. Os dados e mensagens mais importantes encontram-se na posição

padrão dos aplicativos para esta plataforma?

161

25. O aplicativo utiliza em seus textos e rótulos, uma linguagem

habitual e conhecida pelo usuário?


27. Em campos onde há a necessidade de inserção de dados isso é

evidente?

Anotações:

Flexibilidade e Eficiência de

Uso

28. O aplicativo funciona corretamente, sem apresentar problemas

durante a ainteração (trava, botões não funcionam no primeiro

clique, etc)?




Anotações:

Estética e Design Minimalista 32. São exibidas apenas informações relacionadas a tarefa que esta

sendo realizada?

33. São usados textos somente quando estes são realmente

indispensáveis?



36. O aplicativo exibe quantidades pequenas de informações em cada

tela?

Anotações:

Pouca interação

homem/dispositivo


Anotações:


39. A navegação principal encontra-se na posição padrão dos

aplicativos para esta plataforma?

40. Os botões e controles podem ser facilmente acessados com

qualquer uma das mãos ou há opção para destro ou canhoto?

41. A área clicável dos botões e links ocupa toda a dimensão dos

mesmos?

Anotações:



44. Os ícones possuem contraste suficiente em relação ao plano de

fundo?


46. As imagens possuem cor e detalhamento favoráveis a leitura em

uma tela pequena?

47. O aplicativo realça conteúdos mais importantes, deixando-os

maiores, mais brilhosos, negrito ou mais detalhados?


Anotações:

162

Figura 4: Checklist v3.0 proposto para avaliação de usabilidade dos dispositivos touchscreen

phones

5 Conclusão

No presente trabalho o objetivo principal foi avaliar a validade de um conjunto de

heurísticas de usabilidade para dispositivos celulares touchscreen. A avaliação teve

como objetivo verificar se o conjunto de heurística/checklist mede o grau de usabilidade

dos aplicativos para touchscreen phones. Essa validação se deu a partir da validação da

qualidade dos itens que compõem o checklist. O checklist foi aplicado a 247 aplicativos

e os resultados obtidos foram analisados utilizando a Teoria da Resposta ao Item. O

checklist inicial era composto por 92 itens, o resultado da análise eliminou 44 itens por

falta de consistência ao conjunto, resultando assim em um checklist com 48 itens. A da

hipótese definida incialmente é verdadeira e foi confirmada a partir dos resultados

alcançados. O conjunto de heurísticas resultante após a análise estatística é válido e

portanto, mede o grau de usabilidade dos aplicativos para dispositivos móveis

touchscreen phones.

A contribuição do presente trabalho está na criação de uma escala padronizada do grau

de usabilidade permitindo assim, a comparabilidade entre aplicativos para dispositivos

touchscreen phones. O presente trabalho também permite inferir a usabilidade de um

aplicativo com um esforço mínimo necessário. Os resultados obtidos podem ser

utilizados para avaliar o grau de usabilidade de aplicativos para dispositivos

touchscreen phones visando a melhora a usabilidade dos mesmos.

Os resultados deste trabalho permitem que outras oportunidades de pesquisa na área de

usabilidade e aplicativos possam ser desenvolvidas. Avaliações que envolvam usuários

não foram utilizadas no presente trabalho, portanto recomenda-se a realização de testes

de usabilidade com o objetivo de avaliar o checklist proposto. Testes de usabilidade

simulam situações de uso e avaliam um produto através da observação sistemática dos

usuários interagindo com o sistema.

Outra importante oportunidade de pesquisa é a ampliação do checklist. Essa ampliação

deve ser realizada explorando conceitos mais particulares das interfaces dos dispositivos

touchscreen phones com o objetivo de permitir medir a usabilidade de aplicativos com

maior grau de usabilidade.

6. Referências ALEXANDRE, J. W. C.; ANDRADE, D.F.; VASCONCELOS, AP.; ARAUJO, A M S. Uma

proposta de analise de um construto para a medição dos fatores críticos da gestão pela

qualidade através da TRI. Gestão & Produção. v.9, n.2, p.129-141, 2001

ALSOS, O. A., DAS, A., & SVANÆS, D. Mobile health IT: The effect of user interface and

form factor on doctor–patient communication. International Journal of Medical Informatics,

81, 12–28. 2012

ANDRADE, D. F.; TAVARES, H. R. e VALLE, R. C. Teoria de Resposta ao Item: conceitos

e aplicações. ABE — Associação Brasileira de Estatística, 4º SINAPE, 2000.

163

ASSIS, P. de. Como funcionam as telas sensíveis ao toque (touch screen), 2009, Disponível

em: <http://www.tecmundo.com.br/projetor/2449-como-funcionam-as-telas-sensiveis-ao-toque-

touch-screen-.htm#ixzz2QfPTm3AT>. Acesso em: 13 mai 2012.

AYOB, N., HUSSIN, A.R.C. & DAHLAN, H.M. Three Layers Design Guideline for Mobile

Application. International Conference on Information Management and Engineering

(ICIME),427-431. Malaysia. 2009.

BARROS, A. J. S. e LEHFELD, N. A. S. Fundamentos de Metodologia: Um Guia

para a Iniciação Científica. 2 Ed. São Paulo: Makron Books, 2000.

BERTINI, E.; Catarci,T.; GABRIELLI ,S.; KIMANI, S. Appropriating Heuristic Evaluation

Methods for Mobile Computing. 2006, Proceedings of the Working Conference on Advanced

Visual interfaces, Venezia, Italy. 2006.

BILLI, M., BURZAGLI, L., CATARCI, T., SANTUCCI, G., BERTINI, E., GABBANINI, F. &

PALCHETTI, E. A unified methodology for the evaluation of accessibility and usability of

mobile applications. Universal Acess in the Information Society, (9), 337–356. 2010.

FETAJI, M. & FETAJI, B. Devising M-learning usability framework. In Proc. of the 33rd

International Conference on Information Technology Interfaces (ITI), 275- 280.

GARTNER. Gartner Says Asia/Pacific Led Worldwide Mobile Phone Sales to Growth in

First Quarter of 2013. Disponível em: < http://www.gartner.com/newsroom/id/2482816>.

Acesso em: 22 mai. 2013.

GONG, J.; TARASEWICH, P. Guidelines for Handheld mobile device interface design.Proc.

of DSI Annual Meeting, Boston/ Massachusetts/ USA, 2004.

GU, X., GU, F. & LAFFEY, J.M. Designing a mobile system for lifelong learning on the

move. 2011. Journal of Computer Assisted Learning, (27), 204–215.

HASHIM, A.S., AHMAD, W.F.W. & ROHIZA, A. A Study of Design Principles and

Requirements for the M-Learning Application Development. International Conference on

User Science Engineering (i-USEr), 226-231. Malaysia. 2010.

INOSTROZA, R., RUSU, C., RONCAGLIOLO, S., JIMENEZ, C. & RUSU, V. Usability

Heuristics for Touchscreen-based Mobile Devices. 9th International Conference on

Information Technology: New Generations (ITNG), 662 - 667. Las Vegas, Nevada. 2012.

LANDIM, W.. A evolução dos celulares. 2011. Disponível em:

<http://www.tecmundo.com.br/infografico/16518-a-evolucao-dos-celulares-infografico-.html>.

Acesso em: 13 mai 2012.

LEE, D.The State of the Touch-Screen Panel Market. Disponível em:

<http://www.walkermobile.com/March_2011_ID_State_of_the_Touch_Screen_Market.pdf>.

Acesso em: 14 mai 2012.

LO, E. & TAN, Q. Design Principles For Facilitating Collaboration In Mobile

Environments. 6th International Conference on Wireless Communications Networking and

Mobile Computing (WiCOM), 1-4. 2010. Disponível em:

<http://ieeexplore.ieee.org/xpl/login.jsp?tp=&arnumber=5600162&url=http%3A%2F%2Fieeex

164

plore.ieee.org%2Fiel5%2F5598557%2F5600089%2F05600162.pdf%3Farnumber%3D5600162

>. Acesso em: 09 set. 2012.

NILSSON, E. G. Design patterns for user interface for mobile applications. Advances in

Engineering Software, (40), 1318–1328. 2009.

PREECE, J.; ROGERS, Y.; SHARP, H. Design de interação: além da interação homem-

computador. Porto Alegre (RS): Bookman, 2005. 548p.

RAUCH, M. Mobile documentation: Usability guidelines, and considerations for providing

documentation on Kindle, tablets, and smartphones. IEEE International Professional

Communication Conference (IPCC). 2011. OH, USA.

SALAZAR, L A.; LACERDA, T. C.; WANGENHEIM, C. G. von; BARBALHO, R. A.

Customizando Heurísticas de Usabilidade para Celulares. Florianópolis. Proc. of Simpósio

Brasileiro de Fatores Humanos em Sistemas Computacionais, Cuiabá/Brazil, 2012.

SALAZAR, L. H. A.; LACERDA, T. C.; NUNES, J. V.; WANGENHEIM, C. G. von.

Systematic Literature Review on Usability Heuristics for Mobile Phones. International

Journal of Mobile Human Computer Interaction, 5(2), 2013.

SATO, F. P. Validação da versão em português de um questionário área avaliação de

autismo infantil. Dissertação (Mestrado em Ciências, área de concentração Psiquiatria) USP,

2008.

TEZZA, R. Proposta de um construto para medir usabilidade em sites de e-commerce

utilizando a Teoria da Resposta ao Item. Florianópolis, SC, 2009. 139 f. Dissertação

(Mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico. Programa de Pós-

Graduação em Engenharia de Produção.

TEZZA, R.; BORNIA, A. C. Teoria da Resposta ao Item: vantagens e oportunidades para a

engenharia de produção. In: XXIX Encontro Nacional de Engenharia de Produção –

ENEGEP, 2009, Salvador – BA. Anais do XXIX ENEGEP e XV ICIEOM. Rio de Janeiro – RJ:

ABEPRO, 2009. v 1.

TRAVIS, T. & TAY, A. Designing low-cost mobile websites for libraries. Bulletin of the

American Society for Information Science and Technology, 38 (1), 24–29. 2011.

WASSERMAN, A. I. Software Engineering Issues for Mobile Application Development.

2010. In Proc. of Workshop on Mobile Software Engineering/MobiCASE, Santa Clara/USA.

WESSELS A., PURVIS, M. & RAHMAN, S. Usability of Web Interfaces on Mobile

Devices. 8th International Conference onInformation Technology: New Generations (ITNG),

1066- 067. 2011. Las Vegas, Nevada, USA.

ZAIBON, S.B. & SHIRATUDDIN, N. Heuristics Evaluation Strategy for Mobile Game-

Based Learning. 6th IEEE International Conference on Wireless, Mobile and Ubiquitous

Technologies in Education (WMUTE), 127-131.2010. Kaohsiung, Taiwan.

universidade federal de santa catarina … · aos meus colegas de curso gabriel e danilo pelo...

Documents