isa11 - walter cybis: monitorando a experiência do usuário

Monitorando a

Experiência do Usuário

Walter de Abreu Cybis, D. Eng

Monitorando a

Experiência do Usuário

Plano do módulo

Conceitos de Base

Abordagens

Testes à distância

Painéis de usuários

Sondagens

Web analítica

P&D

Conclusões

Experiência do usuário

Definição e caracterização

Experiência do usuário é subjetiva !

Contexto

Interacao Usabilidade

Eficiência

Sa

tisfa

çã

o

Eficacia

Usuario Experiência

Satisafacao Valor

estético

Valor

ético

Desempenho

Sistema Design

Produto

Site Web

Atendimento

Suporte



Experiência do usuário é resultado de um processo

longo e dinâmico!

Experiência

esperada

Experiência

além da

interação

Experiência

na interação

Imagem, campanhas,

amigos, leituras

Desempenho, satisfação,

prazer, frustração…

Amigos, leituras

publicidade,

Usuario Valores, motivação, expectativas, humor, conhecimentos, recursos



Definições de UX!

“as percepções e respostas da pessoa que resultam do

uso ou da expectativa de uso de um produto, sistema

ou serviço” ISO 9241:13 –

Ergonomia da interação

Concepção centrada no usuário



Definições de UX!

“a conseqüência do estado interno do usuário (predisposições,

expectativas, necessidades, motivação, humor, etc.) das

características do sistema projetado (por exemplo,

complexidade, objetivo, usabilidade, funcionalidade, etc.) e do

contexto (ou do ambiente) no qual a interação ocorre (por

exemplo, configurações organizacionais-sociais, significado da

atividade, espontaneidade do uso, etc.)”.

Hassenzahl, 2006



Definição de UX adotada!

“a conseqüência do estado interno do usuário (predisposições,

expectativas, necessidades, motivação, humor, etc.) das

características do sistema projetado (por exemplo,

complexidade, objetivo, funcionalidade, etc.), da interação entre

este usuário e o sistema projetado (usabilidade) e do contexto

(ou do ambiente) no qual a interação ocorre (por exemplo,

configurações organizacionais-sociais, significado da atividade,

espontaneidade do uso, etc.)”.

Hassenzahl, 2006, adaptado por Cybis!

Monitoramento de interfaces


Objetivos

Obter e utilizar informações sobre o uso de uma interface

para melhorar a próxima versão do sistema, ajudar a

conceber um novo produto, melhorar o suporte técnico, etc…

Estratégia

Coletar e analisar….

medidas e informações de testes e painéis

as percepções dos usuários sobre a usabilidade, a carga de

trabalho, a carga emocional, os sentimentos e a satisfação dos

usuários

os registros das interações (dados de log)

…



Abordagens examinadas Testes de usabilidade a distância

Com o apoio de ferramentas automatizando as atividades de teste.


Pesquisas sobre a usabilidade e experiência do usuário abrangendo um grande número de usuários

Sondagens

Sobre as percepções dos usuários sobre a usabilidade, a carga de trabalho, a carga emocional e a satisfação geram em relação aos sistemas.

Web analítica

Abordagem visando melhorias constantes baseada no registro e análise sistemática de dados sobre as interações.

técnico e comunidades on line.

Testes de Usabilidade

Definição

Um teste de usabilidade envolve usuários reais ou

representativos da população-alvo interagindo com o sistema

para realizar tarefas específicas em um contexto de

operação real ou simulado.


Caracterização

Objetivos:

➔Constatar problemas,

➔Medir seu impacto

negativo sobre as

interações

➔Identificar suas causas

na interface.

➔Conhecer mais sobre as

estratégias dos usuários


Caracterização

Um teste de usabilidade

diferencia-se de uma

observação da interação,

que tem o objetivo

específico de conhecer

uma situação ou

o contexto do trabalho.

O objetivo de um teste de usabilidade é de testar um software,

ou as áreas problemáticas de sua interface, em uma situação

real ou o mais próximo possível do real.


Testes a distância

Teste no terreno em que os

participantes, facilitadores

e observadores estão

geograficamente dispersos;

Vantagens O participante é menos estressado porque está em seu ambiente natural, em casa ou no escritório

Recrutamento é mais fácil porque não há necessidade do participante deslocar-se;

Teste com moderador

Teste sem moderador


Testes a distância com moderador

O participante interage com um moderador via telefone IP.

Vantagens É possível fazer um pouco de análise à distância;

Desvantagens A logística a implementar é mais

complicada. Pré-testes individuais (1 para cada participante) são necessários;

É necessário uma conexão de qualidade para evitar atraso e cortes;

Mesmo assim, problemas técnicos de última hora e incontroláveis podem aparecer.


Testes a distância com moderador

Ferramentas:

Ferramenta de testes +

ferramenta de

compartilhamento de telas

Ex Morae + GotoMeeting

UserVue foi descontinuado em 2010!


Testes a distância sem moderador

O participante interage com um

sistema automático de

condução.

O contratante define o perfil dos

usuários participantes, as tarefas

que eles deverão realizar e as

questões que os usuários devem

responder.

O serviço aplica as tarefas e as

questões, registra todos os

acontecimentos (imagem e som) e

prepara relatórios com os

resultados.



Vantagens

O usuário fica a vontade para

escolher quando e onde realizar o

teste.

Os testes podem envolver um

número maior de usuários.

Desvantagens

O usuário pode não compreender

a condução e perder-se nas

tarefas do teste.

Os resultados dos testes não são

tão detalhados.



Ferramentas UserZoom

http://www. userzoom.com

loop11 http://www.loop11.com/

Morae - AutoPilot http://www.techsmith.com/morae.html



Definição

São estudos mais abrangentes em número de usuários,

com centenas ou mesmo milhares de usuários.

Estes podem pertencer a grupos de usuários contratados

por um serviço de painéis ou podem ser recrutados em

tempo real quando visitam os sites.

Os participantes de um painel, irão interagir com um

serviço Web ou permitirão a instalação de um plug-in em

sua máquina, que irá capturar os registros de suas

interações.



Painéis de curta duração: orientados à tarefas!

Os usuário são recrutados de uma base de participantes

do serviço de painéis, ou em tempo real, enquanto

visitam o site Web.

Em ambos os casos o recrutamento se dá de forma automática,

seguindo os dados sobre o perfil desejado para os usuários,

definidos previamente.



Painéis de curta

duração! Trata-se de uma estratégia

parecida com a de um teste

de usabiliade a distância

sem moderador,

considerando um grande

número de usuários.

Em um painel o foco é

colocado mais nas respostas

qualitativas, do que nas

medidas de produtividade.



Painéis de curta

duração!

Ferramentas

(testes à distância)

UserTesting.com,

Feedbackarmy,

Fivesecondtest,

Usabilla,

Whatusersdo,

Userlytics

Capteria-Zooma….



Painéis de longa duração: orientados à

experiência!

Duram semanas ou meses.

Os participantes são recrutados a partir de listas de usuários

de um serviço ou produto (não são apenas os usuários de

um determinado perfil).

Uma ferramenta captura os dados comportamentais, como

URL visitadas, as aplicações utilizada, as horas de uso e

outros dados extraídos do ambiente computacional dos

usuários por meio de plug-ins.



Painéis de longa duração:

orientados à experiência!

Dados qualitativos podem

ser obtidos por meio de

ferramentas genéricas de diários

ou mensagens instantâneas.

Estes se referem à:

Dificuldades e problemas encontrados

(auto-reportados)

Opiniões e expressões

Satisfação http://diary.com/


Sondagens

Definição

Estratégia de monitoramento baseada nas percepções subjetivas dos

usuários colhidas logo após o uso de um sistema ou passado algum

tempo da utilização.

Os questionários podem ser genéricos ou especializados (feitos sob

medida para a experiência a ser monitorada)

Questionários genéricos permitem comparar mediadas colhidas de

diferentes sistemas.

Questionários genéricos sobre:

Usabilidade

Sentimentos e a carga emocional

Carga de trabalho


Sondagens

Questionários genéricos

Percepção da usabilidade

System Usability Scale : SUS

Questionário de 10 questões sobre usabilidade do sistema.

Gratuito

Software Usability Measurement Inventory : SUMI

50 questões sobre 5 aspectos da usabilidade :

Eficiência, Ajuda, Controle, Aprendizagem e Empatia

976 €

Percepção da satisfação

Questionnaire for User Interaction Satisfaction : QUIS

120 questões sobre a satisfação em relação à 11 aspectos dos sistemas

US$ 50 a US$ 1000


Sondagens

Percepção da carga emocional

Afeto positivo e negativo : PANAS 10 questões sobre emoções positivas e negativas em relação ao sistema.

Gratuito

Valores hedônicos e pragmáticos : AttrackDiff 21 questões sobre qualidades hedônicas e pragmáticas da relação com o sistema.

Percepção da carga de trabalho

NASA Task Load Index : NASA TLX

Percepção da usabilidade – SUS (System Usability Scale)


Sondagens

1 . Eu acho que eu gostaria de usar este

produto com freqüência.

2 . Eu acho este produto desnecessariamente

complexo.

3 . Eu acho que este produto é fácil

de usar.

4 . Eu acho que eu poderei precisar da suporte

técnico para poder usar este produto.

5 . Eu acho que as várias funções deste

produto estão bem integradas.

6 . Eu acho tem muita inconsistência neste

produto.

7 . Eu imagino que a maioria das pessoas poderia

aprender a usar este produto muito rapidamente.

8 . Achei o produto muito complicado de usar.

9 . Eu me senti muito confiante de usar o produto.

10 . Eu precisaria aprender muitas coisas antes

que eu possa sair usando este sistema .

Completamente

em desacordo.

Completamente

de acordo.


Sondagens


Escala Likert de 1 à 5 para obter a opinião do usuário em

relação à uma declaração sobre a usabilidade do sistema.

Ex. Eu acho que este produto é fácil de usar.

1 = completamente em desacordo

2 = em desacordo

3 = neutro

4 = de acordo

5 = completamente de acordo

Também é possível a construção de escalas com um número par de

opções. Então, o usuário é forçado a tomar uma posição a favor

ou contra a declaração.


Sondagens


Pontuação SUS : entre 0 e100

Cada resposta vale entre 1 e 4

Valor das questões ímpares = posição -1

Valor das questões pares = 5 – posição

Multiplicar o total por 2,5

x

x

x

x

4

4

3

3

1 2 3 4 5

1 . Eu acho que eu gostaria de usar este

produto com freqüência.

2 . Eu acho este produto desnecessariamente

complexo.

3 . Eu acho que este produto é fácil

de usar.

4 . Eu acho que eu poderei precisar da suporte

técnico para poder usar este produto.

Completamente

em desacordo.

Completamente

de acordo.


Sondagens

Percepção da usabilidade – SUMI 50 questões:

5 aspectos ligados à

usabilidade

Eficiência

Ajuda

Controle

Facilidade de

aprender

Empatia

Outros questionários de UCC - Measuring the Usability of Multi-Media

Systems (MUMMS) / Website Analysis and MeasureMent Inventory (WAMMI)

http://sumi.ucc.ie/index.html University College Cork


Sondagens


QUIS: Questionnaire for User Interaction Satisfaction

120 questões sobre 11 aspectos

Telas

Terminologia

Feedback

Aprendizagem

Funções

Manuais

Tutoriais on-line

Multimídia

Reconhecimento de voz

Ambientes virtuais

Acesso à internet

Instalação.

http://www.lap.umd.edu/QUIS/index.html

Human-Computer Interaction Lab (HCIL) at the University of Maryland at College Park

http://lap.umd.edu/quis/


Sondagens


QUIS: Questionnaire for User Interaction Satisfaction

Escala de diferencial semântico

Bipolar

Entre 1 e 7 posições entre dois extremos

Monitoramento de

interfaces

Sondagens NASA TLX -Task Load Index

Percepção da carga de

trabalho

6 fatores compondo a

percepção da carga de

trabalho:

Mental,

Física,

Urgência,

Esforço

Desempenho

Frustração

http:// www.cc.gatech.edu/classes/AY2005/.../manual.pdf

Monitoramento de

interfaces

Sondagens NASA TLX

TLX = Ʃ(Peso x Valor) / SP

➔ aplicar logo após o uso do sistema

Solicitar aos usuários que definam... a importância relativa

o valor de cada fator.

Peso = 0 à 5

Valor = 1 à 18

SP = soma dos pesos

N = número de fatores aplicáveis

http:// www.cc.gatech.edu/classes/AY2005/.../manual.pdf

1 à N

Monitoramento de

interfaces

Sondagens PANAS - Positive and

Negative Affect Schedule

Percepção do afeto

positivo e negativo

Pode ser aplicado.. ➔ logo em seguida

➔ ou algum tempo após a última

utilização do sistema.

Monitoramento de

interfaces

Sondagens

PANAS

Solicitar a percepção dos usuários

(escala Likert entre 1 e 5) em

relação a…

10 emoções ou sentimentos positivos

ativo, alerta, atento, determinado,

entusiasta, excitado, inspirado, interessado,

orgulhoso, forte

10 emoções ou sentimentos negativos

medroso, receoso, nervoso, ansioso,

irritado hostil, culpado, envergonhado,

perturbado, abalado

Monitoramento de

interfaces

Sondagens

AttrackDiff

Percepção dos

sentimentos dos usuários

Solicitar a percepção dos usuários

(escala diferencial semântico entre 1

e 7) em relação à 21 emoções ou

sentimentos, organizados em 3

grupos:

Pragmáticos

Hedônicas – estimulação

Hedônicas – identificação


Sondagens

AttrackDiff

HQI alta indica percepção

de alta capacidade de

comunicar sua

identidade para os outros.

(identificação)

HQS(HQE) alto indica

percepção de novidade,

estimulação e desafio.

PQ alto indica percepção

de alta usabilidade.

Todas as questões são

aplicáveis e todas têm o

mesmo peso!

Uma tradução possível!

Todas as questões são aplicáveis e

todas têm o mesmo peso!

Monitoramento de

interfaces

Sondagens

Ferramentas

SurveyMonkey

KeySurvey

OnlineOpinion

OpinonLab

Permitem a

implementação de

questionários

genéricos e

especializados

Web Analítica


Conjunto de abordagens,

técnicas e ferramentas

visando à melhoria

constante de sites Web

a partir da análise de

medidas e informações

sobre as maneiras como

os usuários navegam nestes sites

Medidas e informações produzidas pela análise de

registros do histórico das transações entre um servidor

web e seus clientes (dados de log).

Servidor Cliente - Usuário

Arquivos de

Log

Web Analítica


Dados de Log

Interações individuais com

um site Web

Arquivos de log em um servidor Web

ou em um servidor de Web analítica

Registros

dados de log

Web Analítica


Ferramentas tradicionais:

Google Analytics

WebTrends

Omniture

TeaLeaf

Web Analítica


Abordagem geral Ciclos iterativos de análises e melhorias

Planificar:

Definir os objetivos da intervenção objetivos do site Web

Definir as medidas e os indicadores de desempenho do site (KPI - Key Performance

Indicators) a produzir.

Definir a melhor maneira de gerar e coletar os dados de log.

Medir:

Empregar os recursos para coletar os dados e para produzir as medidas.

Obter resultados:

Produzir medidas e indicadores de desempenho do site.

Análise:

Acompanhar a evolução das medidas e indicadores no tempo,

Comparar as medidas entre sites/páginas do mesmo tipo (A/B);

Melhorar:

Propor e realizar melhorias nos sites.

Web Analítica

Indicadores de desempenho

Objetivos dos sites Indicador de desempenho

Objetivos dos sites em geral Atrair e manter usuários ativos, produtivos e satisfeitos

Indicadores de desempenho gerais Framewrok HEART (Google)

Happiness – Satisfação dos usuários (por meio de pesquisas);

Engagement – Número de visitantes ativos (que visitam mais de uma vez) por período ;

Adoption - Número de novos visitantes ativos por período

Retention - Número de visitantes ativos que permanecem ativos depois de algumas

semanas/meses.

Task success – Eficácia e eficiência nas tarefas (em testes à distância);

Web Analítica


Sites de Conteúdo

Receber visitas

Indicadores de desempenho HEART +

Profundidade média das visitas = total de páginas

visitadas/total de visitas

Popularidade das páginas = total de visitas únicas por

página

Concentração do tráfego por conteúdo – quantidade de

visitas em uma parte do site;

Web Analítica


Sites de Comércio

Vender produtos e serviços

Indicadores de desempenho HEART +

Taxa de conversão = número de pedidos/número de

visitas

Valor médio dos pedidos = total de vendas / número de

pedidos

Faturamento médio por visita = total de vendas / total de

visitas (desconsiderando as visitas muito curtas)

Web Analítica


Medidas e informações

Usadas na produção dos indicadores de

desempenho

# de visitas

Duração das visitas

# de páginas visitadas

L.O. (lista ordenada) de páginas populares

# de visitas por página

# de visitas únicas por página

% de rejeição por página = % pagina é a ultima acessada

Web Analítica


Medidas e informações Fontes de tráfego

# - % de acessos diretos

L.O. (lista ordenada) de páginas que originam tráfego

L.O. de palavras-chave usadas nas buscas

L.O. de páginas de entrada

L.O. de páginas de saída

Caminhos de navegação (em relação a uma página)

L.O. Páginas anteriores

L.O. páginas seguintes

Web Analítica

Medidas de base

Medidas e informações

Dados demográficos

L.O. (lista ordenada) de origens geográficas dos

visitantes

L.O. de navegadores utilizados

L.O. de sistemas operacionais dos usuários

L.O. de resoluções das telas e cores dos usuários

Web Analítica

Geração e coleta de dados de log

Tags que chamam java scripts Servidor do site Web

Servidor de Web Analítica

Web Analítica

Ferramentas

Google Analytics

Dashboard

Web Analítica

Ferramentas

Google Analytics

Visitantes ou Visitas

Web Analítica

Ferramentas

Google Analytics

Dados

Contextuais

Web Analítica

Ferramentas

Google Analytics

Fontes de

Tráfego

Web Analítica

Ferramentas

Google Analytics

Conteúdos

populares

Web Analítica

Ferramentas

Google Analytics

Navegação

Web Analítica

Ferramentas

Google Analytics

Conversão de

objetivos (do site)

Web Analítica

Ferramentas

Google Analytics

Funil de

conversões

Web Analítica

Ferramentas

Google Analytics

Segmentos

personalizados

Web Analítica

Ferramentas

Google Analytics

Alertas

automáticos

Web Analítica


Abordagem comportamentalista

(behaviorista)

Só leva em consideração algumas ações físicas dos usuários

Não leva em consideração …

Suas ações cognitivas !

Seus sentimentos!

Seus objetivos !

Não se pode conhecer o seu desempenho!

Uma abordagem orientada aos objetivos do site Tráfego

Retorno do investimento.

Web Analítica


Abordagem não intrusiva

A coleta é totalmente transparente!

Os dados de log são criados e

estocados por componentes de

software instalados no ambiente

tecnológico que disponibiliza um

site Web.

Os métodos intrusivos, como os testes de usabilidade e os

estudos em laboratório provocam fortes interferências nos

fenômenos observados.

Pela presença dos observadores

Pelas cenários que são trazido para os testes.

Web Analítica


Uma abordagem em grande escala

Quantidade Variedade

Grandes populações de usuários diversos tipos de usuários!

Grande número de ações coletadas diversos tipos de situações e de

contextos de operação!

Uma abordagem sem limitações temporais

Coleta de dados contínua!

Web Analítica


Uma abordagem quantitativa

Os laudos e diagnósticos resultam da análise de medidas

produzidas por ferramentas que monitoram as interações

entre usuários e sites Web.

Uma abordagem sistemática

Baseada em ferramentas os estudos e análises podem ser

repetidas facilmente

Web Analítica

Tendências da indústria

Captura das ações dos usuários em uma

pagina (movimentos e cliques do mouse,

rolagens, edição)

Relatórios de cliques (heatmaps), rolagens e

percursos dos usuários em geral e

individualmente.

Integração com outras técnicas da

engenharia de usabilidade

(ex. Questionários de satisfação, testes à

distancia…)

Web Analítica

Tendências da indústria

Web analítica orientada à usabilidade e à

experiência do usuário Framewrok HEART (Google)

Happiness – Satisfação dos usuários (por meio de pesquisas);

Engagement – Número de visitantes ativos (que visitam mais de uma vez) por

período ;

Adoption - Número de novos visitantes ativos por período

Retention - Número de visitantes ativos que permanecem ativos depois de algumas

semanas/meses.

Task success – Eficácia e eficiência nas tarefas (em testes à distância);

Reflexão : HAERT é realmente orientado à

usabilidade e à experiência do usuário ?

Web Analítica Web analítica orientada à usabilidade e experiência dos usuários

Objetivo

Tornar os usuários mais eficazes, eficientes e satisfeitos.

Abordagem geral

Baseada em medidas e indicadores permitindo conhecer e melhorar o

desempenho dos usuários.

Orientação usabilidade e UX por meio de ferramentas

tradicionais:

Tornar os sites compatíveis com os usuários principais (por meio dos

recursos de segmentação)

Minimizar situações de perda de tempo e confusão (analisar as

páginas causando as mensagens de erros, páginas causando

consultas aos mapas dos sites)

Eliminar barreiras nas transações (ex. organizar uma promoção e

associá-la a um funil de Web analítica)

Web Analítica Web analítica orientada à usabilidade e experiência dos usuários

Orientação usabilidade e UX por meio de recursos

especializados:

Usemonitor (desenvolvido por Cybis desde 2005) Medir e minimizar a carga de trabalho dos usuários (ações sobre

o mouse, o teclado e sobre o navegador…)

Medir e maximizar a eficiência evidente dos usuários em transações de sucesso evidente

Conhecer a demanda dos usuários deficientes visuais

Minimizar a carga de trabalho e maximizar a eficiência evidente de usuários deficientes visuais.

Web Analítica Orientada à Usabilidade

P&D - Análise do desempenho evidente

Situações de sucesso evidente

Uma mensagem de confirmação é tanto a prova do sucesso do

usuário como reveladora de seu objetivo imediato

Completar as transações!

* Transação Tarefa Experiência



Situações de perda de eficiência evidente

Uma mensagem de erro é reveladora de uma situação que

seguramente NÃO é objetivo do usuário.

Perder tempo inutilmente!



Funcionamento

Motor de analise

da eficiência evidente

Medidas e

indicadores de

eficiência

Logs

Configuração

dos estudos

Mapa da transação de sucesso evidente



Resultados: Medidas do desempenho evidente

Evolução das medidas



Resultados: Fichas descrevendo o desempenho

evidente

Descricao geral das

estratégias dos usuarios

Indicacao de perturbacoes de

usabilidade

Medidas detalhadas por tipo

de desempenho

Distribuicao dos

tipos de

desempenho

Duracoes médias

para cada tipo de

desempenho

# de cocorrencias, duracao

média e efciciencia media

geral

Indicadores de estratégias

(entradad e desvios)



Inteligência : Identificação de boas e más

soluções de interface:

Por meio de analises longitudinais!

Flutuações no desempenho

no tempo para uma

mesma transação!

Por meio de analise transversais

Diferenças nas medidas de desempenho

dos usuários em transações

similares realizadas em contextos similares!



2005: Desenvolvimento e prova de conceito (em colaboração com o INRIA/France);

Publicação no : WebIST 2005 - International Conference on Web Information Systems and Technologies, 2005, Miami.

2006: Primeiro protótipo e estudo de validação (em colaboração com a EPM/Montréal);

Publicação no: 18eme Conférence Francophone sur l'Interaction Humain-Machine. 2006, Montréal,

2007: Protótipo de um serviço web (em parceria coma a Interfacil, Brasil)

www.usemonitor.com

2009: Estudo de caso 1 – Site transacional em

desenvolvimento (Em colaboração com a Interage - Brasil)

Publicação no : , Latin American Conference on Human-Computer Interaction, Mérida, México, 2009

2010: Estudo de caso 2 – Site transacional em produção

(Em colaboração com TRF4 - Brasil) Publicação no : Interaction With Computer (em preparação)



Estudo de caso 1 – Análise longitudinal

Trevio/Interage (Brasil, 2009)

Painel de controle de um sistema de segurança de

comunicações via MSN

Site em desenvolvimento (em asp)

Interface complexa: formulários em uma estrutura de abas em dois

níveis….

Estudo experimental : dados de log gerados manualmente pela

observação das interações de 4 + 4 testes gravadas em vídeo

Intervenção : Web analítica orientanda a usabilidade + testes de

usabilidade + avaliações heurísticas




Resultados

Conclusões As perturbações evidentes são apenas uma parte de todas as de que

ocorrem na realidade, mas são reais;

Os resultados são bastante detalhados para mostrar quando

perturbações evidentes são eliminadas ou ao contrario, introduzidas na

medida em que uma interface evolui (Analises longitudinais)




Resultados

Conclusões A duração real na tarefa é cerca de 30% maior do que a duração

evidente de todas as transações associadas com a tarefa.




Resultados

Conclusões A ocorrência de erros de execução nas transações amplifica as perdas

de tempo nas tarefas, de onde a relevância das heurísticas que propõem

a minimização de erros, de modo a prevenir problemas de planejamento

das ações. (Bastien & Scapin, 1993).



Estudo de caso 2 – Análise Transversal

Eproc v2/TRF4 (Brasil, 2010)

Sistema de processos

jurídicos eletrônicos

Tribunal Federal da 4a Região

Site em produção (em php)

Interface simples: sistema de formulários estruturados por um menu principal

tradicional

Estudo real: os dados de log analisados foram os gerados pelo servidor Web

Apache;

Intervenção: Web analítica orientanda a usabilidade + testes de usabilidade +

avaliações heurísticas




Resultados:

Fichas descrevendo o desempenho evidente dos usuários

nas transações:

20 tipos de transações,

entre as mais importantes

e freqüentes no

trabalho cotidiano dos

usuários.



Estudo de caso 2 –

Análise Transversal

Resultados:

Desempenho

evidente para grupos de

transações de mesmo tipo

Transações de consulta

de processos

menos eficientes – ok !

Transações de movimentação

de processos

mais eficientes - ok!




Resultados:

Desempenho evidente para grupos de transações

Transações de consulta por localizador a mais popular e a

relativamente pouco eficiente!

Transações de consulta por tipo de movimentação e por processo

parados as menos eficientes e as menos populares.

Eficiência Ocorrência



Balanço geral da abordagem

Pontos fortes

Sistemática uma ferramenta que facilita repetições

Objetiva baseada em medidas

Não intrusiva invisível para os usuários

Rápida e econômica demanda menos recursos

Robusta demanda menos recursos

Grande escala grande numero e variedade de usuários e

contextos considerados

ÚTIL para apoiar avaliações (estratégia transversal) e

monitoramento (estratégia horizontal).



Balanço geral da abordagem

Pontos fracos

Limitada a transações busca de informações ? Mas caso a informação seja objeto de uma transação…

Comportamentalista erros de intenção ? Mas caso a perspectiva da análise seja a de tarefas…

Limitada à eficiência eficácia (medida mais importante)? Mas pode-se conhecer a variação da eficácia….



Perspectivas de P&D

Camada de base de serviços de Web analítica

para ferramentas de monitoramento da UX.

Questionários de satisfação

Diários e Painéis de usuários

Testes de usabilidade à distancia

Web analítica orientada a usabilidade


Conclusões

Vantagens evidentes O monitoramento se refere a etapa de produção : a mais

longa e a mais rica em informação do ciclo de vida de um

site Web ou de um sistema interativo.

Os dados e as informações referentes as interações reais

no contexto de operação real dos sistemas permitem

melhorar sua usabilidade e a experiência dos usuários de

modo particularmente efetivo.

O momento é de explosão de abordagens e tecnologias

para o monitoramento da usabilidade e da experiência dos

usuários.


Conclusões

Carências Falta avançar mais na direção de uma Web analítica

orientada à usabilidade e à experiência do usuário. Produzindo medidas sobre a produtividade e a satisfação dos usuários

Falta ainda um esforço de integração entre os resultados produzidos pelas diferentes ferramentas de monitoramento de interfaces. Ex. testes à distância e a Web analítica (orientada à usabilidade).

Falta ainda uma tecnologia de gerenciamento capaz de armazenar e permitir a interpretação dos resultados produzidos por diferentes ferramentas de monitoramento de interfaces.


Obrigado!

Walter de Abreu Cybis, D. Eng

[email protected]