Transcript
Page 1: Avaliação de Usabilidade de IHC Edla Maria Faust Ramos maio, 2004 Departamento de Informática e Estatística Universidade Federal de Santa Catarina

Avaliação de Avaliação de Usabilidade de IHC Usabilidade de IHC

Avaliação de Avaliação de Usabilidade de IHC Usabilidade de IHC

Edla Maria Faust Ramosmaio, 2004

Departamento de Informática e EstatísticaUniversidade Federal de Santa Catarina

Page 2: Avaliação de Usabilidade de IHC Edla Maria Faust Ramos maio, 2004 Departamento de Informática e Estatística Universidade Federal de Santa Catarina

UsabilidadeUsabilidadeUsabilidadeUsabilidade

A capacidade que um sistema interativo oferece a seu usuário, em um determinado contexto de operação, para a realização de tarefas, de maneira eficaz, eficiente e agradável. (ISO 9241)

Page 3: Avaliação de Usabilidade de IHC Edla Maria Faust Ramos maio, 2004 Departamento de Informática e Estatística Universidade Federal de Santa Catarina

Problema de UsabilidadeProblema de Usabilidade

... um aspecto do sistema e/ou da demanda sobre o usuário que torna o sistema desagradável, ineficiente, oneroso ou impossível de permitir a realização dos objetivos do usuário em uma situação típica de uso. (Lavery et al, 1997)

Page 4: Avaliação de Usabilidade de IHC Edla Maria Faust Ramos maio, 2004 Departamento de Informática e Estatística Universidade Federal de Santa Catarina

Descrição de um Problema de UsabilidadeDescrição de um Problema de Usabilidade

Contexto : situação de uso em que o problema pode ser verificado

Efeito sobre o usuário : sobrecarga cognitiva

Efeito sobre a tarefa : trabalho adicional

Causa : aspecto do sistema

Re-design possível : alteração no projeto

Page 5: Avaliação de Usabilidade de IHC Edla Maria Faust Ramos maio, 2004 Departamento de Informática e Estatística Universidade Federal de Santa Catarina

Como identificar um problema prioritário? Natureza do problema: barreira, obstáculo

ou ruído Natureza da tarefa: importante e

frequente ou secundária e esporádica Quais Usuários: geral, novatos,

intermitentes, especialista ou usuários especiais

Page 6: Avaliação de Usabilidade de IHC Edla Maria Faust Ramos maio, 2004 Departamento de Informática e Estatística Universidade Federal de Santa Catarina

Por quê?Por quê?

correções em projetos em desenvolvimento.

revisões em produtos acabados. Definir a aceitação ou não, de

projetos encomendados. Comparar o desempenho de

softwares interativos .....

Page 7: Avaliação de Usabilidade de IHC Edla Maria Faust Ramos maio, 2004 Departamento de Informática e Estatística Universidade Federal de Santa Catarina

Como? constatar, observar e registrar problemas; calcular métricas objetivas para eficácia,

eficiência e produtividade; diagnosticar as falhas do projeto que

provavelmente atrapalhem a interação; prever dificuldades de aprendizado na

operação do sistema; prever os tempos de execução de tarefas; conhecer a opinião do usuário; sugerir as ações de re-projeto.

Page 8: Avaliação de Usabilidade de IHC Edla Maria Faust Ramos maio, 2004 Departamento de Informática e Estatística Universidade Federal de Santa Catarina

Técnicas Prospectivas baseadas na opinião do usuário sobre a

interação com o sistema Técnicas Diagnósticas (ou preditivas)

baseadas no conhecimento / competência do avaliador

Técnicas Definitivas (ou empíricas) baseadas na observação da interação

Técnicas de Avaliação de Usabilidade Técnicas de Avaliação de Usabilidade

Page 9: Avaliação de Usabilidade de IHC Edla Maria Faust Ramos maio, 2004 Departamento de Informática e Estatística Universidade Federal de Santa Catarina

ISONORM baseado nos princípios da norma ISO 9241-10 (Prumper,

1999)

QUIS Questionaire for User Interaction Satisfaction - U.

Maryland (Norman, 1989)http://www.lap.umd.edu/QUIS/index.html

SUSSystema Usability Scale da DEC (Digital Equipment Corp)

Questionários para avaliar a satisfação do usuário

Questionários para avaliar a satisfação do usuário

Técnicas ProspectivasTécnicas Prospectivas

Page 10: Avaliação de Usabilidade de IHC Edla Maria Faust Ramos maio, 2004 Departamento de Informática e Estatística Universidade Federal de Santa Catarina

Técnicas Diagnósticas (ou

preditivas) Técnicas Diagnósticas (ou

preditivas)

Baseadas no confronto, realizado por um inspetor/avaliador, entre padrões explícitos/implícitos de usabilidade e os atributos das interfaces humano computador

Page 11: Avaliação de Usabilidade de IHC Edla Maria Faust Ramos maio, 2004 Departamento de Informática e Estatística Universidade Federal de Santa Catarina

Inspeção de Conformidade (por checklists)

Avaliações Heurísticas Usabilidade em geral Intuitividade (Inspeção Cognitiva) Gestão de erros (Inspeção Preventiva)

Técnicas Diagnósticas (ou

preditivas) Técnicas Diagnósticas (ou

preditivas)

Page 12: Avaliação de Usabilidade de IHC Edla Maria Faust Ramos maio, 2004 Departamento de Informática e Estatística Universidade Federal de Santa Catarina

Definição : Inspeção da conformidade do software à requisitos propostos por padrões de qualidade explícitos e pontuais (checklists) para interfaces humano-computador;

Inspeções de Conformidade (por checklists)

Inspeções de Conformidade (por checklists)

Técnicas Diagnósticas (ou preditivas)Técnicas Diagnósticas (ou preditivas)

Page 13: Avaliação de Usabilidade de IHC Edla Maria Faust Ramos maio, 2004 Departamento de Informática e Estatística Universidade Federal de Santa Catarina

Inspeções de ConformidadeInspeções de Conformidade

Checklists oficiais– Norma ISO 9241

Checklists informais – Evadis II (Oppermman, 1992)– ErgoList (Cybis, 1996)– ISOmetrics (Gediga, 1999)– W3C Assessibility

Page 14: Avaliação de Usabilidade de IHC Edla Maria Faust Ramos maio, 2004 Departamento de Informática e Estatística Universidade Federal de Santa Catarina

Inspeções de ConformidadeCaracterísticas Inspeções de ConformidadeCaracterísticas

Abordagem Dependente da organização das listas de

verificação; Em geral são orientados à qualidades ou à

componentes

Tipo de Diagnóstico Grande quantidade de problemas

intermediários e menores;

Page 15: Avaliação de Usabilidade de IHC Edla Maria Faust Ramos maio, 2004 Departamento de Informática e Estatística Universidade Federal de Santa Catarina

Inspeções de ConformidadeCaracterísticas (cont.)Inspeções de ConformidadeCaracterísticas (cont.)

Sistematização Dependente da qualidade da lista de verificação; Podem permitir avaliações repetitíveis /

reproduzíveis

Custo x Benefício Avaliação barata e sistemática, porém limitada a

problemas intermediários e menores Proporcionam que pessoas sem formação

específica em ergonomia possam realizar uma inspeção de usabilidade;

Page 16: Avaliação de Usabilidade de IHC Edla Maria Faust Ramos maio, 2004 Departamento de Informática e Estatística Universidade Federal de Santa Catarina

Inspeções de Conformidade Estratégia Inspeções de Conformidade Estratégia

Análise contextual (em equipe)Reconhecer o sistema Conhecer o contexto de operação

Ajustes (em equipe)Definir aplicabilidade das questõesDefinir prioridades entre as questões

AplicaçãoAplicação individualReuniões de discussão dos diagnósticos

Relatório (lider de equipe)Descrição de problemasSugestões de melhoriaEstatísticas

Page 17: Avaliação de Usabilidade de IHC Edla Maria Faust Ramos maio, 2004 Departamento de Informática e Estatística Universidade Federal de Santa Catarina

Inspeções de ConformidadeNormas ISO de UsabilidadeInspeções de ConformidadeNormas ISO de Usabilidade

ISO 9126 - Características de qualidade ISO 9241 - Ergonomia de Soft. Escritórios ISO 11581 - Ícones ISO 14915 - Multimídia IU Design ISO 13407 - Projeto Centrado no Usuário ISO 16982 - Métodos de Usabilidade ISO 14598 - Processo de Avaliação

Page 18: Avaliação de Usabilidade de IHC Edla Maria Faust Ramos maio, 2004 Departamento de Informática e Estatística Universidade Federal de Santa Catarina

Avaliação Heurística

Definição Análise de conformidade do sistema face a

padrões de qualidade abrangentes ou heurísticas (grades, princípios ou critérios de avaliação), definidas por especialistas.

Técnicas Diagnósticas (ou

preditivas) Baseadas em Conhecimento

Técnicas Diagnósticas (ou

preditivas) Baseadas em Conhecimento

Page 19: Avaliação de Usabilidade de IHC Edla Maria Faust Ramos maio, 2004 Departamento de Informática e Estatística Universidade Federal de Santa Catarina

Avaliações HeurísticasAvaliações Heurísticas

Grades de Heurísticas de Usabilidade

Heurísticas de Nielsen

– (Nielsen, 1994) Princípios de Diálogo

– (ISO 9241-10) Critérios Ergonômicos

– (Scapin & Bastien, 1993)

Page 20: Avaliação de Usabilidade de IHC Edla Maria Faust Ramos maio, 2004 Departamento de Informática e Estatística Universidade Federal de Santa Catarina

Avaliações HeurísticasCaracterísticasAvaliações HeurísticasCaracterísticas

Abordagem Definida pelo avaliador

tarefas do usuário estrutura da interface níveis de abstração componentes técnicos grades de qualidades ergonômicas

Tipo de Diagnóstico Todos os tipos problemas ergonômicos do

software, inclusive os falsos;

Page 21: Avaliação de Usabilidade de IHC Edla Maria Faust Ramos maio, 2004 Departamento de Informática e Estatística Universidade Federal de Santa Catarina

Avaliações HeurísticasCaracterísticas (cont.)Avaliações HeurísticasCaracterísticas (cont.)

Sistematização Dose de subjetividade elevada - intrínseca ao

avaliador;

Custo x Benefício Avaliação rápida, abrangente, porém subjetiva e

pouco sistemática Demanda uma equipe de avaliadores

Page 22: Avaliação de Usabilidade de IHC Edla Maria Faust Ramos maio, 2004 Departamento de Informática e Estatística Universidade Federal de Santa Catarina

Inspeção Cognitiva

Definição Confronto entre as lógicas de operação do

Projetista e de um Usuário Novato Perspectiva do projetista - o caminho previsto

para as tarefas; Perspectiva do usuário novato - o caminho que

parece o correto a um usuário novato;

Técnicas Diagnósticas (ou

preditivas) Baseadas em Conhecimento

Técnicas Diagnósticas (ou

preditivas) Baseadas em Conhecimento

Page 23: Avaliação de Usabilidade de IHC Edla Maria Faust Ramos maio, 2004 Departamento de Informática e Estatística Universidade Federal de Santa Catarina

Inspeção CognitivaCaracterísticasInspeção CognitivaCaracterísticas

Abordagem Orientada à tarefa

Tipo de Diagnóstico problemas gerais e iniciais (ligados à intuitividade

do sistema);

Page 24: Avaliação de Usabilidade de IHC Edla Maria Faust Ramos maio, 2004 Departamento de Informática e Estatística Universidade Federal de Santa Catarina

Inspeção Cognitiva EstratégiaInspeção Cognitiva Estratégia

Análise contextual (usuário e suas tarefas)

Desenvolvimento do modelo de tarefas a serem avaliadas

Inspeção nas tarefas básicas Percorrer o caminho previsto aplicando, a cada

ação, uma lista de verificação das possibilidades de desvios ocorrerem.

Page 25: Avaliação de Usabilidade de IHC Edla Maria Faust Ramos maio, 2004 Departamento de Informática e Estatística Universidade Federal de Santa Catarina

Inspeção Cognitiva ChecklistInspeção Cognitiva Checklist

O usuário tentará realizar a tarefa certa?

Ele verá o objeto associado a esta tarefa?

Ele reconhecerá o objeto como associado à tarefa?

Ele saberá operar o objeto?

Ele compreenderá o feedback fornecido?

Page 26: Avaliação de Usabilidade de IHC Edla Maria Faust Ramos maio, 2004 Departamento de Informática e Estatística Universidade Federal de Santa Catarina

Inspeção Preventiva de Erros

Definição Aplicação de guidewords (heurísticas) ao modelo

de tarefas previstas para predizer possíveis desvios.

Técnicas Preditivas Baseadas em Conhecimento

Técnicas Preditivas Baseadas em Conhecimento

Page 27: Avaliação de Usabilidade de IHC Edla Maria Faust Ramos maio, 2004 Departamento de Informática e Estatística Universidade Federal de Santa Catarina

Inspeção Preventiva de Erros Características

Inspeção Preventiva de Erros Características

Abordagem Orientada à tarefa

Tipo de Diagnóstico problemas gerais e definitivos

Page 28: Avaliação de Usabilidade de IHC Edla Maria Faust Ramos maio, 2004 Departamento de Informática e Estatística Universidade Federal de Santa Catarina

Inspeção Preventiva de Erros Características (cont.)

Inspeção Preventiva de Erros Características (cont.)

Sistematização Dependente da competência do avaliador neste

tipo de técnica;

Custo x Benefício Avaliação rápida e barata Induz a consideração aos possíveis erros do

usuário;

Page 29: Avaliação de Usabilidade de IHC Edla Maria Faust Ramos maio, 2004 Departamento de Informática e Estatística Universidade Federal de Santa Catarina

Inspeção Preventiva de Erros Estratégia

Inspeção Preventiva de Erros Estratégia

Análise contextual (usuário e suas tarefas) Desenvolvimento do modelo de tarefas a

serem avaliadas (CTT) Inspeção nas tarefas básicas

Percorrer o caminho previsto aplicando, a cada ação, uma lista de verificação das possibilidades de desvios ocorrerem.

Inspeção nas tarefas de alto nível

Page 30: Avaliação de Usabilidade de IHC Edla Maria Faust Ramos maio, 2004 Departamento de Informática e Estatística Universidade Federal de Santa Catarina

Inspeção Preventiva de Erros Heurísticas – GuideWords

Inspeção Preventiva de Erros Heurísticas – GuideWords

Se aplicam às partes das tarefas básicas

Entradas Realização Resultados

Page 31: Avaliação de Usabilidade de IHC Edla Maria Faust Ramos maio, 2004 Departamento de Informática e Estatística Universidade Federal de Santa Catarina

Inspeção Preventiva de Erros Resultados

Inspeção Preventiva de Erros Resultados

Tabelas para cada tarefa Tarefa Guideword de desvio possivel Explicações sobre os desvios (Modelo de Norman,

1988) Causas dos desvios Consequências dos desvios Recomendações de reprojeto

Page 32: Avaliação de Usabilidade de IHC Edla Maria Faust Ramos maio, 2004 Departamento de Informática e Estatística Universidade Federal de Santa Catarina

Inspeção de Desvios Heurísticas – GuideWordsInspeção de Desvios Heurísticas – GuideWords

Nada acontecer? Algo diferente acontecer?

Mais Menos Diferente

Acontecer fora de tempo? Antes Depois

Page 33: Avaliação de Usabilidade de IHC Edla Maria Faust Ramos maio, 2004 Departamento de Informática e Estatística Universidade Federal de Santa Catarina

Ensaios de Interação

Sistemas de monitoramento

Técnicas DefinitivasTécnicas Definitivas

Page 34: Avaliação de Usabilidade de IHC Edla Maria Faust Ramos maio, 2004 Departamento de Informática e Estatística Universidade Federal de Santa Catarina

Ensaios de InteraçãoConceituação Ensaios de InteraçãoConceituação

Simulação de uma situação real de trabalho, em campo ou em laboratório, da qual participam usuários representativos da população alvo do sistema com o objetivo de revelar problemas ligados a utilização real do sistema e obter dados objetivos sobre a produtividade na interação

Page 35: Avaliação de Usabilidade de IHC Edla Maria Faust Ramos maio, 2004 Departamento de Informática e Estatística Universidade Federal de Santa Catarina

Ensaios de InteraçãoCaracterísticasEnsaios de InteraçãoCaracterísticas

Abordagem técnica orientada ao usuário e à tarefa

Tipo de Diagnóstico Revela problemas reais ou efetivos, segundo a

perspectiva do usuário

Page 36: Avaliação de Usabilidade de IHC Edla Maria Faust Ramos maio, 2004 Departamento de Informática e Estatística Universidade Federal de Santa Catarina

Ensaios de InteraçãoCaracterísticas (cont.)Ensaios de InteraçãoCaracterísticas (cont.)

Sistematização dependente da qualidade de scripts e dos cenários nas

simulações;

Custo x Benefício Avaliação custosa, porém reveladora de problemas sérios

ligados à perspectiva do usuário;

Page 37: Avaliação de Usabilidade de IHC Edla Maria Faust Ramos maio, 2004 Departamento de Informática e Estatística Universidade Federal de Santa Catarina

Ensaios de Interação Elementos de Configuração (1/4)

Ensaios de Interação Elementos de Configuração (1/4)

Scripts conjuntos de operações da uma tarefa real que,

durante uma simulação com o sistema serão realizados por uma amostra de usuários-alvo do aplicativo.

Cenários contexto ambientais e organizacionais que

caracterizam a realização das tarefas; ex. urgência, ruídos, interrupções,

Page 38: Avaliação de Usabilidade de IHC Edla Maria Faust Ramos maio, 2004 Departamento de Informática e Estatística Universidade Federal de Santa Catarina

Ensaios de Interação Elementos de Configuração (2/4)

Ensaios de Interação Elementos de Configuração (2/4)

Amostra de Usuários especialistas nas tarefas, novatos, experientes na

operação do sistema e outros;

Local de realização local de trabalho; laboratório;

Page 39: Avaliação de Usabilidade de IHC Edla Maria Faust Ramos maio, 2004 Departamento de Informática e Estatística Universidade Federal de Santa Catarina

Ensaios de Interação Elementos de Configuração (3/4)

Ensaios de Interação Elementos de Configuração (3/4)

Constrangimento esclarecer que quem está sendo testado é o

software. não pressioná-los a participarem dos ensaios; não expô-los a comentários de colegas. Cansaço parar. Garantia de privacidade.

Page 40: Avaliação de Usabilidade de IHC Edla Maria Faust Ramos maio, 2004 Departamento de Informática e Estatística Universidade Federal de Santa Catarina

Ensaios de Interação Elementos de Configuração (4/4)

Ensaios de Interação Elementos de Configuração (4/4)

Situações de impasse não interferir inicialmente;

Não prolongar as situações de impasse; mostrar o caminho ao usuário ou; propor a troca de tarefas;

Encerrar o ensaio no caso de constrangimentos;

Page 41: Avaliação de Usabilidade de IHC Edla Maria Faust Ramos maio, 2004 Departamento de Informática e Estatística Universidade Federal de Santa Catarina

registro da observação Papel e caneta. Registro em vídeo.

Verbalização simultânea. Verbalização consecutiva

Monitoramento da sessão - via screenCam

Técnicas de registro da observação. Transcrição. Esquemas de códigos.

Page 42: Avaliação de Usabilidade de IHC Edla Maria Faust Ramos maio, 2004 Departamento de Informática e Estatística Universidade Federal de Santa Catarina

Ensaios de InteraçãoEstratégiaEnsaios de InteraçãoEstratégia

Análise Contextual Diagnóstico preliminar Definições

Scripts, Cenários e amostra de usuários Realização de Ensaios

Obtenção da amostra de usuários Ajustes nos scripts e cenários Planejamento e Execução

Relatório do ensaio Análise e interpretação dos dados obtidos Redação do relatório do ensaio

Page 43: Avaliação de Usabilidade de IHC Edla Maria Faust Ramos maio, 2004 Departamento de Informática e Estatística Universidade Federal de Santa Catarina

Ensaios de Interação Resultados QuantitativosEnsaios de Interação Resultados Quantitativos

Métricas de produtividade na interação Eficácia = quantidade de tarefas realizadas * 100 /

quantidade de tarefas solicitadas

Eficiência em uma tarefa = tempo produtivo na tarefa*100/tempo total da tarefa

Tempo produtivo na tarefa = tempo total da tarefa - tempo não produtivo na tarefa

Page 44: Avaliação de Usabilidade de IHC Edla Maria Faust Ramos maio, 2004 Departamento de Informática e Estatística Universidade Federal de Santa Catarina

Ensaios de Interação Resultados QualitativosEnsaios de Interação Resultados Qualitativos

Confirmação de diagnóstico preliminar de problemas na interface

Identificação de novos problemas na interface a partir da observacao e análise das situações de incidente/não produtivas

Page 45: Avaliação de Usabilidade de IHC Edla Maria Faust Ramos maio, 2004 Departamento de Informática e Estatística Universidade Federal de Santa Catarina

MONTAGEM DE ENSAIO DE INTERAÇÃO

DEFINIÇÃO DOS CENÁRIOS E DA AMOSTRA

Reconhecimento do usuário

Coleta de informações sobre o usuário e sua tarefa

Definição de tarefas para o usuário

REALIZAÇÃO DOS ENSAIOS

Coleta e análise dos dados

Realização dos ensaios

Diagnóstico e relatório final

Preparação dos ensaios

Ajuste nos scripts e cenários

ANÁLISE PRELIMINAR

Reconhecimento do software

Pré-diagnóstico Ergonômico

Obtenção da amostra de usuários

Page 46: Avaliação de Usabilidade de IHC Edla Maria Faust Ramos maio, 2004 Departamento de Informática e Estatística Universidade Federal de Santa Catarina

Compromisso de uma técnica de avaliação Efetividade –quantidade de problemas sérios)

identificados - heurísticas e os ensaios de interação;

Abrangência –quantidade de problemas reais -checklists e as avaliações heurísticas;

Eficiência - os ensaios de interação; Produtividade – relação eficência/custo; Sistematização – repetitividade e

reproduzibilidade - Checklists. Facilidade de aplicação –checklists; Poder de persuasão - ensaios de interação e as

avaliações heurísticas Poder de desobstrução.

Page 47: Avaliação de Usabilidade de IHC Edla Maria Faust Ramos maio, 2004 Departamento de Informática e Estatística Universidade Federal de Santa Catarina

Projeto de uma avaliação análise : identificação dos requisitos da

avaliação; projeto preliminar : seleção das técnicas

aplicáveis; projeto detalhado : configuração das

técnicas; implementação : realização da avaliação; documentação : elaboração do relatório; validação : confronto entre os resultados

esperados e obtidos com a avaliação.


Top Related