palestra - arquitetura de informação e usabilidade

A contribuição da A contribuição da história oral e dos história oral e dos testes de campotestes de campo na pesquisa de arquitetura de na pesquisa de arquitetura de informaçãoinformação

Luiz AGNERLuiz AGNERLaboratório de Ergonomia e UsabilidadeLaboratório de Ergonomia e UsabilidadePesquisa de doutorado, PUC-RioPesquisa de doutorado, PUC-Rio

ApresentaçãoApresentação

Designer e ilustradorDesigner e ilustrador Tecnologista em informações do IBGETecnologista em informações do IBGE Professor (UniverCidade-Rio)Professor (UniverCidade-Rio) Doutorando em Design (PUC-Rio)Doutorando em Design (PUC-Rio)

ObjetoObjeto

IntroduçãoIntrodução

“O IBGE é o órgão oficial de estatísticas do país, que transforma dados em informação e – principalmente - informação em conhecimento.”

IntroduçãoIntrodução

ProblemaProblema

ProblemaProblema

Comunidade do Orkut - “para todos os Comunidade do Orkut - “para todos os pesquisadores, universitários ou não, que:pesquisadores, universitários ou não, que:– sentem calafrios quando precisam procurar algum dado sentem calafrios quando precisam procurar algum dado

no site;no site;– sabem que o lema do site é "quem procura NUNCA sabem que o lema do site é "quem procura NUNCA

acha!";acha!";– sabem que é mais fácil descobrir qualquer informação sabem que é mais fácil descobrir qualquer informação

lendo borra de café do que acessando o site;lendo borra de café do que acessando o site;– na hipótese de encontrar a planilha desejada, ela na hipótese de encontrar a planilha desejada, ela

provavelmente fará seu computador trancar;provavelmente fará seu computador trancar;– reconhecem o mérito dos pesquisadores do instituto reconhecem o mérito dos pesquisadores do instituto

mas quase nunca acham os dados pesquisados por mas quase nunca acham os dados pesquisados por eles.”eles.”

Pesquisa de AIPesquisa de AI

(ROSENFELD eMORVILLE)


Contexto


Objetivos da organização, políticas, cultura, tecnologia e recursos humanos


Contexto

Conteúdo



Documentos, formatos/tipos, objetos,

metadados, estrutura existente


Contexto

UsuáriosConteúdo



Perfil dos usuários, identificação das audiências, tarefas, necessidades, comportamento de busca de informação, experiência, vocabulário

Documentos, formatos/tipos, objetos,

metadados, estrutura existente

Arquitetura de Arquitetura de informaçãoinformação Definições de AIDefinições de AI

– AI é a atividade que combina a aplicação AI é a atividade que combina a aplicação de esquemas de navegação, de de esquemas de navegação, de organização e de rotulagem dentro de um organização e de rotulagem dentro de um sistema informacional.sistema informacional.

– AI é o Design estrutural de um espaço de AI é o Design estrutural de um espaço de informação com o objetivo de facilitar as informação com o objetivo de facilitar as tarefas e o acesso intuitivo aos conteúdos. tarefas e o acesso intuitivo aos conteúdos.

Arquitetura de Arquitetura de informaçãoinformação

– AI é a arte e a ciência de estruturar e AI é a arte e a ciência de estruturar e classificar classificar websiteswebsites e intranets para e intranets para auxiliar as pessoas a encontrar e a auxiliar as pessoas a encontrar e a gerenciar informação. gerenciar informação.

– AI é uma disciplina emergente e uma AI é uma disciplina emergente e uma comunidade de prática profissional.comunidade de prática profissional. (Morville)(Morville)

Arquitetura de Arquitetura de informaçãoinformação Papéis do arquiteto:Papéis do arquiteto:

– Clarificar a missão e a visão do Clarificar a missão e a visão do sitesite fazendo fazendo o balanceamento entre necessidades da o balanceamento entre necessidades da organização e as necessidades de seus organização e as necessidades de seus usuários.usuários.

– Determinar qual o conteúdo e a Determinar qual o conteúdo e a funcionalidade que o funcionalidade que o sitesite conterá. conterá.

– Especificar como usuários encontrarão Especificar como usuários encontrarão informação no informação no sitesite, por meio da definição da , por meio da definição da sua organização, navegação, rotulagem e sua organização, navegação, rotulagem e sistemas de busca.sistemas de busca.

Arquitetura de Arquitetura de informaçãoinformação Componentes da AI:Componentes da AI:

– Sistemas de OrganizaçãoSistemas de Organização – como é apresentada a – como é apresentada a organização e a categorização do conteúdo.organização e a categorização do conteúdo.

– Sistemas de RotulaçãoSistemas de Rotulação – signos verbais – signos verbais (terminologia) e visuais (icônicos).(terminologia) e visuais (icônicos).

– Sistemas de NavegaçãoSistemas de Navegação – formas de o usuário se – formas de o usuário se mover através do espaço.mover através do espaço.

– Sistemas de BuscaSistemas de Busca – define as perguntas que o – define as perguntas que o usuário pode fazer e o conjunto de respostas do usuário pode fazer e o conjunto de respostas do banco de dados.banco de dados.

Ciência da informaçãoCiência da informação

O métodoO método

Concepções filosóficas e epistemológicas diferentes sustentam paradigmas metodológicos diferentes (GRESLER, 2003).

Existem duas grandes abordagens: a quantitativa e a qualitativa.

O métodoO método

Abordagem quantitativa - caracteriza-se pela formulação de hipóteses, definições operacionais de variáveis, quantificação na coleta de dados e utilização de tratamentos estatísticos.

O modelo quantitativo estabelece hipóteses que exigem uma relação entre causa e efeito e apóia conclusões em dados estatísticos, comprovações e testes.

Os critérios são a verificação, a demonstração, os testes e a lógica matemática.

O métodoO método

Abordagem qualitativa - não emprega instrumentos estatísticos como base para a análise.

É utilizada quando se busca descrever a complexidade de determinado problema - não envolvendo manipulação de variáveis ou estudos experimentais.

Ela contrapõe-se à abordagem quantitativa, uma vez que busca levar em consideração todos os componentes de uma situação e suas interações e influências recíprocas, numa visão holística.

O métodoO método

História oral Testes de usabilidade no campo

História oralHistória oral

A história oral - como método de pesquisa - A história oral - como método de pesquisa - se revela importante instrumento para se revela importante instrumento para compreensão das construções das compreensão das construções das estratégias de ação e das representações, de estratégias de ação e das representações, de grupos ou de indivíduos, em uma dada grupos ou de indivíduos, em uma dada sociedade.sociedade.

FERREIRA, Marieta (coord.) FERREIRA, Marieta (coord.) “Entrevistas: abordagens e usos da história oral”. “Entrevistas: abordagens e usos da história oral”. Ed.FGV, 1994.Ed.FGV, 1994.


É utilizada no registro da história de grandes É utilizada no registro da história de grandes empresas e de organizações empresas e de organizações governamentais. O registro oral mostra-se a governamentais. O registro oral mostra-se a única possibilidade de recuperar um passado única possibilidade de recuperar um passado que - apesar de recente - deixou poucos que - apesar de recente - deixou poucos traços. traços.

DIAS, José L. Mattos.DIAS, José L. Mattos.“Entrevistas: abordagens e usos da história oral”. “Entrevistas: abordagens e usos da história oral”. Ed.FGV, 1994.Ed.FGV, 1994.


Permite abordar o mundo fechado da Permite abordar o mundo fechado da burocracia “burocracia “de dentro”, rachando a fachada de dentro”, rachando a fachada de neutralidade e de racionalidade, que de neutralidade e de racionalidade, que busca isolá-lo do público “externo”. busca isolá-lo do público “externo”.

Motta, Marly Silva.Motta, Marly Silva.“Entrevistas: abordagens e usos da história oral”. “Entrevistas: abordagens e usos da história oral”. Ed.FGV, 1994.Ed.FGV, 1994.


Privilegia a recuperação do vivido conforme Privilegia a recuperação do vivido conforme concebido por quem o viveu. concebido por quem o viveu.

É um diálogo entre entrevistado e É um diálogo entre entrevistado e entrevistadores, uma construção e uma entrevistadores, uma construção e uma interpretação do passado, atualizada através interpretação do passado, atualizada através da linguagem falada. da linguagem falada.

Não é fator negativo o fato de o depoente Não é fator negativo o fato de o depoente poder “distorcer” a realidade, ter “falhas” de poder “distorcer” a realidade, ter “falhas” de memória ou “errar” em seu relato.memória ou “errar” em seu relato.(ALBERTI).(ALBERTI).


A escolha de entrevistados não é orientada por A escolha de entrevistados não é orientada por critérios quantitativos (amostragens), mas pela critérios quantitativos (amostragens), mas pela posição do entrevistado no grupo ou por sua posição do entrevistado no grupo ou por sua experiência. experiência.

Entrevistados estão entre os que participaram, Entrevistados estão entre os que participaram, viveram, presenciaram ou se inteiraram de viveram, presenciaram ou se inteiraram de ocorrências e que possam fornecer depoimentos ocorrências e que possam fornecer depoimentos significativos. significativos.

O processo de seleção de entrevistados se O processo de seleção de entrevistados se aproxima da antropologia, tomados não como aproxima da antropologia, tomados não como unidades estatísticas mas como unidades unidades estatísticas mas como unidades qualitativas. qualitativas.


16 entrevistas (2004 – 2007).16 entrevistas (2004 – 2007). – TécnicosTécnicos– ConteudistasConteudistas– DesignersDesigners– GerentesGerentes– Profissionais de atendimento ao usuárioProfissionais de atendimento ao usuário


“(...) A busca no portal é [realizada pela] pessoa que está fazendo uma pesquisa, que vai ali ter uma resposta no [site] Cidades@. Ou uma criança que vai lá no site Teen e consegue fazer o levantamento dele. Agora, na Loja Virtual, você já tem um perfil de empresas, de consultorias, de pesquisadores (...)”

Alcides Braga – Administrador da Loja Virtual


““(...) O que a Internet permitiu (...) é (...) O que a Internet permitiu (...) é justamente colocar, democraticamente, este justamente colocar, democraticamente, este maior banco de dados sobre o Brasil à maior banco de dados sobre o Brasil à disposição de todo o público. (...) Então, disposição de todo o público. (...) Então, acho, é mais um papel de cumprimento da acho, é mais um papel de cumprimento da missão do IBGE - em levar a informação à missão do IBGE - em levar a informação à sociedade.”sociedade.”

Francisco Alchorne - Jornalista

ConteúdoConteúdo

Testes de usabilidadeTestes de usabilidade

O O feedbackfeedback vivo de usuários operando vivo de usuários operando tarefas reaistarefas reais

Processo empírico de aprender a partir Processo empírico de aprender a partir dos usuários, sobre a usabilidade de dos usuários, sobre a usabilidade de um produto, observando-os durante a um produto, observando-os durante a sua utilização.sua utilização.

(RUBIN, 1994; DUMAS & REDISH, 1994; BARNUM, (RUBIN, 1994; DUMAS & REDISH, 1994; BARNUM, 2002).2002).


Registrados em vídeo Registrados em vídeo ou em áudio, usuários ou em áudio, usuários interagem com o interagem com o sistema, em sistema, em condições condições controladas, para controladas, para checar o sucesso das checar o sucesso das interfaces, interfaces, observando dados observando dados comportamentais. comportamentais.


NIELSEN propôs testes com melhor relação custo-benefício, NIELSEN propôs testes com melhor relação custo-benefício, utilizando entre quatro e cinco usuários utilizando entre quatro e cinco usuários

dispensa das dispensa das gravações em laboratórios, para se encaixar gravações em laboratórios, para se encaixar dentro dos orçamentos das empresas.dentro dos orçamentos das empresas.


Participantes:Participantes:– Os objetivos específicos de cada teste Os objetivos específicos de cada teste

definem os participantes e as tarefas definem os participantes e as tarefas executadas. executadas.

– Os participantes devem representar Os participantes devem representar usuários reais: membros do grupo que usuários reais: membros do grupo que utiliza ou que vai utilizar o produto. utiliza ou que vai utilizar o produto.

– Os participantes devem executar tarefas Os participantes devem executar tarefas reais.reais.

Testes de campoTestes de campo

Laboratório portátil:Laboratório portátil:– NotebookNotebook– Internet Explorer 6.Internet Explorer 6.– Webcam.Webcam.– Mouse.Mouse.– HeadphoneHeadphone com microfone com microfone– SoftwareSoftware de captura de telas de captura de telas – Câmera digitalCâmera digital – Gravador analógicoGravador analógico– Acesso wireless à Internet Acesso wireless à Internet – Questionários e documentaçãoQuestionários e documentação


Vantagens:Vantagens: – ir ao usuário em vez de convidá-lo a vir ir ao usuário em vez de convidá-lo a vir

até ele; até ele; – observar o ambiente real onde o usuário observar o ambiente real onde o usuário

trabalha ou vive; trabalha ou vive; – observar o usuário com todas as observar o usuário com todas as

interrupções e distrações do ambiente; interrupções e distrações do ambiente; – verificar os artefatos criados pelos verificar os artefatos criados pelos

usuários para as tarefas; usuários para as tarefas; – pode acessar documentações específicas. pode acessar documentações específicas.


Locais – Campi universitários do Rio, residências e locais de trabalho dos pesquisadores.

Variáveis controladas – Acesso wireless, hardware, software, público-alvo, tarefas.Variáveis intervenientes – Inúmeras, típicas dos testes de campo.

Tarefa 1Tarefa 1

““A partir da home page do portal IBGE, A partir da home page do portal IBGE, identifique em que estado do Brasil identifique em que estado do Brasil reside a maior concentração de reside a maior concentração de pessoas idosas (com mais de 60 pessoas idosas (com mais de 60 anos)”. anos)”.

Tarefa 2Tarefa 2

““A partir da home page do portal IBGE, A partir da home page do portal IBGE, descubra em que bairro da cidade de descubra em que bairro da cidade de Recife reside a maior concentração de Recife reside a maior concentração de cidadãos da terceira idade”.cidadãos da terceira idade”.


Exemplo deExemplo deregistroregistro

ProtocolosProtocolosde verba-de verba-lizaçãolização

- concorrente- concorrente- retrospectivo- retrospectivo

Análise dos dadosAnálise dos dados

Após o registro e a categorização das Após o registro e a categorização das descobertas, procurou-se determinar a descobertas, procurou-se determinar a causa dos problemas de usabilidade, causa dos problemas de usabilidade, avaliou-se seu impacto individual e avaliou-se seu impacto individual e recomendaram-se soluções. recomendaram-se soluções.

O resultado do processo levou ao O resultado do processo levou ao estabelecimento de um conjunto de estabelecimento de um conjunto de critérios heurísticos específicoscritérios heurísticos específicos para a para a avaliação do portal IBGE. avaliação do portal IBGE.

Análise dos dadosAnálise dos dados

Estes critérios heurísticos foram Estes critérios heurísticos foram consubstanciados em uma lista de consubstanciados em uma lista de verificação (verificação (checklistchecklist).).

ChecklistChecklist foi submetida a validação foi submetida a validação junto à uma equipe com grande junto à uma equipe com grande experiência no desenvolvimento do experiência no desenvolvimento do portal IBGE.portal IBGE.

ParticipantesParticipantes

Nível de instrução

71%

29%

Mestrado

Doutorado


Mestrado

0

12

3

45

6

adm

inis

traç

ão

ciên

cia

dain

form

ação

ciên

cias

soci

ais

com

unic

ação

desi

gn

econ

omia

/fin

ança

s

enge

nhar

ia

geog

rafia

rela

ções

inte

rnac

iona

is


Doutorado

0

1

2

3

ciência dainformação

ciênciassociais

comunicação design geografia


Instituição acadêmica

PUC-Rio34%

PUC-SP4%

UERJ8%

UFF/ IBICT33%

UFRJ17%

USP4%


Experiência com computadores

0

2

4

6

8

10

12

nenh

uma

alguma

mod

erada

mod

erada

mente a

lta alta


Horas diárias na web

0

2

4

6

8

10

12

1-3h 3-8h mais de 8h


Conhecimento ou utilização de estatística

não50%

sim50%

ResultadosResultados

Resultados - tarefa 1

sucesso13%

insucesso87%

sucesso

insucesso


Resultados - tarefa 2

sucesso0%

insucesso100%

sucesso

insucesso


Causas de insucesso - tarefa 1

expiração do tempo48%

desistência5%

dado errado47%


Causas de insucesso - tarefa 2

expiração do tempo83%

desistência17%


Encontrar informações estatísticas é

0

1

3

13

7

0 2 4 6 8 10 12 14

muito fácil

fácil

nem fácil nem difícil

difícil

muito difícil


O que menos gostou

6

5

5

5

4

3

3

3

0 1 2 3 4 5 6

busca

falta de clareza

dificuldade

classificação de informações

outros

comunicação visual

excesso de informações/links

descrições dos arquivos

Avaliação da técnicaAvaliação da técnica

Participante 10 – Achou “ótimo”. Considerou o procedimento de “pensar alto” para gravação válido pois às vezes “fazemos coisas sem perceber”.

Participante 20 – Considerou o método utilizado “perfeitamente válido” e um “modelo aplicável” em outras pesquisas.

Participante 22 – Avaliou como “bastante completo”. Considera que há diferenças no ato de navegar, quando as ações estão sendo gravadas e que, fora do ambiente de teste, sua navegação seria “mais ágil”.

Participante 26 – Relatou inibição pelo fato de ser observada. Sentiu-se “pressionada” e isto “interferiu de forma negativa na sua performance”.

Conclusões parciaisConclusões parciais

Os problemas relacionam-se Os problemas relacionam-se largamente à ineficiência dos largamente à ineficiência dos mecanismos de busca, à taxonomia mecanismos de busca, à taxonomia aparentemente ilógica ou incompleta, aparentemente ilógica ou incompleta, à falta de clareza dos rótulos e links, e à falta de clareza dos rótulos e links, e aos problemas de redação – todos aos problemas de redação – todos problemas típicos de arquitetura de problemas típicos de arquitetura de informação.informação.

Obrigado.Obrigado.

Luiz AgnerLuiz Agner

[email protected]@gmail.comwww.agner.com.brwww.agner.com.br

Divulgação de livroDivulgação de livro

ERGODESIGN EARQUITETURA DE INFORMAÇÃO:Trabalhando Com o UsuárioEd. Quartet, 2006

Luiz Agner

Saraiva, Submarino e 2AB