composição de métodos de avaliação de ihc para ambientes...

Composição de Métodos de Avaliação de IHC para Ambientes Virtuais Híbridos:

Um Estudo de Caso com a HybridDesk

Composição de Métodos de Avaliação de IHC para Ambientes Virtuais Híbridos:

Um Estudo de Caso com a HybridDesk

Marcus Franco Costa de AlencarMarcus Franco Costa de Alencar

INF 1403 – 18 Abril 2012INF 1403 – 18 Abril 2012

SumárioSumário

� Introdução

� Ambiente de Avaliação - HybridDesk

� Metodologia de Avaliação

� Resultados da Avaliação

� Conclusão e Trabalhos Futuros

� Introdução

� Ambiente de Avaliação - HybridDesk

� Metodologia de Avaliação

� Resultados da Avaliação

� Conclusão e Trabalhos Futuros

IntroduçãoIntrodução

� HybridDesk: Mesa de trabalho com 3 Ambientes Virtuais Híbridos para suportar anotações num mundo virtual 3D

� Motivação: Avaliação Qualitativa de IHC para identificar principais Questões de IHC

� Metodologia: Sequência de Métodos de Avaliação de Usabilidade [Gabbard 1999] combinados com o Método de Avaliação de Comunicabilidade (MAC) [de Souza 2005]

� Resultados da Avaliação: Identificação de Questões de IHC, Questões Únicas de cada Método, Questões com os Dispositivos de Entrada, Interação com Múltiplos Designers

� HybridDesk: Mesa de trabalho com 3 Ambientes Virtuais Híbridos para suportar anotações num mundo virtual 3D

� Motivação: Avaliação Qualitativa de IHC para identificar principais Questões de IHC

� Metodologia: Sequência de Métodos de Avaliação de Usabilidade [Gabbard 1999] combinados com o Método de Avaliação de Comunicabilidade (MAC) [de Souza 2005]

� Resultados da Avaliação: Identificação de Questões de IHC, Questões Únicas de cada Método, Questões com os Dispositivos de Entrada, Interação com Múltiplos Designers

Ambiente de Avaliação – HybridDeskAmbiente de Avaliação – HybridDesk

� VR-Nav - Navegação e Seleção� VR-Nav - Navegação e Seleção

� WIMP - Anotação� WIMP - Anotação

� VR-Manip - Manipulação� VR-Manip - Manipulação

Ilustração de Felipe Carvalho (2009)Ilustração de Felipe Carvalho (2009)


� VR-Nav - Navegação e Seleção• Mini-CAVE

• Wand Rastreada

• Óculos Estéreo Rastreado

� VR-Nav - Navegação e Seleção• Mini-CAVE

• Wand Rastreada


� WIMP - Anotação• LCD

• Teclado

• Mouse

� WIMP - Anotação• LCD

• Teclado

• Mouse

� VR-Manip - Manipulação• LCD

• Wand Rastreada


� VR-Manip - Manipulação• LCD

• Wand Rastreada


Fotos de Felipe Carvalho (2009)Fotos de Felipe Carvalho (2009)

Transições dos Dispositivos de Interação [Carvalho 2009]Transições dos Dispositivos de Interação [Carvalho 2009]



Foto de Felipe Carvalho (2009)Foto de Felipe Carvalho (2009)

Metodologia de Avaliação -Trabalhos RelacionadosMetodologia de Avaliação -Trabalhos Relacionados

� Método de Avaliação de Comunicabilidade (MAC)• Avaliação CommEST [Salgado 2007]

• Engenharia Semiótica [de Souza 2005]

• Avaliação SpiderPad e Arachnophilia [Prates et. al. 2000]

• Avaliação Audacity [de Souza & Leitão 2009]

� Métodos de Avaliação de Usabilidade• User-centered Evaluation of Battlefield VE [Gabbard et. al. 1999]

• Heurísticas de Usabilidade em AVs [Gabbard 1997]

• Protocol Analysis (Think-Aloud) [Ericsson & Simon 1993]

• Avaliação de AVs no Second Life [Gentil 2008, www.igroup.org ]

• Usability Engineering [Nielsen 1993]

• Interaction Design [Sharp et. al. 2007]

• 3D User Interfaces [Bowman et. al. 2005]

• Measuring the User Experience [Tullis & Albert 2008]

• VE Evaluation Methods [Bowman et. al. 2002]

• Avaliação HybridDesk [Carvalho 2009]

� Método de Avaliação de Comunicabilidade (MAC)• Avaliação CommEST [Salgado 2007]

• Engenharia Semiótica [de Souza 2005]

• Avaliação SpiderPad e Arachnophilia [Prates et. al. 2000]

• Avaliação Audacity [de Souza & Leitão 2009]

� Métodos de Avaliação de Usabilidade• User-centered Evaluation of Battlefield VE [Gabbard et. al. 1999]

• Heurísticas de Usabilidade em AVs [Gabbard 1997]

• Protocol Analysis (Think-Aloud) [Ericsson & Simon 1993]

• Avaliação de AVs no Second Life [Gentil 2008, www.igroup.org ]

• Usability Engineering [Nielsen 1993]

• Interaction Design [Sharp et. al. 2007]

• 3D User Interfaces [Bowman et. al. 2005]

• Measuring the User Experience [Tullis & Albert 2008]

• VE Evaluation Methods [Bowman et. al. 2002]

• Avaliação HybridDesk [Carvalho 2009]

Metodologia de Avaliação - EtapasMetodologia de Avaliação - Etapas

Etiquetagem da Interação

Interpretação dos Dados Tabulação e

Interpretação dos Dados

Elaboração do Perfil Sem iótico

Observação de Uso

Com unicabilidade Usabilidade

Preparação da Avaliação

Com paração dos Resultados

Avaliação Heurística

Metodologia de Avaliação – PreparaçãoMetodologia de Avaliação – Preparação

Inspeção Semiótica Informal

Identificação das Tarefas

Definição dos Avaliadores

Material de Observação

Questões Éticas

Configuração doAmbiente de Avaliação

Cenários de Uso

Comunicabilidade Usabilidade

Perfil dos Participantes

Teste Piloto






Observação de Uso





Avaliação HeurísticaAvaliação Heurística

� Visibilidade do Estado do Sistema

� Correspondência entre Sistema e Mundo Real

� Controle e Liberdade para o Usuário

� Consistência e Padronização

� Prevenção de Erros

� Ajuda para Reconhecer, Diagnosticar e Remediar Erros

� Reconhecimento ao Invés e Memorização

� Flexibilidade e Eficiência no Uso

� Design Estético e Minimalista

� Ajuda e Documentação

� Visibilidade do Estado do Sistema

� Correspondência entre Sistema e Mundo Real

� Controle e Liberdade para o Usuário

� Consistência e Padronização

� Prevenção de Erros

� Ajuda para Reconhecer, Diagnosticar e Remediar Erros

� Reconhecimento ao Invés e Memorização

� Flexibilidade e Eficiência no Uso

� Design Estético e Minimalista

� Ajuda e Documentação

As 10 Heurísticas de Usabilidade de Nielsen (Alto Nível)

Heurísticas (Sugestões) de Gabbard:Heurísticas (Sugestões) de Gabbard:

� Mais de 180 sugestões de Heurísticas de Usabilidade para Ambientes Virtuais

� Taxonomia organizada em 4 Grupos e 18 Sub-grupos

• VE Users and User Tasks (5 sub-grupos)

• VE User Interface Input Mechanisms (5 sub-grupos)

• The Virtual World (4 sub-grupos)

• VE User Interface Presentation Components (4 sub-grupos)

� Mais de 180 sugestões de Heurísticas de Usabilidade para Ambientes Virtuais

� Taxonomia organizada em 4 Grupos e 18 Sub-grupos

• VE Users and User Tasks (5 sub-grupos)

• VE User Interface Input Mechanisms (5 sub-grupos)

• The Virtual World (4 sub-grupos)

• VE User Interface Presentation Components (4 sub-grupos)


Taxonomia para Heurísticas [Gabbard 1997]







Observação de Uso





Metodologia de Avaliação – Observação de UsoMetodologia de Avaliação – Observação de Uso

Cenário de Uso 1

Entrevista Pós-Uso

Questionário de Usabilidade

Cenário de Uso 2

Acomodação dos Participantes

Comunicabilidade Usabilidade

Recepção dos Participantes

Questionário de Presença

Resultados da Avaliação HeurísticaResultados da Avaliação Heurística

Rótulo Diretriz (Heurística) Questão

Users1 Levar em conta a experiência do usuário (ex, suportar tanto o usuário especialista como iniciantes).

Sistema não oferece menu de opções ou sistema de ajuda para usuários iniciantes.

Users4 Suportar tanto os destros como os canhotos.

Sistema foi projetado para destros, pois LCD à esquerda é ruim para canhotos.

Users5 Acomodar a interação natural e não forçada de usuários de diversas idades, sexo, altura e tamanho.

Usuários que usam óculos terão problemas para usar óculos por cima de óculos.

Tasks7 Prover refinamento das tarefas em passos, incluindo a habilidade de desfazer.

Sistema não tem função para desfazer ações, nem indicações de como se recuperar de erros.

Nav1 Suportar tipos apropriados de navegação do usuário.

Falta um modo para navegar direto para um objeto.

Nav4 Quando apropriado, incluir rótulos espaciais, marcos para orientação e um horizonte.

Sistema não tem rótulos espaciais, marcos para orientação ou um horizonte.

Resultados da Avaliação HeurísticaResultados da Avaliação Heurística

Resultados da Avaliação Heurística Quantidade

Questões Identificadas 26

Sistema de acordo com Diretriz 41

Diretriz não Aplicável 59

Número Total de Diretrizes Consideradas (*) 126

(*) Sub-grupos não aplicáveis ao sistema avaliado foram desconsiderados (ex: speech recognition)

Sub-area Issues Quantity Sub-area Issues Quantity

VE Users 3 Manipulation 3 VE Tasks 1 Input 4 Navigation 4 HandHeld 1 Selection 6 System Info 4

Distribuição das 26 Questões Heurísticas por Sub-área de Interação

Resultados da Avaliação – HeurísticaResultados da Avaliação – Heurística

Resultados da Avaliação – Questionário UsabilidadeResultados da Avaliação – Questionário Usabilidade

1,00 1,50 2,00 2,50 3,00 3,50 4,00 4,50 5,00

1. Foi simples Navegar no Cenário 3D

2. Foi simples Selecionar o ícone 3D

3. Foi simples Selecionar os objetos

4. Foi simples Manipular os objetos

5. Foi simples Anexar o ícone 3D ao objeto

6. Foi simples Ler o arquivo que descrevia a tarefa

7. Foi simples Criar os arquivos com anotações

8. Foi simples a transição do ambiente VR-Navegação para oambiente VR-Manipulação

9. Foi simples retornar do ambiente VR-Manipulação para oambiente VR-Navegação

10. Foi simples a transição do ambiente VR-Manipulação para oambiente WIMP

11. Foi simples retornar do ambiente WIMP para o ambiente VR-Manipulação

12. Foi simples a transição do ambiente VR-Navegação para oambiente WIMP

13. Foi simples retornar do ambiente WIMP para o ambiente VR-Navegação


1,00 1,50 2,00 2,50 3,00 3,50 4,00 4,50 5,00

14. Foi fácil memorizar os comandos para transição entre osambientes

15. As animações ajudaram na percepção das transições

16. Foi fácil orientar-se durante as transições de ambiente

17. Eu não percebi inconsistências na interação entre os ambientesde Navegação e de Manipulação

18. Eu me senti confortável usando os óculos no ambiente WIMP

19. Eu me senti confortável usando a Wand

20. Eu me senti confortável usando o Teclado

21. Eu me senti confortável manipulando objetos no LCD

22. Eu me senti confortável usando os óculos nas interações emgeral

23. Eu me senti confortável deslocando o LCD lateralmente

24. Eu não senti tontura ao usar o sistema

25. Eu me senti confortável interagindo com o sistema

26. Foi fácil aprender a usar o sistema

27. Quando cometi um erro, eu me recuperei fácil e rapidamente

28. De uma maneira geral, eu estou satisfeito com este sistema

Sumário

� De uma maneira geral, os Usuários ficaram satisfeitos com o sistema (4 de 5)

� Difícil selecionar o ícone de anotação 3D (2.5 de 5)

� Usuários desconfortáveis usando o óculos 3D (2.67 de 5)

� Usuários desconfortáveis para mover o LCD de lado (2.6 de 5)

� Alguns usuários desconfortáveis usando a Wand (3.17 de 5)

� De uma maneira geral, os Usuários ficaram satisfeitos com o sistema (4 de 5)

� Difícil selecionar o ícone de anotação 3D (2.5 de 5)

� Usuários desconfortáveis usando o óculos 3D (2.67 de 5)

� Usuários desconfortáveis para mover o LCD de lado (2.6 de 5)

� Alguns usuários desconfortáveis usando a Wand (3.17 de 5)


Diferença entre Imersão e PresençaDiferença entre Imersão e Presença

� Imersão

• Se refere ao nível objetivo de fidelidade sensorial provida por um sistema de Ambientes Virtuais [Mel Slater 2003];

• A imersão é objetiva e mensurável, um sistema pode ter um nível de imersão maior que outro [Bowman & McMahan 2007].

� Presença

• Se refere à resposta psicológica subjetiva de um usuário a um sistema de Ambientes Virtuais [Mel Salter 2003];

• Presença é uma resposta individual e dependente do contexto de um usuário, relacionada à sensação de “estar lá” [Bowman & McMahan 2007].

� Imersão

• Se refere ao nível objetivo de fidelidade sensorial provida por um sistema de Ambientes Virtuais [Mel Slater 2003];

• A imersão é objetiva e mensurável, um sistema pode ter um nível de imersão maior que outro [Bowman & McMahan 2007].

� Presença

• Se refere à resposta psicológica subjetiva de um usuário a um sistema de Ambientes Virtuais [Mel Salter 2003];

• Presença é uma resposta individual e dependente do contexto de um usuário, relacionada à sensação de “estar lá” [Bowman & McMahan 2007].

Resultados da Avaliação – Questionário IPQResultados da Avaliação – Questionário IPQ

Subescalas IPQ HybridDesk

Senso de Estar Lá (Geral) 4,50 3,75 -17% 3,93 -13% 3,00 -33%

Presença Espacial 4,47 3,73 -16% 3,99 -11% 3,06 -31%

Envolvimento 4,25 3,91 -8% 3,27 -23% 2,40 -44%

Realismo Experimentado 3,04 2,84 -7% 2,34 -23% 1,92 -37%

Tomb RaiderHalf-LifeSecond Life

Resultados da Avaliação - MACResultados da Avaliação - MAC

Etiqueta / Participante P2 P3 P7 Total

Cadê? 1 1Para mim está bom. 1 1 2Assim não dá. 0Ué, o que houve? 3 1 4Por que não funciona? 2 1 1 4O que é isto? 3 4 7Socorro! 0Epa! 3 1 5 9Onde estou? 2 1 3E agora? 4 4Vai de outro jeito. 1 1Não, obrigado. 0Desisto. 0Total Rupturas 20 8 7 35

Etiquetagem da InteraçãoEtiquetagem da Interação

Referência: The Semiotic Engineering of HCI [de Souza 2005]


Interpretação dos Dados – Tarefas de Interação [Bowman et. al. 2005]

Interpretação dos Dados – Tarefas de Interação [Bowman et. al. 2005]

Etiqueta / Tarefa

InteraçãoNavegação Seleção Manipulação Anotação Controle Total

Cadê? 1 1Para mim está bom. 1 1 2Assim não dá. 0Ué, o que houve? 3 1 4Por que não funciona? 2 2 4O que é isto? 3 3 1 7Socorro! 0Epa! 1 2 6 9Onde estou? 3 3E agora? 3 1 4Vai de outro jeito. 1 1Não, obrigado. 0Desisto. 0Total Rupturas 9 5 10 1 10 35

Ambiente VR- Nav VR-Manip WIMP TodosAmbiente VR- Nav VR-Manip WIMP Todos


Interpretação dos Dados – Categorias Típicas de IHCInterpretação dos Dados – Categorias Típicas de IHC

Etiqueta / Categoria IHC Execução Navegação Significado Percepção Total

Cadê? 1 1Para mim está bom. 1 1 2Assim não dá. 0Ué, o que houve? 4 4Por que não funciona? 3 1 4O que é isto? 7 7Socorro! 0Epa! 7 1 1 9Onde estou? 3 3E agora? 4 4Vai de outro jeito. 1 1Não, obrigado. 0Desisto. 0Total Rupturas 10 7 9 9 35

� “Na minha interpretação você é um usuário com conhecimentos de modelagem 3D, tem bastante experiência na navegação em ambientes virtuais e trabalha na inspeção da modelagem de cenários 3D. Acredito que você vai interagir com o sistema utilizando a mão direita...”


Resultados da Avaliação – MACResultados da Avaliação – MAC

Análise do Perfil SemióticoAnálise do Perfil Semiótico


� “… mas eu acho que você irá aprender a usar as teclas com a prática, porque não disponibilizei nenhum sistema de ajuda on-line sobre como usá-las. Existem teclas para você se movimentar no cenário 3D, mas quando você estiver longe do objeto a aproximação vai parecer muito lenta.”







�“ ... terá que usar as funções da Wand que você aprendeu com o uso. Se você quiser poderá inspecionar os objetos no ambiente de navegação, embora eu tenha concebido o ambiente de manipulação para este fim.”









�“...Ao interagir com a Wand você descobrirá que se acionar a tecla A muito forte ou duas vezes, e estiver apontando para um objeto, você irá selecioná-lo e sair do ambiente de navegação.”




�“...Ao interagir com a Wand você descobrirá que se acionar a tecla A muito forte ou duas vezes, e estiver apontando para um objeto, você irá selecioná-lo e sair do ambiente de navegação.”



Resultados da Avaliação – Comparação MétodosResultados da Avaliação – Comparação Métodos

NoQuestões de IHC Heur. Obs.TA Qu./Ent. MAC Total

1 Navegação lenta para aproximar do cenário 3D quando longe. 1 4 3 2 10

2Falta de feedback na tela do LCD ao se liberar ícone 3D indicando se foianexado ao objeto ou não.

1 1 3 4 9

3Fez inspeção da ponta do guindaste rodando o próprio cenário 3D em navegação.

4 1 3 8

4 Desconfortável arrastar o LCD para o centro, alguns prefiram nem arrastar. 2 5 7

5 Apertou o botão A duas vezes e voltou de manipulação para WIMP. 1 3 3 7

6Uso prolongado da Wand com braço esticado causa fadiga do braço do usuário, pois evita apenas parcialmente o uso dos grupos de músculos maiores.

2 1 3 6

7 Achou óculos desconfortáveis, principalmente usuários que já usam óculos. 1 1 4 6

8 Verificou ponta mas não deixou anotação no guindaste sem rachadura. 3 2 1 6

9Não ficou claro como voltar de manipulação para navegação, uso do botão Home não é muito consistente.

2 2 1 5

10 Ícone 3D que representa a anotação é pequeno e difícil de selecionar. 1 3 1 5

11Selecionou gancho pensando que poderia ser a ponta guindaste, verificou os dois.

2 1 2 5

Resultados da Avaliação – Comparação MétodosResultados da Avaliação – Comparação Métodos

Questões de IHCAval. Heur.

Obser. TA

Quest./Entrev.

MAC

Total de Ocorrências 26 54 55 43

Questões Distintas 25 37 34 31

Questões Únicas de cada Método

13 13 14 8

� Avaliação Heurística – baseada no “Conhecimento de Especialistas”

� Observação do Usuário com Talk Aloud – baseada na “Observação do Usuário pelo Avaliador”

� Questionário e Entrevista Pós Uso - baseada na “Percepção da Interação pelo Usuário”

� MAC (Avaliação de Comunicabilidade) – baseada na “Intenção do Designer” versus a “Percepção do Usuário” na intepretação de um Avaliador

� Avaliação Heurística – baseada no “Conhecimento de Especialistas”

� Observação do Usuário com Talk Aloud – baseada na “Observação do Usuário pelo Avaliador”

� Questionário e Entrevista Pós Uso - baseada na “Percepção da Interação pelo Usuário”

� MAC (Avaliação de Comunicabilidade) – baseada na “Intenção do Designer” versus a “Percepção do Usuário” na intepretação de um Avaliador

Resultados da AvaliaçãoResultados da Avaliação

� Botão A - Manipulação

• Libera Icone 3D

• Transição para WIMP

� Botão A - Manipulação

• Libera Icone 3D

• Transição para WIMP

Questões com Dispositivo de EntradaQuestões com Dispositivo de Entrada

� Botão A - Navegação• Ativa Ray-casting

• Desativa Ray-casting

• Seleciona Objeto (Transição para Manipulação)

� Botão A - Navegação• Ativa Ray-casting

• Desativa Ray-casting

• Seleciona Objeto (Transição para Manipulação)


� Botão Home - Navegação

• Retorna Posição Inicial

� Botão Home - Navegação

• Retorna Posição Inicial

� Botão Home - Manipulação

• Transição para Navegação

� Botão Home - Manipulação

• Transição para Navegação

Questões com Dispositivo de EntradaQuestões com Dispositivo de Entrada

� Gerente: “... instruções ... em arquivo anexado acima da escada à direita do Heliporto.”

� Participante: “… direita ou esquerda? Depende de por onde estou olhando..”




Interação com Múltiplos DesignersInteração com Múltiplos Designers



� Gerente: “... Anexar ao guindaste uma mensagem de notificação para o responsável, informando se a ponta do guindaste tem rachadura ou não.”

� Participante: “ … não sei se é essa parte (ponta) ou a parte de baixo ali (gancho) ..”











�Interação com a Anotação: “Designer da Tarefa” (Gerente)














� Interação com Cenário e Objetos 3D: Designer do Conteúdo















� Interação com o Programa de Visualização: Designer da Aplicação

















� Interação com a HybridDesk: Designer do Sistema








� Interação com a HybridDesk: Designer do Sistema


TAREFAS

APLICAÇÃO

SISTEMA OPERACIONAL

CONTEÚDO

HARDWARE

USUÁRIO

DESIGNERS



� Conclusões• O uso de diversos métodos de avaliação permitiu a descoberta de questões qualitativas de interação únicas

• Os Designers da Interação devem prestar atenção redobrada na interação com novos dispositivos, mesmo quando parecem ser simples de aprender e usar

• Os Designers da Interação devem integrar de forma consistente os diversos sistemas de significação utilizados pelos outros Designers de Interação

� Trabalhos Futuros• Estudar a integração dos diversos “Designers de Interação”• Estudar a integração de tarefas 2D em Ambientes Virtuais 3D• Estudar a transição entre Ambientes Virtuais em Sistemas Híbridos

� Conclusões• O uso de diversos métodos de avaliação permitiu a descoberta de questões qualitativas de interação únicas

• Os Designers da Interação devem prestar atenção redobrada na interação com novos dispositivos, mesmo quando parecem ser simples de aprender e usar

• Os Designers da Interação devem integrar de forma consistente os diversos sistemas de significação utilizados pelos outros Designers de Interação

� Trabalhos Futuros• Estudar a integração dos diversos “Designers de Interação”• Estudar a integração de tarefas 2D em Ambientes Virtuais 3D• Estudar a transição entre Ambientes Virtuais em Sistemas Híbridos

Conclusões e Trabalhos FuturosConclusões e Trabalhos Futuros

ObrigadoObrigado

Marcus Franco Costa de AlencarMarcus Franco Costa de Alencar

E-mail: [email protected]: [email protected]

composição de métodos de avaliação de ihc para ambientes...

Documents