Um Estudo Sobre Técnicas de Navegação e Seleção em Ambientes Virtuais Usando

o Microsoft Kinect®Aluno: Peter Furtado Dam

Orientador: Alberto Barbosa Raposo

Introdução

A realidade virtual evolui constantemente, principalmente na parte da tecnologia, no entanto o modo como usamos essa tecnologia não acompanhou a evolução.

No geral ainda nos sentimos mais confortáveis com mouse e teclado.

Há muitas pesquisas procurando diminuir a distância (conceitual) do mundo virtual para o mundo real.

Técnicas com maior fidelidade de interação.

Motivação e Objetivo

Este trabalho surgiu como uma vontade de compreender melhor as formas de interação com ambientes virtuais usando gestos corporais.

O objetivo do trabalho é propor técnicas de interagir (seleção, manipulação e navegação) com estes ambientes virtuais e estudar estas técnicas, avaliando-as com usuários.

Trabalhos Relacionados

As primeiras tecnologias observadas foram

Esteira omnidirecional

v-Glove

Nintendo Wii, Microsoft Kinect, Sony Move

Microsoft Kinect foi escolhido

Trabalhos Relacionados

Uma vez definida a tecnologia que seria usada para fazer a interação, foi feito um levantamento de trabalhos similares. Isto é, trabalhos que usassem “tracking” como forma de entrada de dados para a interação do usuário com o sistema.

Também foi encontrada uma taxonomia criada para classificar técnicas de interação. Definiu-se que as técnicas seriam classificadas de acordo com esta taxonomia, para facilitar a categorização delas futuramente.

Trabalhos Relacionados - Kinect

Vários jogos do Kinect foram testados para entender como os desenvolvedores oficiais lidam com tarefas de navegação e seleção.

Pouquíssimos jogos têm navegação, até a data do estudo existia apenas um.

Geralmente é usado um avatar virtual que segue os movimentos do usuário no mundo real. Em alguns jogos as mãos podem selecionar objetos posicionando a mão sobre algum objeto e esperando um contador esgotar, mas na maioria dos casos isso é usado somente para menus.

Técnicas

Para a realização do trabalho foram propostas 3 técnicas de navegação e 3 de seleção.

As técnicas foram mistura de adaptação de sistemas com componentes físicos com ideias próprias ou encontradas em trabalhos relacionados.

Técnicas - Seleçao

Para a criação destas técnicas primeiro foi criada uma mão virtual, que, através de um raio de seleção, pode selecionar objetos.

Seleção e manipulação são tarefas muito próximas e às vezes difíceis de serem separadas. As técnicas neste trabalho não preveem uma forma específica de manipulação, os objetos apenas seguem a mão virtual em 1 ou mais eixos enquanto selecionados.

Técnicas propostas:

Hover

Push

Hold

Técnicas de Seleção- Hover

O Hover foi inspirado no estudo dos jogos oficiais do Kinect. A diferença entre as técnicas é a forma de desseleção.

Para selecionar um objeto basta o usuário posicionar a mão virtual sobre o objeto e esperar que um contador apareça. Ainda mantendo a mão sobre o objeto, quando o tempo acabar, ele é selecionado.

O Hover permite desselecionar de duas formas: mover a mãovirtual de cima do objeto ou juntar as duas mãos por um tempo(aparecerá um contador indicando).

Na técnica do Kinect não há uma forma de desseleção muitoclara, geralmente há “alvos” e, quando o objeto chega próximoao “alvo” o sistema automaticamente o solta.

Técnicas de Seleção- Push

Esta técnica foi influenciada pelo trabalho com a v-Glove, onde o usuário precisava esticar o braço para a frente até que o dedo atravessasse um plano virtual à frente do usuário.

Na técnica Push a seleção é calculada através do ângulo de abertura do braço (usando os pontos da mão, cotovelo e ombro para fazer o cálculo).

O usuário estica e recolhe o braço para selecionar um objeto e repeteo gesto para desselecionar.

Técnicas de Seleção- Hold

Com base na técnica Push, surgiu a técnica Hold.

A forma de funcionamento é bem similar, onde no Push o usuário precisava esticar o braço e recolher, no Hold o usuário mantém o braço esticado e, quando deseja soltar o objeto, torna a recolher.

A existência das duas técnicas foi para avaliar se é há uma preferência por poder recolher o braço (Push) enquanto mantém seleção de um objeto por um tempo mais prolongado, ou se os usuários preferem manter o braço esticado.

Técnicas de Seleção - Demonstração

Técnicas - Navegação

Navegação permite que o usuário se locomova e explore o ambiente virtual.

As técnicas propostas:

Virtual Foot Directional Pads

Dial Directional Pads

Virtual Circle

Técnicas de Navegação- Body Turn

O Body Turn não é uma técnica propriamente dita, foi uma forma criada para controlar a orientação da câmera e é usada em duas das técnicas propostas (Virtual Foot e Virtual Circle).

Com o Body Turn o usuário gira os ombros, girando o tronco na direção em que deseja rotacionar a câmera.

Técnicas de Navegação- Virtual Foot Directional Pad

A técnica surgiu como uma adaptação de um trabalho que usa a direção na qual o usuário pisa para determinar a direção de locomoção.

Este trabalho foi usa uma plataforma que surgiu, a princípio, para jogosde dança de fliperama.

Na técnica Virtual Foot o controle de orientação da câmera é feitoatravés dos “Body Turn”.

As direções diagonais, no Virtual Foot, funcionam como locomoção.

A velocidade de locomoção nesta técnica é constante.

Técnicas de Navegação- Dial Directional Pads

Alguns jogos para dispositivos com tela de toque, por exemplo iPhone, usam controles virtuais em cada canto inferior da tela. Para se locomover, por exemplo, o usuário aperta na direção que deseja (geralmente segurando o aparelho nas mãos e usando os dedões para interagir com os controles).

O Dial DPads foi uma adaptação deste sistema para sistemas de realidade virtual.

O controle no canto inferior esquerdo controla a direção de movimentação do usuário, enquanto que o controle no cantoinferior direito controla a orientação da câmera.

O usuário posiciona a mão virtual sobre as setas na direção desejada e estica o braço para ativar.

O usuário pode controlar a velocidade dos comandos através da distância da mão virtual ao centro do controle. Quanto mais longe mais rápida será feita a operação.

Técnicas de Navegação- Virtual Circle

Este trabalho foi inspirado em controles (“joysticks”) analógicos. De forma abstrata, ao movimentar o controle é gerado um vetor da posição de sua ponta até o seu centro (em um plano 2D).

Partindo deste princípio, o usuário, na técnica Virtual Circle, é como se fosse o pino do “joystick”. Há um círculo virtual fixo na posição de calibração. Se o usuário sair do círculo é calculado um vetor de deslocamento, onde a magnitude influencia na velocidade.

Técnicas de Navegação - Demonstração

Avaliação das Técnicas - Infraestrutura

Avaliação das Técnicas – Cenários de Uso

Primeiramente identificamos os pontos a serem avaliados.

Para as técnicas de navegação queríamos analisar a facilidade do usuário em se locomover por um ambiente fechado, com corredores e curvas.

Para as técnicas de seleção queríamos analisar a precisão do usuário para selecionar, desselecionar e, de modo geral, interagir com objetos distintos.

Por último queríamos analisar o funcionamento de ambas as tarefas (navegação e seleção) em conjunto.

A ordem de execução das tarefas foi alternada para reduzir o efeito do aprendizado.

Avaliação das Técnicas – Cenário 1

Neste cenário o usuário precisava percorrer o caminho até o final do corredor e voltar ao ponto inicial.

Com isso avaliamos a percepção do espaço virtual, a facilidade de locomover e a facilidade de controlar a orientação.

O cenário foi feito uma vez para cada técnica por usuário.

Avaliação das Técnicas – Cenário 2

Neste cenário o usuário precisava pressionar três botões indicados por uma luz verde, em seguida posicionar três alavancas em posições indicadas por uma tarja vermelha e, finalmente, selecionar as duas alavancas na área verde ao mesmo tempo e puxá-las até o final.

Avaliação das Técnicas – Cenário 3

Este cenário misturava todas as tarefas que o usuário já havia feito.

O espaço virtual era mais amplo que no primeiro cenário, já que o foco não era especificamente navegação, mas sim a mistura de navegação com seleção.

Alavancas e botões existiam nesse cenário, mas uma forma nova de interação foi introduzida: carregar um objeto. Com isso um objeto poderia seguir a mão do usuário enquanto estivesse com a seleção ativa.

Neste cenário o usuário precisava executar uma série de tarefas para buscar uma bola e levar até uma posição indicada.

Não foi usada a técnica Dial DPads neste cenário pois o tempo de testes estava bastante elevado e esta técnica é conflitante com seleção. Ainda que possível, existem alguns problemas que precisam de solução para que seja viável de verdade com seleção.

Demonstração do Cenário 3

Resultados – Traçado dos caminhos (volta)- Cenário 1

Resultados – Grupos de usuários- Cenário 1

Resultados – Tempo médio das tarefas- Cenário 2

Resultados – Quedas indesejadas da bola- Cenário 3

Resultados – Evolução dos Usuários- Cenário 3

Resultados – Eventos Detectados

Evento Frequência Categoria

Falta de precisão por tremores no rastreamento 6 AAções indesejadas por falha do rastreamento 5 AMovimento indesejado no eixo (X, Y) 7 TDificuldade de locomover na direção desejada ou parar

5 T

Girar sem querer ao tentar fazer seleção 5 TDificuldade em alinhar orientação conforme desejado 4 TCansaço físico 2 TProblema de equilíbrio ao fazer locomoção 1 TGesto errado 3 CFalha na compreensão do espaço virtual 2 CConfusão da direção do pé com rotação da câmera 1 CA = AmbienteT = TécnicaC = Compreensão

Conclusão

Aprendizado é claro.

Preferência na navegação pelo Virtual Circle por maior fidelidade de interação.

Preferência na seleção pelo Hover por maior segurança de não soltar objetos e não ter problema de precisão por movimentos indesejados no eixo (X,Y).

Trabalhos Futuros

Aprimorar as técnicas e fazer mais testes, com número maior de usuários Avaliar em outros ambientes de visualização, tipo CAVE

Implementar controle de velocidade para Virtual Foot Implementar filtro de suavização de ruídos Melhorar controle do Body Turn Introduzir feedback visual para as técnicas de seleção Introduzir um contador para soltar um objeto Aumentar a quantidade de ações que o usuário pode fazer Criar uma forma de reposicionar o círculo no Virtual Circle Criar novas interações mais complexas

Demonstração 4k (Tela grande)