A STUDY OF HANDS-FREE VR INTERACTION TECHNIQUES USING KINECT Proposta de Dissertação de Mestrado

Aluno: Peter F. Dam

Orientador: Alberto B. Raposo

Motivação• Poucas soluções baratas para interação com ambientes

imersivos e realidade virtual• Interação de forma mais natural• Dar mais liberdade aos usuários e permitir que

futuramente tenhamos mais possibilidades de interação já que o usuário não precisa segurar um controle

Estudos• Primeiro houve um brainstorming para pensar em

possíveis tecnologias para interação de realidade virtual• Algumas tecnologias foram abordadas, como luvas, NIA,

Kinect• Ao fim o Kinect foi a solução escolhida

• Inicialmente desenvolvido para o XBOX 360• Sistema criado para interação com o usuário sem a

necessidade de controle por intermédio da Natural Interaction (NI). • Conceito onde a interação homem-dispositivo é

baseada principalmente na visão e audição.

Kinect - O que é

• O Light Coding codifica informações em padrões de luz ao sair do projetor.

• Após ser projetado em qualquer superfície, uma deformação é gerada.

• Essa deformação fornece as informações necessárias para o cálculo da distância.

Kinect – Como funciona

Sensor Joint Sensor Joint

0 Head 12 Right Elbow

1 Neck 13 Right Wrist

2 Torso 14 Right Hand

3 Waist 15 Right Fingertip

4 Left Collar 16 Left Hip

5 Left Shoulder 17 Left Knee

6 Left Elbow 18 Left Ankle

7 Left Wrist 19 Left Foot

8 Left Hand 20 Right Hip

9 Left Fingertip 21 Right Knee

10 Right Collar 22 Right Ankle

11 Right Shoulder 23 Right Foot

Kinect – Esqueleto com OpenNi

Para identificar a ação de seleção foram criados 3 tipos de ações:•Hover•Push•Hold

Seleção

O hover consiste no usuário colocar a mão (virtual) sobre um objeto e deixar por um tempo determinado. Após esgotado um contador o objeto será selecionado.

Estudos preliminares mostram que este método funciona bem para ativar comandos que não requerem manipulação, como, por exemplo, apertar um botão ou selecionar uma opção de menu 3D.

Seleção - Hover

Este método exige que o usuário, uma vez que esteja com a mão sobre o objeto que deseja selecionar, estique o braço e recolha. O objeto assim será selecionado e ficará neste estado até que o usuário repita o processo de esticar e recolher o braço.

Seleção - Push

Hover é similar ao click, mas ao invés de recolher o braço, o usuário o mantém esticado até que deseja soltar o objeto, só então recolhendo o braço.

Seleção - Hover

Para identificar a ação de movimentação foram criados 3 tipos de ações:•Virtual Foot DPad•Dial DPads•Virtual Circle

Navegação

Navegação – Virtual Foot DPad

• É criado uma espécie de controle direcional virtual em baixo do usuário.

• Este controle está sempre centralizado na pessoa e o que dispara a movimentação é a distância (e direção) entre os pés.

Navegação – Dial DPads• Há 2 controles nos cantos das telas, um corresponde à

movimentação, outro ao controle da câmera.• Os controles são ativados com as mãos, e podem ser

usados simultaneamente (mão esquerda em um, mão direita em outro)

Navegação – Virtual Circle

• O ponto central do usuário é gravado na hora da calibração. A partir deste ponto um círculo virtual é criado em volta do usuário.

• Saindo do círculo é gerada uma movimentação relativa ao centro do círculo.

Manipulação• Para manipulação apenas translação foi tratado fazendo

o objeto selecionado seguir a mão do usuário.

• Futuramente as operações de rotação e escala poderão ser trabalhadas

Variações• É possível que novas técnicas e até gestos sejam

estudados como variações ou incrementos para o trabalho.

• É possível também que algum dispositivo novo seja agregado, caso os estudos demonstrem que é interessante. Por exemplo mouse de dedo.

Feedback• É importante estudar o impacto do feedback na interação

do usuário com o sistema.• Visual – desenhar na tela alguma forma de confirmação

da ação ou, possivelmente, projetar no chão, por exemplo, uma resposta visual ao movimento do usuário (com relação às técnicas de navegação “Virtual Circle” e “Foot DPad”)

• Auditivo – disparar um som característico quando determinada ação é executada para que o usuário saiba que o sistema identificou sua ação

• Háptico – algum dispositivo que trema levemente, como, por exemplo, uma pulseira

Testes com Usuários• Ao fim pretende-se validar as técnicas através de

diversos testes com os usúarios.• Verificar combinações de técnicas que funcionem bem• Verificar ambientes e situações nos quais cada técnica funciona

melhor• Avaliar o cansaço físico que as técnicas causam

Plano de Ação• Desenvolver as técnicas de interação• Refinamento das técnicas através de testes informais• Elaboração e realização de um roteiro formal de testes• Escrita e defesa da dissertação

Dúvidas• ?