Desenvolvimento de Gestos Personalizados para Criação e Navegação em

Ambientes de Realidade Virtual e Aumentada associada a Dispositivos Móveis

Pedro Henrique Cacique Braga, Alexandre Cardoso, Edgard Afonso Lamounier Jr.

Grupo de Realidade Virtual e Aumentada

Universidade Federal de Uberlândia

Uberlândia – MG - Brasil

cacique@mestrado.ufu.br, {alexandre, lamounier}@ufu.br

Abstract — This article discusses current practices in mobile-

learning and presents a strategy for developing educational

applications associated with Augmented Reality. As concept

proof of the technic discussed an application was created to

teach basic mechanics. We discuss the creation of custom

gestures for interaction between user and application for the

creation of three-dimensional models from scratch in two

dimensions. Concepts are discussed for creating dynamic

interfaces for mobile devices, as well as attributes related to the usability of systems for m-learning

Keywords: Mobile-Learning, Gesture, Multi-Touch,

Virtual Reality, Augmented Reality, Usability.

I. INTRODUÇÃO

O cenário tecnológico está cada vez mais voltado para

os dispositivos móveis. No final de 2010, o Brasil contava com 202,9 milhões de acessos do Serviço de Telefonia

Móvel Pessoal, registrando um crescimento de 16,7% em

relação ao ano anterior. Com esse resultado, o país

permaneceu em quinto lugar no ranking mundial de

acessos da telefonia móvel, atrás apenas de China, Índia,

Estados Unidos e Rússia. Em 2010 o Brasil apresentou

uma taxa de 104,7 acessos móveis pessoais a cada 100

habitantes [1].

Juntamente com a tecnologia móvel surgem diferentes

métodos de interação entre o usuário e o dispositivo. A

crescente aplicação dessas tecnologias traz à tona uma

série de questões relativas à sua criação, escolha, adaptação e consequências de utilização [2]. O

surgimento da tecnologia móvel trouxe consigo a

necessidade da recriação das interfaces homem-máquina.

A fim de aproveitar as funcionalidades dos dispositivos e

adaptar o conteúdo dos aplicativos aos novos tamanhos de

displays, surgem as interfaces naturais, que buscam

readaptar os conceitos de interação a um ambiente cada

vez mais limpo e isento de botões e outros elementos

gráficos, voltando o foco do aplicativo exclusivamente ao

seu conteúdo. As interfaces naturais (NUI) são assim

chamadas por fazerem uso de técnicas baseadas na natureza humana, como física, gestos, movimentos, voz,

entre outros, o que faz com que menos elementos sejam apresentados ao usuário, constituindo uma fácil

navegação e um rápido aprendizado do uso do sistema

[3].

Entre as diferentes formas de interação destacam-se os

gestos, bastante comuns aos sistemas operacionais

móveis. Gestos oferecem uma maneira intuitiva de

interação com um dispositivo [4]. Sua utilização não se

limita ao passar de páginas de um livro virtual, ou ao

zoom de uma imagem, por exemplo. A navegação em

ambientes de Realidade Virtual (RV) e Aumentada (RA)

tem se beneficiado bastante da facilidade deste método.

Em sistemas de RV e RA, a navegação no ambiente deve ser a mais intuitiva possível, para que o usuário assemelhe

este desenvolvimento ao seu processo cognitivo natural.

Muitas pesquisas vêm sendo conduzidas a fim de

desenvolver métodos de interação aos ambientes virtuais

mais próximos do processo de descoberta e aprendizagem

humana.

Neste contexto, a navegação por gestos apresenta

relevante contribuição para tais pesquisas, pois os

movimentos físicos do usuário implicam em atualizações

dos ambientes virtuais e aumentados, que acompanham

tais movimentos, com pouca ou nenhuma abstração. Para mover um objeto virtual para a direita, por exemplo, usa-

se o gesto de pan, que é o mover do dedo sobre a tela da

esquerda para a direita, como se realmente estivesse

movendo o modelo.

O reconhecimento bem sucedido dos gestos é um dos

principais desafios no desenvolvimento de aplicativos

para dispositivos móveis. Isso se deve ao fato de que as

habilidades naturais dos movimentos usados em interfaces

gestuais ainda são limitadas pela tecnologia atual [5].

Considerando a necessidade de desenvolvimento de

soluções para o ensino e aprendizagem, ressalta-se que

não há mais um “confinamento” em salas de aula. É vasta a quantidade de aplicativos voltados à aprendizagem com

uso de tecnologia móvel, contextualizando o mobile-

learning [6]. O usuário, no ponto de vista da educação a

partir de dispositivos móveis, torna-se o foco do

desenvolvimento de aplicativos, sendo o principal atributo

de avaliação da usabilidade dos mesmos [7].

Este artigo propõe métodos de desenvolvimento de

gestos personalizados, visando expandir o registro de

gestos comuns aos sistemas operacionais móveis. Não

apenas são apresentados seus modos de criação, mas

opções de integração entre os gestos criados e funções de

transformação de desenhos bidimensionais em modelos em três dimensões. Os gestos personalizados são

utilizados para criação, edição e navegação de ambientes

em realidade virtual e aumentada. Utilizam-se os

conceitos de aplicativos para dispositivos móveis para a

criação de ambientes de RV e RA que utilizem, ao

máximo, as funcionalidades de tais aparelhos.

O uso de tal forma de interação é exemplificado em um

aplicativo para m-learning voltado ao ensino de Física

(mecânica).

II. TRABALHOS CORRELATOS

A. Magic Paper

O trabalho desenvolvido pelo Massachusetts Institute

of Technology em 2006 conhecido como Magic Paper

consiste em um sistema de criação de modelos

bidimensionais com interações físicas [8].

O sistema foi desenvolvido para uso em computadores

pessoais com mouses ou mesas digitalizadoras como

hardware de entrada ou para dispositivos com telas

capazes de reconhecer o toque, como lousas digitais.

O Magic Paper recebe, como dados de entrada,

esboços de objetos em duas dimensões e os transforma

em figuras geométricas com características físicas. Estas

podem ser inseridas desenhando códigos e símbolos que

as representem. Uma seta para baixo, por exemplo, simboliza a ação da gravidade sobre o ambiente.

A Figura 1 apresenta em (a) a etapa de criação do

ambiente e em (b) a execução das leis físicas sobre os

elementos criados.

São explorados elementos como blocos, molas,

cilindros e bolas (representados por circunferências), que

podem ser conectados ou dispostos isoladamente no

cenário. O controle da animação é feito através de barras

de ferramentas contidas no software e conta com técnicas

que facilitam a compreensão das mesmas, garantindo a

melhor visualização do espaço.

O Magic Paper apresenta algoritmos de correção do

traçado, aproximando o esboço ao elemento geométrico

bidimensional. Apesar da vasta biblioteca de elementos

físicos e de forças de interação, a interação com o usuário

é limitada ao uso do mouse ou do simples toque da caneta,

não apresentando interações gestuais. Dentre as restrições, destaca-se o fato de o ambiente

criado limitar-se ao tamanho fixo do quadro, não sendo

permitida a expansão do mesmo através de técnicas como

alteração da escala dos elementos.

B. In-Place 3D

O In-Place 3D é um framework para autoria de cenas tridimensionais para realidade aumentada baseado em

desenhos à mão livre. Com este framework, é possível

transformar esboços em sistemas em três dimensões com

a possibilidade de interação, permitindo ao usuário

controlar as etapas da animação, bem como alterar as

propriedades físicas dos elementos contidos no ambiente

[9].

Desenvolvido pelo Hit Lab New Zealand em 2009, o

In-Place 3D faz uso de técnicas de processamento de

imagens e realidade aumentada, bibliotecas de

desenvolvimento de ambientes e interações físicas.

Os esboços são feitos com base no desenho em perspectiva ortogonal. São usadas técnicas de

processamento de imagens e reconhecimento de padrões

para reconhecimento dos símbolos desenhados e

capturados por uma câmera comum.

A Figura 2 apresenta em (a) a autoria de um sistema

mecânico, criado sobre um marcador especial que

delimita o espaço da cena. Em (b) tem-se o ambiente

virtual gerado e inserido no ambiente real sobre o

marcador.

O tratamento das imagens permite a criação de

elementos sólidos baseados em triedros e tetraedros e

forças interativas como atrito, gravidade e velocidade. A criação do modelo é gerada e mostrada no vídeo

sobreposta à imagem da câmera. Os movimentos e

transformações dos objetos são feitos com a adição de

(a) (b)

Figura 1 Magic Paper: (a) Desenho do sistema; (b) Animação do modelo físico.

(a) (b)

Figura 2 InPlace3D: (a) Autoria do sistema mecânico, esboçado no

papel; (b) Ambiente de Realidade Aumentada construído com base no modelo desenhado.

marcadores de controles à cena e com a movimentação da

câmera.

O framework de desenho é genérico e, portanto, pode

ser utilizado para diferentes casos de uso. Sua utilização

gerou diferentes publicações em áreas de ensino e criação

de mundos virtuais. A cena virtual não se limita ao marcador, apenas o

utiliza como orientador no espaço. Entretanto, assim

como o Magic Paper, o InPlace 3D tem espaço limitado

para criação do modelo mecânico.

A interação com o ambiente, realizada através da

câmera, é mais bem utilizada em um ambiente controlado,

com uma câmera fixa. Para dispositivos móveis, esta

forma de interação deve ser repensada para que aborde os

conceitos de interação gestual, utilizando o toque do

usuário e a orientação do dispositivo.

C. ILoveSketch

Trata-se de um software desenvolvido por Seok-

Hyung bae, Ravin Balakrishnan e Karan Singh, capaz de

criar ambientes tridimensionais baseados em esboços

feitos em dispositivos de captura por toque [10].

Este sistema pode ser usado com navegação 2D ou 3D

e cria curvas NURBS. Foi desenvolvido para profissionais do design, possibilitando a interação do usuário com seus

modelos 3D com gestos comuns, existentes em uma

biblioteca coesa de gestos.

A aplicação diferenciada do software é a navegação e

criação de elementos usando um ambiente tridimensional.

Desenho e transformações dos mesmos se misturam em

um ambiente sólido e consistente.

São trabalhados gestos como ponto, curva, laço, loop,

entre outros, para desenho, transformação e

movimentação do ambiente.

Todos os traços do usuário são tratados a fim de

melhorar o desenho e torná-lo mais uniforme com os padrões de projeto. São evitadas as redundâncias de

traços, para que não haja ambiguidade no processamento

dos dados, deixando os contornos definidos.

O ambiente conta com as principais ferramentas de

transformação dos modelos, que alteram suas

propriedades geométricas e estéticas. Assim como os

grandes editores de modelos 3D, o ILoveSketch propõe

diferentes câmeras e perspectivas de vistas.

Apesar das boas ferramentas de desenho, o software

não conta com ferramentas para animação. O espaço de

criação pode ser aumentado, através de gestos, mas não

há interação entre os elementos criados. Estes se comportam como elementos estáticos.

III. INTERAÇÃO GESTUAL PARA CRIAÇÃO DE

AMBIENTES TRIDIMENSIONAIS

Os smartphones atuais apresentam como forma de

navegação o sistema de toques e gestos. Um gesto pode

ser definido, na abordagem deste trabalho, como um

conjunto de sinais que indicam direções de movimentos. A Figura 4 apresenta os principais gestos comuns a

todos os sistemas operacionais móveis com sistemas de interação por gestos.

Este sistema de navegação tem se mostrado bastante inteligível e de rápido aprendizado. Suas funções básicas são automaticamente relacionadas aos gestos.

A utilização de gestos tem uma grande aceitação dos usuários, tendo em vista a similaridade do seu aprendizado com o processo de desenvolvimento do conhecimento humano. Os gestos estão presentes em todas as etapas do crescimento humano e servem para comunicação mesmo quando não há uma linguagem comum.

Com base nesta facilidade, desenvolve-se um método de criação de ambientes virtuais mais intuitivo, com uma rápida curva de aprendizagem.

A. Arquitetura do Sistema

O processo de criação começa a partir de desenhos bidimensionais feitos na tela de um dispositivo móvel,

Figura 4 Dicionário de Gestos Padrões

(a) (b)

Figura 3 ILoveSketch (a) Criação do esboço; (b) Trabalhos finais gerados.

utilizando o toque e o movimento dos dedos. Este esboço passa por um processo de reconhecimento de padrões e é então transformado em formas básicas pré-estabelecidas em um banco de dados. O processo está representado na Figura 5.

Observa-se que o usuário é responsável pela criação do ambiente de duas diferentes formas. A primeira através do desenho de formas básicas, existentes em um Banco de Dados relacionado a cada aplicação. A segunda forma de criação é através do desenho de figuras não pertencentes ao Banco de Dados, realizando uma extrusão Linear ou Spin. Ambas contribuem para a criação do ambiente virtual, que pode ser apresentado em forma de Realidade Virtual ou Realidade Aumentada.

Através dos gestos, o usuário também pode navegar no ambiente criado, quando selecionado o modo de visualização.

B. Desenho Bidimensional

Optou-se por dividir o reconhecimento dos gestos em

dois algoritmos distintos: um para o desenho de formas básicas e outro para a interpretação dos gestos de interação.

O aplicativo é capaz de interpretar a forma desenhada e convertê-la em um desenho existente no banco de dados do projeto.

O método de desenho consiste em etapas sequenciais responsáveis pela interpretação dos gestos e criação do ambiente tridimensional.

1) Entrada de dados por toque A captura dos dados de entrada para o reconhecimento

de toque é bastante simples, pois faz uso da tecnologia

nativa dos dispositivos móveis. É determinada uma taxa

de atualização da tela, conhecida como framerate, medida

em fps (frames per second). Com base neste parâmetro,

são capturadas, em cada atualização, as posições do dedo

do usuário, guardando uma sequência de pontos que

formam o caminho percorrido. O evento começa ao ser

reconhecido o toque e termina quando o dedo é removido

da tela. Obtém-se, assim, a trajetória do toque.

2) Reconhecimento de padrões O reconhecimento de caminhos desenhados não é um

trabalho simples e pode ser feito utilizando técnicas de

Inteligência Artificial para reconhecimento de padrões,

como Algoritmos Genéticos e Redes Neurais Artificiais.

Contudo, um método simples e de baixo custo

computacional pode ser recriado para tal finalidade [11].

O algoritmo denominado $1 Dollar Recognizer é baseado

em comparações do padrão de entrada com uma

biblioteca de templates associados a cada gesto desejado.

O Algoritmo se divide em quatro passos principais:

Simplificação da trajetória do gesto

Rotação do padrão pelo ângulo indicativo

Escala e Translação

Busca pelo ângulo ótimo e melhor pontuação

A Figura 6 apresenta a execução do algoritmo $1

Dollar Recognizer. A primeira imagem apresenta em cinza a trajetória relativa à letra “a”. Para a realização, foram gerados 187 pontos durante a interação do usuário, em um tempo de 1.816s, o que é considerado uma forma de interação de tempo médio, com base na média de tempo gasto para realização de gestos simples.

A trajetória foi simplificada em 40 pontos equidistantes, representados em vermelho. O raio dos círculos maiores ao redor de cada ponto representa a distância calculada para a simplificação dos pontos.

O novo caminho gerado é então representado pela imagem superior direita, que contém apenas os pontos simplificados interligados.

Figura 6 Execução do Algoritmo $1 Dollar Recognizer

Figura 5 Arquitetura do Sistema

3) Associação do padrão reconhecido à uma forma

preexistente no banco de dados O algoritmo então realiza suas etapas de escala e

rotação para o melhor ângulo e realiza a comparação com os templates existentes no banco de dados, atribuindo a cada operação uma pontuação normalizada. A maior pontuação atribuída determina qual template deve ser escolhido.

A imagem inferior direita da Figura 6 apresenta a sobreposição dos pontos de entrada simplificados com os pontos registrados no banco de dados da aplicação. Observa-se a coerência do reconhecimento pela pontuação atribuída de aproximadamente 0.78 unidades. Deve-se determinar um limiar para o melhor reconhecimento para que, na inexistência de um padrão no banco de dados, não seja atribuída uma forma completamente diferente.

Pode-se deduzir pelos passos do algoritmo que o mesmo mostra-se eficiente apenas para bancos de dados pequenos. Para o exemplo em questão, o tempo gasto para reconhecimento foi em torno de 43% do tempo gasto pelo usuário para realizar o desenho.

Caso contrário, o tempo gasto com o reconhecimento pode superar o tempo disponível para a aplicação. Em casos como este, recomenda-se o uso de redes neurais artificiais que, apesar de dispenderem um tempo maior na etapa de treinamento, são bastante rápidas na etapa de reconhecimento.

4) Simplificação da forma reconhecida Uma vez reconhecida a forma desenhada, realiza-se

um processo de simplificação da mesma, capturando as

dimensões do esboço e substituindo-o pela forma padrão

correspondente com traços firmes.

A estas formas são adicionados eventos de toque para

edição das mesmas. Com um toque longo é permitida a

edição da forma em suas principais propriedades: escala,

rotação e translação, de modo que o ambiente possa ser

composto da maneira desejada pelo usuário.

C. Criação e Reconhecimento de novos Gestos

O dicionário de gestos apresentado na Figura 6 é

comum aos sistemas operacionais móveis predominantes

e pode ser utilizado para qualquer finalidade programada.

Entretanto é limitado aos movimentos básicos.

A criação de novos gestos é um processo que envolve

a entrada de dados do usuário em tempo real e o

processamento imediato da informação. Para isso, deve-se criar um algoritmo de retorno rápido e consistente,

garantindo assim a usabilidade do sistema.

O procedimento para elaborar gestos personalizados é

baseado não apenas no caminho percorrido, mas no seu

movimento de execução. Não é analisada apenas a

localização dos pontos percorridos, mas a relação entre

pontos subsequentes.

São realizadas as seguintes etapas no reconhecimento

do gesto:

a) Entrada de dados e formação do vetor de pontos

percorridos.

b) Criação de um vetor de direções. São analisadas

as relações entre os pontos, atribuindo a elas um

valor numérico no intervalo [0,7] que representa a

direção do movimento. O intervalo segue o sentido horário, começando da direção horizontal

no sentido partindo da esquerda para a direita. Os

demais valores seguem um passo de 45° a partir

deste. A Figura 7 apresenta a relação completa

dos sinais simples e compostos.

c) Eliminam-se os sinais repetidos sequencialmente,

a fim de evitar ambiguidade dos dados.

d) O vetor formado até então é suavizado, de modo

que três valores que indicam um caminho

quebrado possam ser simplificados por um único

valor. A composição [7,6,7], por exemplo, pode

ser substituída por [7].

Observando os passos descritos, um movimento

senoidal poderia ser descrito pela composição [6,7,1,7,6].

Uma vez que os gestos foram reconhecidos e figuras bidimensionais foram associadas a eles, começa-se então

o processo de criação do ambiente virtual, associando

novos modelos 3D aos esboços 2D reconhecidos.

D. Criação do ambiente virtual

A transformação do desenho bidimensional em um modelo 3D é feita através dos gestos criados

anteriormente. A associação das formas básicas aos

modelos é efetivada com base em um banco de dados do

aplicativo que contém todas as formas pertinentes ao seu

conteúdo.

Assim, é possível criar um modelo tridimensional a

partir de extrusões lineares e por rotação de um

determinado padrão. Para cada método de extrusão é

adotada uma sequencia de ações gestuais que realizam os

Figura 7 Dicionário de Sinais formadores de Gestos

passos do processo, apresentadas nas demais sessões deste

trabalho.

Foram adotados gestos com um dedo para a criação de

esboços 2D. Gestos realizados com dois dedos são

destinados à transformação dos esboços.

1) Extrusão Linear A Figura 8 apresenta em (a) o processo de extrusão

linear, ilustrando a interação do usuário para a realização

do mesmo. Observa-se a implementação do algoritmo $1

Dollar Recognizer nos passos A e B para o desenho

bidimensional. O primeiro passo após o desenho é a

transformação da perspectiva do desenho. Para isso,

utiliza-se o gesto Pan Down (Vetores [2] e [2]) para

realizar a rotação do desenho no eixo horizontal X. O

processo segue na etapa E com a extrusão da forma

linearmente no eixo vertical Y. O gesto associado a esta

etapa não é nativo dos sistemas operacionais

predominantes, mas foi implementado de forma que

utilize dois toques simulando o crescimento do caminho

de extrusão. Conhecido como Grow Up (vetores [] e [6]),

o gesto é feito mantendo um dos dedos pressionado sobre

a figura de extrusão e o outro se move de baixo para cima

a partir do ponto de toque. O efeito obtido é a criação do modelo extrudido.

2) Extrusão Spin O processo de extrusão spin, ou extrusão por rotação é

baseado em um profile, ou uma forma básica, que é rotacionada em torno de seu eixo, a fim de criar um objeto simétrico.

O método proposto é visualizado na Figura 8 (b). É possível perceber a maior flexibilidade do processo, permitindo ao usuário desenhar um profile personalizado, não necessariamente sendo uma das formas básicas presentes no banco de dados.

A rotação em torno do eixo vertical é realizada através do gesto de meia rotação (vetores [] e [0,1,2,3,4]). Pode-se adaptar o sistema de modo a aceitar qualquer um dos gestos de rotação, completa ou parcial.

O modelo criado também aceita as transformações geométricas básicas de escala, rotação e translação.

IV. ESTUDO DE CASO

Como ferramenta de validação da usabilidade do

sistema proposto, foi criado um aplicativo para mobile-learning voltado para o ensino de Física (mecânica simples).

O objetivo principal do sistema é permitir ao aluno a criação em tempo real de um sistema físico capaz de refletir seu alvo de estudo. O aluno pode desenhar sistemas presentes no material didático, estudados em sala de aula, ou ainda a concepção de uma nova configuração dos modelos.

O banco de dados do sistema conta com os principais elementos que podem compor os experimentos virtuais, tais como bolas, blocos, carros e planos inclinados.

A. Interface

A interface do aplicativo foi criada de acordo com os padrões de desenvolvimento para dispositivos móveis estabelecidos pelos principais desenvolvedores atuais, que podem ser vistos em [12].

Durante o processo de criação da interface do aplicativo foram observados principalmente os seguintes aspectos:

Usabilidade;

Estética;

Transições entre páginas;

Facilidade de aprendizagem;

Compatibilidade com diferentes dispositivos e sistemas operacionais.

(a)

(b)

Figura 8 Processos de Extrusão (a) Linear e (b) Spin

Com base nos tópicos referenciados, desenvolveu-se a

interface apresentada na Figura 9. Uma das características centrais de tal interface é sua dinamicidade, uma vez que é permitido ao usuário alterar a disposição do menu principal, para ajustá-lo à sua preferência.

Seguindo os princípios de desenvolvimento de interfaces para dispositivos móveis e os padrões das interfaces naturais, foram suprimidos os menus estáticos comuns a muitos softwares e aplicativos, de tal forma que apenas elementos mais relevantes a cada tela são vistos no display.

Uma vez que a interface está cada vez mais limpa, as transições entre as telas e o conteúdo apresentado devem ser exploradas, contribuindo para um aplicativo mais atraente ao usuário.

As facilidades da linguagem adotada permitiram a elaboração de um aplicativo com poucos elementos gráficos visíveis e bastante elegante em suas transições.

A paleta de cores escolhida é minimalista e segue as tendências de padrões web e mobile adotados pelos principais sites e aplicativos atuais.

As páginas foram conectadas seguindo um padrão em estrela, o que garante uma comunicação entre todas elas de forma direta, de tal forma que o usuário não precise retornar ao menu principal para alternar entre as páginas.

B. Funcionalidade

O aplicativo desenvolvido, na forma de prova de conceito, é baseado em esquemas básicos relacionados ao tópico em questão, que envolvem o movimento de objetos sólidos como caixas, carros e bolas sobre uma superfície. As características de cada elemento móvel e das superfícies, bem como do ambiente ao redor, influenciam no comportamento do móvel.

Tais parâmetros nem sempre são de fácil alteração durante os experimentos reais, como a ação da força gravitacional, por exemplo. A simulação em ambiente virtual permite ao estudante perceber o efeito de condições físicas extremas e/ou irreais, como gravidade negativa ou

com valores extremamente altos. A comparação entre estes parâmetros e os reais é de grande importância no aprendizado.

O aplicativo permite ao aluno alterar quaisquer parâmetros relacionados à geometria dos corpos, assim como as forças que atuam sobre os corpos e sobre o ambiente externo.

A criação do ambiente segue as premissas apresentadas anteriormente. O aluno começa pelo planejamento do sistema físico, esboçando por gestos os elementos que constituem o ambiente. Ao pressionar o modelo criado, ele é apto a alterar suas propriedades físicas, como peso e atrito, por exemplo.

Através do menu principal do aplicativo, o usuário é capaz de alterar as propriedades do ambiente, como forças externas que atuam diretamente sobre cada elemento, como gravidade e aceleração.

Uma vez criado o esboço, pode-se alternar entre as páginas de visualização e simular a interação física em Realidade Virtual ou Realidade Aumentada. Enquanto este apresenta o sistema sobre um marcador, utilizando a câmera do dispositivo, aquele tem como alvo da simulação o display do aparelho móvel.

C. Realidades Virtual e Aumentada

O esboço feito pelo aluno, ou apresentado pelo professor, pode ser visto através dos métodos de RV e RA e a interação é feita através da movimentação do dispositivo e/ou através de gestos de movimentação.

A Realidade Aumentada permite uma interação maior do usuário na navegação, permitindo a visualização do sistema sob diferentes ângulos com o simples movimento do marcador impresso. Este marcador pode ser incorporado aos materiais didáticos.

A Figura 10 apresenta um ambiente simples criado e apresentado em RV.

D. Navegação por aceleração

Foi determinado como padrão para o sistema o uso de gestos para desenho e transformações 3D. Para a navegação optou-se pelo uso das propriedades de giroscópio e acelerômetro. Ao girar o dispositivo, é

(a) (b) (c)

Figura 9 Interface do Aplicativo (a) Menu Principal;

(b) Página aberta; (c) Página aberta com menu.

(a) (b)

Figura 10 (a) Esboço feito pelo usuário; (b) Visualização em RV

possível selecionar o modo de visualização e o usuário pode girar o ponto de vista do ambiente 3D utilizando a alteração da rotação do dispositivo. Assim, uma rotação em torno do eixo Y pode ser feita girando levemente o dispositivo em seu eixo vertical.

A opção de usar ou não as propriedades de aceleração do dispositivo pode ser determinada pelo usuário, garantindo adequação do sistema a cada tipo de dispositivo. Caso opte por não utilizar a aceleração do dispositivo, o usuário poderá usar os gestos padrões do sistema operacional, como swipe e pan.

E. Comunicação

Uma das opções de utilização, denominada de modo online, permite aos usuários interagir entre si em um ambiente de criação colaborativo. O modo de utilização em rede é composto de um computador servidor, gerenciado pelo professor, e inúmeros aplicativos clientes, para cada aluno provido de dispositivo móvel. A conexão com a internet é opcional e acessa os dados pessoais do utilizador do sistema.

Ao criar um novo sistema, o usuário pode enviar uma mensagem ao professor ou ao grupo, propondo o compartilhamento dos seus dados, para que todos visualizem a simulação. Também é possível que o professor solicite a um aluno específico que complete o sistema apresentado em uma lousa digital, ou em um projetor.

O modo de conexão local permite a intercomunicação entre os dispositivos móveis. É importante ressaltar que o sistema não é limitado a smartphones. Outros dispositivos móveis, como tablets e notebooks, por exemplo, compatíveis com o sistema, podem comunicar-se através da rede local.

A comunicação pode ser limitada de acordo com as necessidades do ambiente escolar. O professor, atuando como servidor, possui privilégios de administrador do sistema, controlando o envio de mensagens e de esboços entre os alunos.

Um banco de dados está disponível em rede, para armazenar as configurações dos usuários, como históricos e sistemas favoritos. Também é retida a disposição do menu principal. Ao escolher o modo online, o sistema atualiza os dados do usuário ao entrar e ao sair do sistema.

V. CONCLUSÕES

Os métodos desenvolvidos neste trabalho para criação,

edição e navegação em ambientes de RV e RA

mostraram-se adequados aos sistemas móveis.

O uso de gestos - personificados - tornou o processo de

criação de ambientes 3D mais natural ao usuário,

facilitando a transição da tecnologia de computadores

pessoais para a computação móvel. Envolvendo um raciocínio simples, o sistema gestual

desenvolvido apresenta uma rápida curva de

aprendizagem, pois sua utilização é feita por associação

dos padrões naturais de movimentos.

Este método não somente facilita a navegação em

ambientes de RV e RA, mas apresenta uma forma de

interação com dispositivos móveis simples e intuitiva.

Desse modo, contribui-se para a expansão da utilização de dispositivos móveis para ensino, pois o usuário pode

beneficiar-se das facilidades do uso do aplicativo para

alcançar o aproveitamento máximo do conteúdo

apresentado.

O sistema proposto engloba características relevantes

de cada trabalho apresentado como correlato, unificando-

os em um aplicativo compatível com a tecnologia de

dispositivos móveis.

A colaboração entre alunos para a criação de um

sistema estudado no meio acadêmico mostrou-se eficiente

ao ser realizada através de dispositivos móveis conectados

a uma rede local ou global.

VI. TRABALHOS FUTUROS

Como trabalhos futuros, propõe-se o desenvolvimento

de outros métodos de reconhecimento gestual, buscando aperfeiçoar o processo de identificação de um número maior de gestos.

Podem ser explorados diferentes métodos de navegação envolvendo a interação entre dois ou mais dispositivos. Sugere-se também a geração de um ambiente de RV e RA com base no sistema físico característico da posição geográfica do usuário, buscando sua localização e verificando aspectos de relevo em bancos de dados online, por exemplo.

São inúmeras as aplicações do sistema para práticas de mobile-learning, como aplicativos que envolvam a utilização dos métodos de criação de sistemas para ensino de outras modalidades da Física ou para ensino de trigonometria, por exemplo.

Podem ser criados aplicativos para a alfabetização ou outros métodos de ensino da educação básica. A transformação de antigos métodos de ensino como o Tangram ou o Material Dourado de Montessori, por exemplo, podem ser adaptados para que os alunos transformem suas figuras e vejam a interação entre elas como peças de um quebra-cabeças virtual.

Aulas de desenho também podem fazer uso do sistema para ampliar os conceitos de perspectiva e sobreposição de imagens.

Outro possível trabalho envolve diferentes métodos de criação dos esboços 2D, como interpretação de imagens desenhadas, de forma que o aluno possa fotografar um esboço de sistema físico e o aplicativo transformá-lo em um ambiente 3D.

VII. REFERÊNCIAS

[1] ANATEL, Agência Nacional de Telecomunicações. “Relatório

Anual 2010”, disponível em <http://www.anatel.gov.br> Acessado

em 16 de agosto de 2011.

[2] A. Z. Saccol, N. Reinhard, “Tecnologias de Informaçăo Móveis, Sem Fio e Ubíquas: Definições, Estado-da-Arte e Oportunidades

de Pesquisa”, RAC, v.11, n.4, pp175-198, 2007.

[3] D. Wigdor, D. Wixon, “Brave NUI World: Designing Natural User Interfaces for Touch and Gesture”, Ed. 1, Morgan Kaufmann,

2011.

[4] C. Kray, D. Nesbitt, J.Dawson, M. Rohs, “User-Defined Gestures for Connecting Mobile Phones, Public Displays, and Tabletops”,

MobileHCI’10, Lisboa, Portugal, September 7-10, 2010.

[5] J. Rico, S. Brewster, “Usable Gestures for Mobile Interfaces:

Evaluating Social Acceptability”, CHI 2010, Atlanta, USA, April 10-15, 2010.

[6] Y. Zhang, S. Zhang, S. Vuong, K. Malik, “Mobile Learning with

bluetooh-based E-learning System”, Mobile Technology, Applications and Systems, vol. 15, 2005, p. 5.

[7] D. S. K. Seong, “Usability Guidelines for Designing Mobile

Learning Portals”, The 3rd

International Conference on Mobile Technology, Applications and Systems – Mobility 2006

[8] R. Davis, “Magic Paper:Sketch-Understanding Research”, IEEE

Computer Society, 2007.

[9] O. Bergig, J. Hagbi, J. El-Sana, M. Billinghurst, “In-Place 3D Sketching for Authoring and Augmenting Mechanical Systems”, 8

th IEEE International Symposium on Mixed and Augmented Reality (ISMAR 2009), 2009, p.87-94.

[10] S. Bae, R. Balakrishnan, K. Singh, “ILoveSketch: As-natural-as-

possible system for creating 3D curve models”, ACM Symposium on User Interface Software and Technology, Monterey, CA, USA,

2008.

[11] J. O. Wobbrock, A. D. Wilson, Y. Li, “Gestures without Libraries,

Toolkits or Training: A $1 Recognizer for User Interface Prototypes”, UIST’07, Newport, USA, October 7-10, 2007.

[12] Android Developers, “Android Design”, disponível em <

http://developer.android.com/design/patterns/navigation.html> Acessado em 07 de Janeiro de 2012