BEATRIZ MIHO ANAMI

BOAS PRÁTICAS DE REALIDADEAUMENTADA APLICADAS À EDUCAÇÃO

LONDRINA–PR

2013

BEATRIZ MIHO ANAMI

BOAS PRÁTICAS DE REALIDADEAUMENTADA APLICADAS À EDUCAÇÃO

Trabalho de Conclusão de Curso apresentadoao curso de Bacharelado em Ciência da Com-putação da Universidade Estadual de Lon-drina para obtenção do título de Bacharel emCiência da Computação.

Orientador: Prof. Dr. Alan Salvany Felinto

LONDRINA–PR

2013

Beatriz Miho AnamiBoas práticas de realidade aumentada aplicadas à educação/ Beatriz Miho

Anami. – Londrina–PR, 2013-49 p. : il. (algumas color.) ; 30 cm.

Orientador: Prof. Dr. Alan Salvany Felinto

– Universidade Estadual de Londrina, 2013.

1. Realidade aumentada. 2. Tecnologia educacional. I. Prof(a). Dr(a). AlanSalvany Felinto. II. Universidade Estadual de Londrina. III. Faculdade de Cien-cia da Computação. IV. Boas práticas de realidade aumentada aplicada à educação

CDU 02:141:005.7

BEATRIZ MIHO ANAMI

BOAS PRÁTICAS DE REALIDADEAUMENTADA APLICADAS À EDUCAÇÃO

Trabalho de Conclusão de Curso apresentadoao curso de Bacharelado em Ciência da Com-putação da Universidade Estadual de Lon-drina para obtenção do título de Bacharel emCiência da Computação.

BANCA EXAMINADORA

Prof. Dr. Alan Salvany FelintoUniversidade Estadual de Londrina

Orientador

Prof. Dr. Segundo Membro da BancaUniversidade Estadual de Londrina

Prof. Msc. Terceiro Membro da BancaUniversidade Estadual de Londrina

Londrina–PR, 24 de novembrode 2013

LONDRINA–PR2013

Este trabalho é dedicado às crianças adultas que,quando pequenas, sonharam em se tornar cientistas.

AGRADECIMENTOS

Agradeço a todos que contribuiram para a realização deste trabalho.

“Nenhum homem realmente produtivo pensacomo se estivesse escrevendo uma dissertação.”

Albert Einstein

ANAMI, B. M.. Boas práticas de realidade aumentada aplicadas àeducação. 49 p. Trabalho de Conclusão de Curso (Graduação). Bachareladoem Ciência da Computação – Universidade Estadual de Londrina, 2013.

RESUMO

Existem diversos sistemas de realidade aumentada que visam aprimorar oaprendizado por parte dos alunos. Porém, somente o uso da tecnologia não propor-ciona ganho significativo para a aquisição de conhecimento. Pretende-se, através doestudo da literatura existente, formular um conjunto de boas práticas na concepçãode sistemas de realidade aumentada aplicadas à educação e empregá-las em umaaula de equações lineares, onde será utilizada uma ferramenta de realidade aumen-tada para a visualização de gráficos em 3 dimensões. O projeto, além de agregarconhecimento ao aluno, servirá de base para futuros trabalhos na área de reali-dade aumentada para o Departamento de Ciência da Computação da UniversidadeEstadual de Londrina.

Palavras-chave: realidade aumentada, tecnologia educacional.

ANAMI, B. M.. Best practices of augmented reality applied to educa-tion. 49 p. Final Project (Undergraduation). Bachelor of Science in ComputerScience – State University of Londrina, 2013.

ABSTRACT

There are many augmented reality systems that aim to improve studentsgain of knowledge. However, the use of technology itself does not necessarily meansimprovement in learning. Through the study of existing literature, there will be seta series of best practices to plan and develop augmented reality tools for educationthat are more significant for learning. The results will be shown in a class aboutlinear equations, where a tool of augmented reality will be used to plot three di-mensional graphs. All the conclusions reached by this project will possibly be takenfor future developments in the field of augmented reality at Universidade Estadualde Londrina in the Computer Science department.

Keywords: augmented reality, educational technology.

LISTA DE ILUSTRAÇÕES

Figura 1 – Reality-virtuality continuum de Milgram . . . . . . . . . . . . . . . . . 31Figura 2 – Sensorama . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33Figura 3 – O HMD de Ivan Sutherland . . . . . . . . . . . . . . . . . . . . . . . . 34Figura 4 – Videoplace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35Figura 5 – Vista de gráfico sobreposto através do HMD no KARMA . . . . . . . . 36

LISTA DE TABELAS

SUMÁRIO

Introdução . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

I Preparação da pesquisa 23

1 Objetivos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

2 Justificativa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

II Revisão de Literatura 29

3 Realidade Aumentada . . . . . . . . . . . . . . . . . . . . . . . . . . . . 313.1 Definição e conceitos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 313.2 Breve histórico . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 323.3 Tecnologias . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

3.3.1 Display . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 343.3.1.1 Head mounted displays . . . . . . . . . . . . . . . . . . . 353.3.1.2 Handled displays . . . . . . . . . . . . . . . . . . . . . . 353.3.1.3 Projection displays . . . . . . . . . . . . . . . . . . . . . 35

3.3.2 Input . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 353.3.3 Tracking sensors . . . . . . . . . . . . . . . . . . . . . . . . . . . 36

3.4 Aplicações . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363.4.1 Medicina . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363.4.2 Manufatura . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363.4.3 Entretenimento . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363.4.4 Militar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363.4.5 Educação . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36

3.5 Ferramentas para desenvolvimento de sistemas de realidade aumentada . 363.5.1 ARToolKit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363.5.2 OpenCV . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36

4 Realidade aumentada aplicada à educação . . . . . . . . . . . . . . . . 374.1 Aspectos pedagógicos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

4.1.1 Teorias cognitivas . . . . . . . . . . . . . . . . . . . . . . . . . . . 374.1.2 Vantagens . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

4.2 Quando a realidade aumentada é uma boa opção . . . . . . . . . . . . . 37

5 Uso da realidade aumentada na matemática . . . . . . . . . . . . . . . 395.1 Construct 3D . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39

6 Proposta de um sistema para visualização de sistemas de equaçõeslineares com tres incógnitas . . . . . . . . . . . . . . . . . . . . . . . . . 416.1 Ferramentas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41

IIIResultados 43

7 Resultados da pesquisa . . . . . . . . . . . . . . . . . . . . . . . . . . . . 457.1 Boas práticas de sistemas de realidade aumentada em educação . . . . . 457.2 Significancia da ferramenta desenvolvida . . . . . . . . . . . . . . . . . . 45

Conclusão . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

Referências . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49

21

INTRODUÇÃO

A realidade aumentada é a impressão de elementos virtuais em ambientes reais,acrescentando informações ou dados ao mundo real. No âmbito da educação, a realidadeaumentada pode ser utilizada de várias formas, como por exemplo, estimulando o estu-dante na análise do mundo real ao ofertar informações suplementares, objetos virtuais,ligadas ao ambiente real. Ela pode também se estender na integração do mundo real comrecursos de aprendizado digitais, por exemplo, possibilitando a visualização de fenômenosque não podem ser reproduzidos em ambiente real. E, por fim, a manipulação de materiaisvirtuais em uma variedade de perspectivas [1].

Porém, de acordo com [1], a tecnologia envolvida no processo de criação de umambiente de realidade aumentada, por si só, não oferta grandes benefícios à educação.A tecnologia deve servir de apoio e oferecer recursos para um aprendizado significativo.Logo, a realidade aumentada deve ser tratada mais como um conceito na educação doque uma tecnologia, já que o foco está no aprendizado resultante da tecnologia envolvidano processo.

O presente trabalho é, portanto, uma abordagem da realidade aumentada que sejasignificativa para a educação em geral, através da definição de um ambiente de aprendizadoe implementação de uma ferramenta que exemplifique os estudos realizados.

Ainda que a realidade aumentada não seja um assunto recente, os principais de-senvolvimentos na área de educação se concentram nas duas última décadas, citados por[2] em trabalhos correlatos e em [1]. Logo, um estudo da relevância dos métodos e fer-ramentas de realidade aumentada utilizadas em educação se faz necessário, para que atecnologia possa ser bem empregada no cotidiano de ensino.

Parte I

Preparação da pesquisa

25

1 OBJETIVOS

Os objetivos do trabalho são:

∙ Construção de uma lista de boas práticas na utilização de tecnologias de realidadeaumentada aplicadas na educação;

∙ Aplicar as boas práticas, definidas anteriormente, em uma aula de equações lineares,onde será utilizada uma ferramenta de realidade aumentada que desenhe os gráficosdas equações em 3D;

∙ Proporcionar uma base de conhecimento para futuros desenvolvimentos na área derealidade aumentada para o grupo de pesquisa em mídias digitais da UniversidadeEstadual de Londrina.

27

2 JUSTIFICATIVA

Ao expor as boas práticas de aplicação da realidade aumentada na educação,espera-se que o aluno e os leitores do trabalho possam compreender as dificuldades naagregação da tecnologia de realidade aumentada no cotidiano de ensino e os benefíciosque ela traz ao estudante quando projetada e desenvolvida de forma adequada.A contribuição à área de pesquisa é o documento que poderá ser utilizado de base parao desenvolvimento de novas ferramentas eficientes de realidade aumentada no ensino dediversas disciplinas, sendo adaptada de acordo com a necessidade de cada situação.Além disso, a pesquisa servirá de base para futuros desenvolvimentos do grupo de estudosde mídias digitais da Universidade Estadual de Londrina.

Parte II

Revisão de Literatura

31

3 REALIDADE AUMENTADA

Neste capítulo, serão abordados os conceitos e definições de realidade aumentadapropostos por diversos autores. Será apresentada, também, uma breve história da evoluçãoda realidade aumentada e o estado da arte das tecnologias em hardware e software para aconcepção de sistemas de realidade aumentada e as áreas onde esta tecnologia está sendoaplicada.

3.1 DEFINIÇÃO E CONCEITOS

A realidade aumentada é uma tecnologia que permite a projeção de dados e infor-mações virtuais em objetos do mundo real [3]. Ela é classificada como uma variação darealidade virtual. Porém, enquanto a realidade virtual transporta o usuário a um ambientecompletamente sintético, a realidade aumentada apenas aprimora a realidade.

Para melhor elucidar os conceitos relativos à virtualidade, foi definido o reality-virtuality continuum (contínuo da virtualidade) [4], onde a relidade aumentada e virtualnão são antagônicas, e sim parte de um contínuo, ilustrado pela Figure 1 a seguir:

Figura 1 – Reality-virtuality continuum de Milgram

Fonte: [4]

Dentro do reality-virtuality continuum existem 4 grandes categorias de classificaçãoda virtualidade:

∙ Real environment (ambiente real): o extremo esquerdo do contínuo, é a visão de umambiente formada apenas por objetos reais;

∙ Augmented reality (realidade aumentada): o mundo real é o ambiente principal e éaumentado através de dados gerados por computador;

∙ Augmented virtuality (virtualidade aumentada): o mundo virtual é o ambiente prin-cipal e é aumentado por objetos do mundo real;

32 Capítulo 3. Realidade Aumentada

∙ Virtual environment (ambiente virtual): é um ambiente completamente formadopor objetos virtuais. A realidade é completamente substituída por um ambientetotalmente sintético.

Os sistemas de realidade aumentada são caracterizados por três propriedades:

∙ Combinação de objetos reais e virtuais em um ambiente real;

∙ Execução em tempo real com interatividade;

∙ Alinha os objetos reais e virtuais entre si.

O sistema é caracterizado desta maneira, para que a realidade aumentada não sejalimitada a apenas um tipo de tecnologia [5].

3.2 BREVE HISTÓRICO

O primeiro registro do uso da realidade aumentada data de 1962, onde o cine-grafista Morton Heilig desenvolveu um simulador de motocicleta, denominado Sensorama(Figure 2), que envolvia o usuário em um ambiente de tecnologia multi-sensorial, comrecursos visuais, auditivos, vibração e cheiro.

Em 1966, Ivan Sutherland inventou o optical see-through HMD (head-mounted dis-play), uma tecnologia de display utilizada em realidade aumentada e virtual. Será melhordefinida na próxima seção. Dois anos depois ele criou o primeiro sistema de realidadeaumentada, entitulado The Sword of Damocles (Figure 3), que utilizava o HMD.

No ano de 1975, Myron Krueger criou um sistema de realidade aumentada que,pela primeira vez, permitia que os usuários interagissem com objetos virtuais. O videoplace(Figure 4).

Quase duas décadas depois, Tom Caudell e David Mizell receberam o mérito peladefinição do termo realidade aumentada durante uma pesquisa de desenvolvimento deum software que facilitasse o processo de produção da Boeing, através da sobreposiçãodo arranjo de cabos, facilitando o trabalho de montagem. Eles também são reconhecidospelo início das discussões das vantagens da realidade aumentada sobre a realidade virtual[7].

Na mesma época, o grupo de pesquisadores Steven Feiner, Blair MacIntyre e DoreeSeligman, apresentaram o KARMA (Knowledge-based Augmented Reality for MaintenanceAssistance), que é um protótipo de um sistema que se utiliza de um HMD para explicar amanutenção de uma impressora para o usuário final [8]. A Figure 5 apresenta a visualizaçãoda impressora através do HMD pelo sistema KARMA.

3.3. Tecnologias 33

Figura 2 – Sensorama

Fonte: [6]

Em 1994, Paul Milgram e Fumio Kishino apresentaram o conceito de reality-virtuality continuum em [4], já apresentado na seção anterior (Figure 1), e define quea realidade aumentada e virtualidade aumentada estão inseridas neste continuum, a pri-meira mais próxima ao mundo real e a segunda mais próxima do ambiente virtual.

A primeira aparição dos marcadores, foi em 1996, desenvolvido por Jun Rekimotono protótipo NaviCam. O marcador, que será discutido na próxima seção, é uma dasformas de apresentar os objetos ou informações digitais no espaço real.

Ronald Azuma, no ano seguinte, publicou o primeiro survey na área de realidadeaumentada, [9], onde definiu a realidade aumentada de forma que é utilizada até hoje. Noano de 2001, Azuma em [5], atualizou o survey.

3.3 TECNOLOGIAS

Em [10] são citadas as principais tecnologias, dispositivos e equipamentos uti-lizados em sistemas de realidade aumentada, os equipamentos para exibição (display),computador e dispositivos de entrada (input) e rastreamento (tracking).

34 Capítulo 3. Realidade Aumentada

Figura 3 – O HMD de Ivan Sutherland

Fonte: [6]

3.3.1 Display

Os equipamentos de display são principalmente os See-through display e o Monitor-based display. O primeiro mostra ao usuário o mundo real já sintetizado pelo mundovirtual, ou seja, o usuário tem uma única imagem do mundo onde o ambiente real e virtualjá estão integrados. Já o Monitor-based display, permite a visualização dos ambientes reale virtual separadamente.

Um Head-mounted device é um dispositivo de See-through display utilizado comoum óculos ou um capacete. Ele permite a visualização em Video-see through system,utilizado, em geral, quando é necessário um sistema de aperfeiçoamento de imagem, eOptic-see through system, que permite a sobreposição de informações na visualização domundo real.

Os hand held displays, são dispositivos portáteis, providos de uma câmera, que seutilizam da técnica de Video-see through. São exemplos de Handled displays os Smartpho-nes, PDAs e Tablets que contenham uma câmera.

Uma outra forma de exibir informações gráficas em objetos físicos ou no ambientereal, porém sem a necessidade de carregar ou vestir um equipamento é o Spatial display,

3.3. Tecnologias 35

Figura 4 – Videoplace

Fonte: [6]

que se utiliza de projetores de vídeo e hologramas, por exemplo. O Projection displayé um tipo de Spatial display, utilizado para projetar imagens em 3D no ambiente real,criando um objeto de aparência realista.

3.3.1.1 Head mounted displays

3.3.1.2 Hand held displays

3.3.1.3 Spatial displays

3.3.2 Input

O último equipamento citado por [10], foi o Pinch Gloves, que são luvas para acaptação de movimentos utilizados para interagir com os objetos virtuais. Não somenteos Pinch Gloves podem ser utilizados como formas de interagir com o ambiente virtual,mas também objetos e dispositivos que possam mandar sinais de posição e orientaçõespara imagens de câmera.

36 Capítulo 3. Realidade Aumentada

Figura 5 – Vista de gráfico sobreposto através do HMD no KARMA

Fonte: [8]

3.3.3 Tracking sensors

3.4 APLICAÇÕES

3.4.1 Medicina

3.4.2 Manufatura

3.4.3 Entretenimento

3.4.4 Militar

3.4.5 Educação

3.5 FERRAMENTAS PARA DESENVOLVIMENTO DE SIS-TEMAS DE REALIDADE AUMENTADA

3.5.1 ARToolKit

Ferramenta ARToolKit

3.5.2 OpenCV

Ferramenta OpenCV para processamento em real time environment

37

4 REALIDADE AUMENTADA APLICADA ÀEDUCAÇÃO

Dentro do contexto de educação, o texto de [1] demonstra que a realidade au-mentada oferece ao usuário conteúdos de aprendizagem em perspectiva 3D, aprendizagemubíqua, colaborativa e situada, senso de presença, imediatismo e imersão pelo usuário,visualização do que é invisível e uma ligação entre a aprendizagem formal e informal.

Através do estudo de artigos publicados anteriormente, [1] mostra que os sistemasde realidade aumentada ajudaram os estudantes a desenvolver habilidades e conhecimen-tos de maneira mais efetiva em relação a outros tipos de tecnologias de aprendizado,proporcionam também o aumento do interesse e motivação do aluno no aprendizado, fa-vorecendo o desenvolvimento de novas habilidades e ganho de conhecimento mais precisosobre o tópico.

Além disso, os sistemas de realidade aumentada, ofereceram uma solução paraáreas de conhecimento onde o aprendizado depende do entendimento de conceitos abstra-tos, criando a visualização virtual de experiências, conceitos ou fenômenos que não podemser vistos no mundo real.

4.1 ASPECTOS PEDAGÓGICOS

[3] [10] [11] [12]

4.1.1 Teorias cognitivas

[13]

4.1.2 Vantagens

São várias.

4.2 QUANDO A REALIDADE AUMENTADA É UMA BOAOPÇÃO

39

5 USO DA REALIDADE AUMENTADA NA MA-TEMÁTICA

5.1 CONSTRUCT 3D

[14]

41

6 PROPOSTA DE UM SISTEMA PARA VISUA-LIZAÇÃO DE SISTEMAS DE EQUAÇÕES LI-NEARES COM TRES INCÓGNITAS

Através dos conceitos apresentados será formulado um sistema de realidade au-mentada que projete em um marcador definido, resultados de equações de primeiro graucom tres incógnitas.

6.1 FERRAMENTAS

Visual C++

ARToolKit

Parte III

Resultados

45

7 RESULTADOS DA PESQUISA

7.1 BOAS PRÁTICAS DE SISTEMAS DE REALIDADE AU-MENTADA EM EDUCAÇÃO

Lista com as boas práticas em RA.

7.2 SIGNIFICANCIA DA FERRAMENTA DESENVOLVIDA

Análise da ferramenta implementada.

47

CONCLUSÃO

No conclusion yet.

49

REFERÊNCIAS

1 WU, H.-K. et al. Current status, opportunities and challenges of augmented realityin education. Computers & Education, Elsevier Science Ltd., Oxford, UK, UK, v. 62, p.41–49, mar 2013.

2 SAYED, N. A. M. E.; ZAYED, H. H.; SHARAWY, M. I. Arsc: Augmented realitystudent card. Computers & Education, v. 56, n. 4, p. 1045–1061, 2011.

3 CUENDET, S. et al. Designing augmented reality for the classroom. Computers& Education, 2013. ISSN 0360-1315. Disponível em: <http://www.sciencedirect.com-/science/article/pii/S0360131513000547>.

4 MILGRAM, P. et al. Augmented reality: A class of displays on the reality-virtualitycontinuum. In: . [S.l.: s.n.], 1994. p. 282–292.

5 AZUMA, R. et al. Recent advances in augmented reality. IEEE Comput. Graph.Appl., IEEE Computer Society Press, Los Alamitos, CA, USA, v. 21, n. 6, p. 34–47, nov.2001.

6 FURHT, B. (Ed.). Handbook of Augmented Reality. [S.l.]: Springer, 2011. ISBN978-1-4614-0063-9.

7 SUNG, D. The history of augmented reality. 2011. Disponível em: <http://www-.pocket-lint.com/news/108888-the-history-of-augmented-reality>.

8 FEINER BLAIR MACINTYRE, D. S. S. Knowledge-based Augmented Reality forMaintenance Assistance. Disponível em: <http://graphics.cs.columbia.edu/projects-/karma/karma.html>.

9 AZUMA, R. A Survey of Augmented Reality. 1997.

10 KESIM, M.; OZARSLAN, Y. Augmented reality in education: Current technologiesand the potential for education. Procedia - Social and Behavioral Sciences, v. 47, p.297–302, 2012.

11 PENGCHENG, F.; MINGQUAN, Z.; XUESONG, W. The significance andeffectiveness of augmented reality in experimental education. In: E -Business and E-Government (ICEE), 2011 International Conference on. [S.l.: s.n.], 2011. p. 1–4.

12 BILLINGHURST, M.; DüNSER, A. Augmented reality in the classroom. Computer,IEEE Computer Society, Los Alamitos, CA, USA, v. 45, n. 7, p. 56–63, 2012. ISSN0018-9162.

13 CARMICHAEL, G.; BIDDLE, R.; MOULD, D. Understanding the power ofaugmented reality for learning. In: BASTIAENS, T.; MARKS, G. (Ed.). Proceedings ofWorld Conference on E-Learning in Corporate, Government, Healthcare, and HigherEducation 2012. Montréal, Quebec, Canada: AACE, 2012. p. 1761–1771. Disponível em:<http://www.editlib.org/p/41864>.

14 KAUFMANN, H.; SCHMALSTIEG, D. Mathematics and geometry education withcollaborative augmented reality. Computers & Graphics, v. 27, p. 339–345, 2003.