1. Um Arcabouo para o Desenvolvimento de Aplicaes de Realidade Aumentada para Dispositivos Portteis com o Uso de Mltiplos Sensores Maurlio Silva Orientadores: Hyggo Almeida Angelo Perkusich

2. Introduo fato! Aplicaes de RA em dispositivos portteis aos poucos esto se tornando uma realidade; A medida que novos sensores so adicionados, maior poder de processamento e redes de dados mais velozes vo surgindo, esse tipo de aplicao s tende a crescer; Entretenimento, publicidade, aplicaes mdicas e educacionais so apenas algumas das reas que podem se beneficiar de um uso massivo dos sistemas de RA. 2 3. Introduo A Realidade Aumentada A Realidade Aumentada (RA) o campo de pesquisa da cincia da computao que combina o mundo real com dados digitais (SILTANEN, 2012); Os primeiros sistemas foram focados em aplicaes militares, industriais e mdicas, mas sistemas voltados para uso comercial e de entretenimento apareceram logo em seguida (KREVELEN & POELMAN, 2010). 3 4. Introduo Caractersticas A capacidade de combinar objetos reais e virtuais em um ambiente real; Registrar/alinhar estes objetos uns com os outros de modo a permitir a iluso de completude da cena; Serem executados de forma interativa, fazendo o uso de imagens tridimensionais e em tempo real. 4 5. Introduo reas de aplicao Sistemas de informao pessoal; Aplicaes industriais e militares; Aplicaes mdicas; Entretenimento; Educao e treinamento. Tipos de aplicaes Indoor (ambientes preparados): Uso de marcadores; Outdoor (ambientes sem preparao). 5 6. Global pose estimation using multi-sensor fusion for outdoor augmented reality Hardware para ambientes sem preparao; GPS para registro e posicionamento do usurio; Rastreamento via GPS + sensores inerciais; Uso do filtro de Kalman para melhorar preciso e remover interferncias dos dados do rastreamento. Trabalhos Relacionados 7 7. A survey of augmented reality technologies, applications and limitations Survey; Ponto de partida de estudo; Problemas e avanos da RA; Requisitos adicionais para RA mvel; reas de aplicao. Trabalhos Relacionados 8 8. Application of Dynamic Binaural Signals in Acoustic Games Sistema de som 3D, baseado apenas em um canal de udio; Posicionamento espacial do usurio via sensores; Uso do filtro de Kalman para melhorar preciso dos dados; Uso de dispositivo Android para o prottipo. Trabalhos Relacionados 9 9. Theory and Applications of Marker-based Augmented Reality Survey; Foco em aplicaes com marcador; Uso da cmera como principal sensor; Uso da cmera para o registro e rastreamento da cena. Trabalhos Relacionados 10 10. Problemtica complexo desenvolver aplicaes de RA Alta demanda de conhecimento Processamento de imagens Viso computacional Sensores Pr-requisitos acabam dificultando o desenvolvimento e a massificao deste tipo de aplicao 12 11. Problemtica preciso sentir/perceber o ambiente Acompanhar o movimento do usurio Determinar a orientao do usurio um problema Continua complexo sem soluo padronizada Necessidade de maior preciso dos dados dos sensores Maior variedade de entradas Rastreamento e posicionamento Fcil para ambientes fechados Problemtico em ambientes abertos 13 12. Problemtica Problema Desenvolvedor: manipulao de multiplos sensores em aplicaes envolve muito tempo e esforo E por que essa dificuldade? So necessrios do desenvolvedor conhecimentos especficos de processamento de imagens, viso computacional, bem como tratar individualmente os dados de cada um dos sensores envolvidos no sistema. 14 13. Objetivo Desenvolver um arcabouo para o desenvolvimento de aplicaes de realidade aumentada para dispositivos portteis utilizando mltiplos sensores. Objetivos Especficos Identificar os principais sensores envolvidos neste tipo de aplicao; Definir e implementar o arcabouo; Desenvolver trs aplicaes como forma de validar o arcabouo. 16 14. MOBILE TOOLKIT FOR AUGMENTED REALITY 17 15. Viso Geral 18 16. Arquitetura do Arcabouo 19 17. Arquitetura do Arcabouo Parte do arcabouo onde esto localizados os sensores do dispositivo 20 18. Arquitetura do Arcabouo Mdulos do arcabouo 21 19. Mdulo de Aquisio Responsvel pelo encaminhamento dos dados para o Mdulo de Tratamento 22 20. Mdulo de Tratamento Responsvel pelo tratamento e extrao dos dados que iro servir para compor a cena 23 21. Mdulo de Tratamento Composto por dois submdulos: ImageData Cmera + Marcador Usa a biblioteca AndAR SensorData 24 22. Mdulo de Tratamento Composto por dois submdulos: ImageData SensorData Filtro de Kalman 25 23. Mdulo de Tratamento Fuso de dados dos sensores 26 24. Mdulo de Tratamento Funcionamento do Filtro 27 25. Mdulo de Tratamento Funcionamento do Filtro 28 26. Mdulo de Tratamento Funcionamento do Filtro 29 27. Mdulo de Tratamento Funcionamento do Filtro 30 28. Mdulo de Montagem Responsvel pela juno dos dados obtidos do mundo real atravs dos sensores, com as informaes e objetos do mundo virtual 31 29. Mdulo de Projeo Responsvel pela projeo, no display do dispositivo, da cena gerada pelo Mdulo de Montagem 32 30. Extensibilidade do Arcabouo Modelos de cenas podem ser extendidos Cmera + Marcador Cmera + Sensores Sensores 34 31. Extensibilidade do Arcabouo Modelo de cena base (SceneBase) pode ser implementado init() start() stop() pause() update() render() dispose() 35 32. USANDO O ARCABOUO 36 33. Escolha de Cena 37 34. Configurando a Cena 38 class MyScene extends SceneModelA { public void init() { } public void pause() { } public void update() { } public void render() { } public void dispose() { } . } 35. Instanciando o Arcabouo 39 01 class MymTKarApp extends mTKarActivity { 02 MyScene scene; 03 MyObject3D obj; 04 05 public void init() { 06 scene = new MyScene(); 07 obj = new MyObject3D; 08 scene.loadObject(obj); 09 this.setScene(scene); 10 this.start(); 11 } 12 13 } 36. ESTUDOS DE CASO Os trs modelos de cenas permitem ao desenvolvedor criar uma boa variedade de aplicaes voltadas para as reas de entretenimento, educao, jogos e publicidade. 40 37. NavegAR 41 38. NavegAR 42 39. Visualizador de Objetos 43 40. Visualizador de Objetos 44 41. Navegador de Ambientes 45 42. Navegador de Ambientes 46 43. Consideraes finais Espera-se ganho de tempo ao utilizar o arcabouo; Limitaes: disponvel apenas para a plataforma Android; Trabalho futuro: Aplicao e anlise de resultados Portar para outras plataformas Suporte interao com objetos, alm das cenas Foco em sensores inerciais e GPS 48 44. Agradecimentos 49 UFCG / CAPES / COMPAL / HP 45. Referncias SILTANEN, Sanni. Theory and applications of marker-based augmented reality. VTT Science, 2012. DWF Van KREVELEN and R POELMAN. A survey of augmented reality technologies, applications and limitations. Int. J. Virtual Reality, 9(2):120, 2010. 50