realidade aumentada em ambientes móveis e sua aplicação ... · meticube is a spin-off of the...

Meticube is a spin-off of the INI-GraphicsNet 15.MAI.2006

Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso prático: ULTRA

Seminário ESTG

Carlos Fernandes

2


Seminário ESTG 15.MAI.2006

Conteúdo

> Parte I - Realidade Aumentada

> O que é ?

> Motivações

> Realidade Aumentada vs. Realidade Virtual

> Sistema Típico

> Tipos Display

> Tecnologias de Tracking

> Exemplos Aplicacionais

> Alguns Problemas

> Parte II – Projecto ULTRA

> Conceito

> Arquitectura

> Runtime System

> Authoring Tools

> Hardware

> Tele-Consultation

> Status do projecto

> Trabalho Futuro

> Exploração Comercial

3



I - Realidade Aumentada - O que é ?

> Variação da Realidade Virtual Convencional

> Combina objectos do mundo real

com objectos do mundo virtual

> Executada em tempo real e interactiva;

> Meio termo entre telepresença e

ambientes colaborativos

4



I - Realidade Aumentada - Motivações

> Ampliar a percepção do utilizador

> Mostrar ao utilizador informações que não estão presentes na realidade e não podem ser obtidas pelos sentidos humanos

> Auxiliar os utilizadores a realizar tarefas complexas

> Objectivo final - criar um sistema em que o utilizador não consiga distinguir o mundo real do virtualmente aumentado.

5



I - Realidade Aumentada vs. Realidade Virtual

> Realidade Virtual: Imersão completa do utilizador no Mundo Virtual.

> Realidade Aumentada: Imersão no Mundo Real mas com objectos virtuais embutidos nesse mundo real. Exemplo Realidade Virtual

Exemplo Realidade Aumentada

Espectro de Realidade Virtual

6



I - Realidade Aumentada - Sistema Típico

> Dispositivo de Captação de Imagem (Video Câmara).

> Sistema de “Tracking”

> obrigatoriamente do Dispositivo de Captação de Imagem.

> eventualmente de outros elementos reais que se movimentem.

> Sistema Gráfico para gerar objectos virtuais

> Sistema que misture os mundos.

> Dispositivo de Apresentação (Display)

> Head-mounted displays (HMD) / Monitor / Projector.

Mundo Real

Câmara

Virtual

Sistema Gráfico

Sistema de “Tracking”

( Para alinhar a

Câmara Virtual

com a Câmara Real )

ObjectoVirtual

Imagem

Real

Imagem

Virtual

7



I - Realidade Aumentada – Tipo Display (1/4)

> Optical See-Trough AR: utilizacapacetes de Realidade Virtual (HMD) transparentes para apresentaro ambiente virtual directamente sobreo mundo real.

> Vantagens> o mundo real é “realmente” observado

em tempo real e directamente pelo olho humano.

> Desvantagens: > é mais difícil controlar os desfasamentos

porque só o canal virtual é processado electronicamente.

> Conclusão: > aparentemente mais simples torna-se de

utilização mais limitada.> Tem sido abandonado em favor do Video

See-through

8




> Video See-Trough AR: utilizacapacetes de Realidade Virtual (HMD) com câmaras de vídeo paraapresentar imagens combinadas do mundo real e o ambiente virtual.> Vantagens

> Podemos compensar o alinhamento e a latência porque tanto o mundo real (vídeo) como o virtual são processados electronicamente.

> Desvantagens: > O mundo real observado está sempre

atrasado em relação ao mundo real de facto (pelo menos 30 ms).

> Conclusões: > Aparentemente mais complexo é mais

controlável.> Tem ganho preponderância sobre o

Optical See through

9




> Monitor Based AR: utiliza monitores

convencionais de computador

(desktop) ou portáteis

(Palm/PocketPC) para apresentar

imagens combinadas de vídeo e

ambientes virtuais.

10




> Projector Based AR: utiliza os

objectos reais do mundo como

superfícies de projecção para o

ambiente virtual.

11



I - Realidade Aumentada – Tecnologias de Tracking

> Tecnologias de Radiolocação> Fraca precisão… mas aplicáveis em grandes espaços

> Tecnologias Magnéticas> Objectos metálicos introduzem erros...(abandonada...)

> Tecnologias Ópticas> Diodos sensíveis à luz - emissores luminosos no HMD - algoritmo

calcula deslocamentos.> Metodologias Gráficas (algoritmos de processamento

imagem)> Cálculos e transformações geométricas com base na imagem.

> Tecnologias Híbridas> Tecnologia Óptica e Métodos Gráficos > Tecnologias de radiolocação - Ópticas e Gráficas (para grandes

espaços)

12



I - Realidade Aumentada – Exemplos Aplicacionais

> Entretenimento

> Retiram o jogador da frente do monitor, estimulando o contacto com o mundo real e actividades sociais.

> Exemplos: ARQuake, Human Pacman

> GIS - Sistemas Navegação Avançados

> As indicações (ex. mudança de direcção, informações turisticas, etc) podem ser mostrados directamente no ambiente real

13



I - Realidade Aumentada – Vídeo 1 - jogo colaborativo AR

14




> Medicina

> Cirurgia Guiada por imagem

> Ultrasons com AR

> Tratamento de doentes de Parkinson (estimulação com AR)

> Manutenção/Reparação

> Os manuais dos equipamentos podem ser substituidos por manuais AR, em que o técnico éguiado nas tarefas de reparação com anotações e informações pertinentes para a reparação em causa.

15



I - Realidade Aumentada – Vídeo 2 – Manutenção BMW

16




> Património cultural

> Museus – permite consultar informações adicionais sobre as peças expostas

> Arqueologia – reconstruções virtuais em ruínas, por forma a auxiliar os visitantes, historiadores e técnicos

> Desenvolvimento Produtos

> Permite efectuar testes de design e ergonomia dos novos produtos (por exemplo testar diferentes cores)

> Os resultados reais de um crash-test podem ser comparados com os resultados esperados pela simulação.

17



I - Realidade Aumentada – Vídeo 3 – Templo Hera (Atenas)

18




> Televisão

> Sistemas de Chroma-Keying, utilizado

por exemplo no jornal de noite da SIC.> As pessoas frente às câmaras podem

mover-se livremente.

> Os cenários virtuais são facilmente

alteráveis tanto antes como durante a

produção.

> Militares

> Projecção de informação no cockpit de

um avião.

> Imagens virtuais dos alvos no capacete do piloto.

> Imagens virtuais (captadas por satélite)

do “inimigo” localizado fora do raio de visão no capacete do soldado

19



I - Realidade Aumentada – Vídeo 4 – Treino Militar

MilitaryTraining.avi

20



I - Realidade Aumentada – Alguns Problemas

> Ferramentas de Autoria complexas – dificulta a geração de conteúdos AR

> Alto custo sistemas

> Portabilidade

> Problemas Técnicos:> Desfasamento Temporal entre o mundo real e o objecto virtual (latency)> Desfasamento Espacial entre o mundo real e o objecto virtual

(registration):> Distorção da câmera> Erros de Tracking> Parâmetros incorretos de visão (Calibração da câmera)> Erros dinâmicos

> Os objecto virtuais têm uma aparência demasiado simplista

21



II – Projecto ULTRA

> Projecto Europeu IST

> IST-004734 ULTRA

> Parceiro Líder Fraunhofer IGD

> Duração 09/04 – 02/07

> http://ist-ultra.org

22



II – Projecto ULTRA – Conceito

> O ULTRA prentende ser uma ferramenta de apoio ao trabalhador móvel na área da manutenção industrial e serviços:

> Fornecendo um sistema AR ultra portátil que funcione com:

> PDAs “off-the-shelf” de baixo custo

> Fornecendo dispositivo HMD confortável e “utilizável no terreno”

> Fornecendo ferramentas que permitam a criação de Manuais AR com informações/demonstrações da realização de tarefas complexas de montagem e manutenção.

23



II – Projecto ULTRA - Arquitectura

24



ULTRA runtime system(aplicação PDA)

25



II – Projecto ULTRA – Runtime System: Componentes

> Interaction> Interacção com o utilizador através de:

comandos de voz, butões hardware, caneta

> Controller> Interpreta o Workflow, integração de todos os

componentes, sincronização de conteúdos, autenticação do utilizador

> Behavior> Gere as animações e interacções com a

informação virtual

> Registration> Efectua o calculo da posição e orientação da

câmera (mundo real com o mundo virtual)> “Registration” manual ou automática através de

marcadores

> Rendering > Klimt (biblioteca open-source 3D optimizada

para PDAs e telefones móveis, com uma API semelhante ao OpenGL)

26



II – Projecto ULTRA – Runtime System

27



ULTRA Authoring Tools

28



II – Projecto ULTRA – 3D Authoring Tool

> 3D Authoring tool – Permite a geração de animações 3D optimizadas a partir de modelos CAD

> A base de desenvolvimento é o Avalon – um sistema de AR

compatível com a tecnologia X3D/VRML

> Suporta novas funcionalidades através de plug-ins

> Utiliza um sistema inovador de templates parâmetrizados que

são compilados em run-time

> As animações 3D (em X3D/VRML) exportadas são altamente

optimizadas (os PDAs ainda são muito limitados gráficamente).

29



II – Projecto ULTRA – 3D Authoring Tool

30



II – Projecto ULTRA – Process Authoring Tool

> Process Authoring Tool: Ferramenta que permite a criaçãode uma forma fácil e intuitiva dos processos de trabalho(Workflow)

> O processo de workflow é composto por um conjunto de

Actividades (actividades AR ou actividades SMIL) e Pontos de

decisão

> Baseada no paradigma da linha de tempo (timeline)

> Output ficheiros PIF: Process Instruction Files, baseados em

XML

> Os ficheiros PIF resultantes serão processados pelo controller

do runtime system que invoca os sistemas de render

apropriados

31



II – Projecto ULTRA – Process Authoring Tool

32



ULTRA Hardware

33



II – Projecto ULTRA – HMD (Head Mounted Display)

> O parceiro do projecto Trivisio éuma empresa fabricante deste tipo de dispositivos, e está a trabalhar num protótipo com as seguintes características:

> Monocular

> Imersivo

> Optical See-Trough

> 4:3 side ratio

> Resolução SVGA 800x600

> Câmara, microfone e

auscultadores integrados

34



II – Projecto ULTRA – Plataformas Móveis

> Para o 1º protótipo foram escolhidos dois PocketPCs off-the-shelf

> Pocket Loox 720

> HP rx3715

35



ULTRA Tele-Consultation

36



II – Projecto ULTRA – Tele-Consultation

> Com esta ferramenta o técnico no terreno pode:

> Escolher um expert que o auxilie na realização da tarefa

> Comunicar em tempo real com o expert, utilizando VoiP e

realtime video

> Enviar anotações e imagens aumentadas para o expert

> Receber do expert manuais AR novos ou actualizados (PIFs)

37



II – Projecto ULTRA – Status do projecto

> Primeiro ano do projecto completo

> Integração do primeiro protótipo finalizado

> Os Trials do sistema estão a ser iniciados

> Trials

> Irão envolver pessoal de manutenção e serviços (em Portugal

iremos efectuar os Trials com a colaboração do CENTIMFE)

> Serão baseados em métricas quantitativas com o objectivo de

avaliar a performance do sistema (start-up time, memoria, CPU

usage, etc)

> Incluirão um conjunto de questionários para avaliação

qualitativa de cada subsistema

38



II – Projecto ULTRA - Trabalho Futuro

> O protótipo final do ULTRA incluirá:

> Tracking de vídeo em tempo real (Live video tracking)

> Suporte para múltiplos SOs (Windows, Symbian e Palm OS)

> Suporte para múltiplas plataformas(PDAs e telefones móveis)

> Implementação de funcionalidade sugeridas pelos participantes

nos trials e pelos beta-testers

> O objectivo: um protótipo funcional, performante, extensível e que possa ser facilmente integrado nos sistemas já em produção nas empresas.

39



II – Projecto ULTRA - Exploração Comercial (Exp. Plan)

> Exploração Comercial

> Será iniciada ainda no decorrer do projecto (2º semestre de

2006)

> Base: Exploitation Plan (em desenvolvimento)

> Mercados alvo principais:

> Automóvel

> Aeroespacial

> Telecomunicações

> Gestão de Edifícios

> Manutenção Industrial

40



Obrigado pela Atenção!

(MaisUmVídeo?.mov)

41



Contactos

> METICUBE - Software Engineering> www.meticube.com

> [email protected]

> Centro de Empresas de TaveiroEstrada de Condeixa3045-508 Coimbra

Portugal

> Tel. +351 239 980 041

> Fax. +351 239 981 379

> Mob.+351 962 406 400

realidade aumentada em ambientes móveis e sua aplicação ... · meticube is a spin-off of the...

Documents