realidade aumentada caracterização - fc.unesp.br introducao ra rv-parte 1 -visao... · prof....

Realidade Aumentada 06/08/2013

Prof. Sementille 1

Realidade Aumentada

Prof. Dr. Antonio Carlos SementilleDepartamento de Computação/[email protected]

Sumário da ApresentaçãoI – VISÃO GERAL DE REALIDADE VIRTUAL

E REALIDADE AUMENTADA

Introdução - Interfaces

Realidade Virtual: Definição e Caracterização

Realidade Combinada e Realidade Aumentada (RA)

Realidade Aumentada X Realidade Virtual

Componentes de um Sistema RA Típico

Principais Áreas de Aplicação da RA

1 –VISÃO GERAL DE REALIDADE VIRTUAL E REALIDADE AUMENTADA

Introdução

Antes do advento do computador eletrônico: uso de interfaces naturais (sentidos)

Computador eletrônico◦ Novo processo de interação◦ Abstração◦ Treinamento

Convergência de dois conceitos antagônicos: fusão do real com o virtual

Introdução

Interfaces:◦ Décadas de 40 e 50 Chaves e lâmpadas

Introdução Ex.: UNIVAC – década de 50

UNIVAC COMPUTER COMMERCIAL 1950s(360p_H.264-AAC).mp4 - Atalho.lnk


Prof. Sementille 2

Introdução Interfaces:◦ Década de 60 Consoles sem vídeo – saída impressa

Introdução

Interfaces:◦ Década de 60 Terminais com vídeo – primeiras interfaces gráficas

rudimentares

Introdução

Interfaces:◦ Décadas de 70 e 80 Popularização do Microcomputador Inicialmente: interface baseada em texto

Interface gráfica e uso de recursos multimídia

Interface Gráfica do computador Xerox Alto

Interface texto –Sistema DOS

Introdução

Interfaces:◦ Décadas de 70 e 80 Interface gráfica e uso de recursos multimídia

Interface Gráfica do computador Macintosh de 1984

Interface – Windows 1.0

Realidade Virtual

Termo criado por Jaron Lanier – final década de 80

Convergência de dois conceitos antagônicos: fusão do real com o virtual

Definição de Realidade Virtual

É uma interface avançada para aplicações computacionais, onde o usuário pode navegar e interagir, em tempo real, em um ambiente tridimensional gerado por computador, usando dispositivos multisensoriais


Prof. Sementille 3

Histórico

Histórico◦ Meados da década de 50

Sensorama

◦ Mort Heilig (cineasta) Visão tridimensional, som estéreo, vibração, vento,

aroma passeando por NY

Histórico - Sensorama

Histórico - Sensorama

Morton Heilig's Sensorama (Interview).mov(360p_H.264-AAC).mp4 - Atalho.lnk

Histórico - Cinemascope

Histórico◦ 1962 - Ivan Sutterland – Sketch Pad

Sketchpad, by Dr. Ivan Sutherland with comments by Alan Kay.avi - Atalho.lnk

Histórico◦ 1968 - Ivan Sutterland, Univ. de Harvard, capacete com

imagens geradas por computador


Prof. Sementille 4

Histórico

◦ 1977 a 1982 - Primeiras luvas

CARACTERIZAÇÃO DE REALIDADE VIRTUAL (RV)Junção de três idéias básicas:◦ Imersão◦ Interação◦ Envolvimento

Estas três idéias deverão coexistir em um sistema de Realidade Virtual

Imersão◦ Sentimento proporcionado por estar dentro

do ambiente sintético◦ Depende do dispositivo externo empregado

Com capacete (imersivo) Limitações técnicas e problemas no uso do capacete

Sem capacete (não imersivo) Acompanha a evolução dos computadores

Interação◦ Capacidade do computador detectar as

entradas do usuário e modificar instantaneamente o mundo virtual e as ações sobre ele◦ Capacidade reativa

Envolvimento◦ Grau de motivação para o engajamento de

uma pessoa a uma atividade

O que é e o que não é RV

O que não é RV:◦ Filmes ◦ Desenhos animados◦ Efeitos especiais


Prof. Sementille 5

O que é e o que não é RV

O que é RV:◦ Alguns Videogames tridimensionais◦ Sistemas de visualização 3D e Simuladores de

Vôo (desde que permitam interação em tempo real)

Alguns Dispositivos de Entrada de um Sistema de RV (não convencionais)

Mouse 3D

Luvas de Dados(DataGlove)

Vestimentas comrastreadores corporaisExoesqueleto


Motion Capture – expressõesfaciais


VirtuSphere

Virtusphere 3D Game Interface(medium_H.264-AAC).avi - Atalho.lnk

Dispositivos de Saída: Tecnologias de Display

O mais simples◦ Monitor comum (RV não imersiva)

Head Mounted Displays (HMD)◦ Imersivo

Para fazer estéreo, uma imagem diferente para cada olho◦ Trivial nos HMDs◦ Uso de “shutter glasses” left & right imagens entrelaçadas

◦ Óculos polarizados ou óculos red/blue left & right imagens superpostas

(ótica)


Projection displays◦ CAVE-type ◦ ImmersaDesk (Univ. de Chicago)

ImmersaDeskCave VR


Prof. Sementille 6


◦ CAVE-type

CAVE® - A Virtual Reality Theater - 1993(240p_H.264-AAC).mp4 - Atalho.lnk


Exemplo de CAVE - iCube

EON Reality - Virtual Reality Solutions(360p_H.264-AAC).mp4 - Atalho.lnk

REALIDADE COMBINADA (Mixed Reality)

Pode ser definida como a sobreposição de objetos virtuais tridimensionais, gerados por computador, com o ambiente físico, mostrada ao usuário com apoio de algum dispositivo tecnológico, em tempo real

REALIDADE COMBINADA

Realidade Aumentada é um sistema quesuplementa o mundo real com objetosvirtuais gerados por computador,parecendo coexistir no mesmo espaçoAZUMA et al (2001).

REALIDADE AUMENTADA (RA)Uma Definição

Uma “área de investigação” que pretende

Desenvolver mundos que combinem

◦ O mundo real observado pelo usuário◦ Com uma cena virtual gerada por

computador e que aumente o mundo real com informação adicional.

E com os quais o usuário possa

interagir em Tempo Real

de Realidade Aumentada


Prof. Sementille 7

Objetivo Principal da RA

Criar um sistema tal que o usuário não consiga distinguir o mundo real do virtualmente aumentado

Ao usuário de tal “utopia” parecer-lhe-ia estar num mundo perfeitamente real

Realidade AumentadaUm exemplo

O Bule está

absolutamente

inserido

no Mundo Real

Virtualidade Aumentada (V.A.)

Sistemas onde imagens e

objetos reais são inseridos em um

mundo predominantemente gerado por computador.

ISMAR_TEATRO_INTERATIVO_MI2.avi - Atalho.lnk

RA versus RV

Realidade Virtual Imersiva: a imersão no mundo virtual é total.◦ Ao usuário é completamente negado o

acesso ao mundo real

Realidade Aumentada: a imersão no mundo real é total.◦ O usuário vê o mundo real que o

rodeia...mas com objetos virtuais embutidos nesse mundo real

RA versus “Hollywood Movies”

Muitos dos efeitos especiais recorrem à composição de imagens reais e virtuais

Mas:◦ Os efeitos especiais são aplicados quadro a

quadro sobre um “produto acabado”◦ O espectador não pode interagir com o filme

Não é Realidade Aumentada

Outro exemplo:RA com efeitos especiais

BULE_INDEPENDENCY_DAY.AVI - Atalho.lnk


Prof. Sementille 8

Tecnologias

Interfaces com o Usuário

Visualização Rastreamento

Rastre

ame

nto

Interfaces com o Usuário

Visual

Acústica

Haptic/Tangível

Interfaces com o Usuário: Visual

Reconhecimento de Gestos

Exemplo:◦ MIT‘s KidsRoom (1996):

Integração Temporal

Interfaces com o Usuário: Visual

◦ Leap Motion

Leap Motion(720p_H.264-AAC).mp4 - Atalho.lnk

Interfaces com o Usuário: Acústica

2 Partes◦ Síntese de Voz◦ Reconhecimento de Voz

Interfaces acústicas são combinadas com outras modalidades

1st Augmented Reality Voice Recognition- Starring Hatsune Miku.mp4 - Atalho.lnk

Interfaces com o Usuário: Haptic/Tangível

Joystick, 3D-Mouse Objetos tangíveis◦ Exemplos:

CAR, SHEEP e o PIP do Studierstube

Luvas de toque


Prof. Sementille 9

Visualização: Formas de Visualização

Dispositivos de visualização◦ HMDs◦ PDAs◦ Projeção◦ Monitores

Tridimensionalidade◦ Displays separados◦ Projeção polarizada◦ Projeção com anaglifo◦ Divisão de tempo

Tecnologias para Visualização

Baseadas em monitor (fish tank)

MundoReal

SistemaGráfico

Posição da Câmera

ImagemVideo

Misturadorde Video

RealidadeAumentada

(opcionalmente em Stereo)

Video Aumentado

ObjetosVirtuais

Capacete de RA

Video See Through

Mundo Real

SistemaGráfico

ImagemVideo

Misturadorde Video

ObjetosVirtuais

Posição da Cabeça

Video Aumentado

Monitores

Visão do

Usuário

Tecnologias para VisualizaçãoVideo See Through

Tecnologias para Visualização

Optical See Through

Mundo Real

SistemaGráfico

Capacete de RA

ObjetosVirtuais

Posição da Cabeça

Monitores

Visão do

UsuárioLente

(Mistura Óptica)

Tecnologias para Visualização Tecnologias de Apresentação

Optical See Through


Prof. Sementille 10

Tecnologias de Apresentação

Optical See Through

Tecnologias de Apresentação

Optical See ThroughGoogle Glass – Demo

Google Glasses Project Glass demo(720p_H.264-AAC).mp4 - Atalho.lnk

Tecnologias de ApresentaçãoOptical See Through

Google Glass – teste Veja

Testamos o Google Glass(720p_H.264-AAC).mp4 - Atalho.lnk

Tecnologias de ApresentaçãoOptical See Through

Head-mounted display projects directly onto the retina

Head-mounted display projects directly onto the retina _ DigInfo(720p_H.264-AAC).mp4 - Atalho.lnk

Optical versus Video

prós◦ o mundo real é “realmente” observado em tempo

real e diretamente pelo olho humano

contras: ◦ é mais difícil controlar as defasagens porque só o

canal virtual é processado eletronicamente

conclusão:◦ aparentemente mais simples torna-se de utilização

mais limitada◦ Tem sido abandonado em favor do Video See

through

Optical See-Through

Optical versus Video

prós◦ Podemos compensar o alinhamento e a latência porque

tanto o mundo real (video) como o virtual são processados eletronicamente.

contras: ◦ O mundo real observado está sempre atrasado em

relação ao mundo real de fato (pelo menos um quadro ou 30 ms)

conclusões: ◦ Aparentemente mais complexo é mais controlável◦ Tem ganho preponderância sobre o Optical See

through

Video See-Through


Prof. Sementille 11

Realidade Aumentada EspacialRealidade Aumentada Espacial

Exemplo 1 – Digital AirBrushing

Digitial Airbrushing with Spatial Augmented Reality(360p_H.264-AAC).mp4 - Atalho.lnk

Realidade Aumentada Espacial

Exemplo 2 – Opera com RA Espacial

A Spatially Augmented Reality Opera Performance(360p_H.264-AAC).mp4 - Atalho.lnk

Visualização: Combinando Real e Virtual

Optical see through Video see through◦ Chroma keying

Problema da Oclusão◦ Rastrear todos os objetos reais◦ Construção de Mapas de Profundidade a

partir de imagens estéreo◦ Técnicas especiais de projeção

Visualização: Desafios

Contraste Brilho Resolução Campo de Visão Segurança

Rastreamento: Métodos

Rastreamento Óptico

Marcadores◦ Esferas IR ◦ Cartões

(marcadores passivos)◦ Formas e/ou

texturas existentes no ambiente


Prof. Sementille 12

Rastreamento: Desafios

Erros Estáticos◦ Distorções ópticas

◦ Configuração imprópria

◦ Desalinhamento mecânico

◦ Estratégias Cuidado Algoritmos para

Autocalibração

Erros Dinâmicos◦ Atrasos relacionados ao

Hardware

◦ Atrasos relacionados ao software

◦ Estratégias Aumentar a velocidade de

processamento Renderização avançada Predizer o futuro

Tecnologias de Rastreamento Tecnologias de Radiolocação

Fraca precisão… mas aplicáveis em grandes espaços

Tecnologias Magnéticas Objetos metálicos introduzem erros...(abandonada...)

Tecnologias Ópticas Diodos sensíveis à luz no teto - emissores luminosos no HMD -

algoritmo calcula deslocamentos.

Metodologias Gráficas (RA sem calibragem) Cálculos e transformações geométricas com base na imagem.

Só para Video See Through.

Tecnologias Híbridas Tecnologia Óptica (rude) - Métodos Gráficos (fino) Tecnologias de radiolocação - Ópticas e Gráficas (para grandes

espaços)

Vemos demasiado bem!

Um Sistema TípicoEnfrenta Um Grande Problema

Distinguimos o real do virtual

Melhor desempenho dos sistemas gráficos

leva a mundos virtuaismais realistas

DefasagemEspacial

entre o mundo real e o objeto virtual

(registration)DefasagemTemporal

entre o mundo real e o objeto virtual

(latency)

Principal Campo de Investigação na Realidade Aumentada

Realidade Aumentada

PrincipaisAplicações

Realidade AumentadaDomínios aplicacionais

Educação Entretenimento Manutenção e reparo Televisão Comércio Militar Projetos de Engenharia Robótica e Telerobótica Medicina

Aplicações de Realidade Aumentada

Educação

Interactive Media Systems Group,Vienna University of Technology)

Ambiente colaborativo do sistema Construct3D

Construct3D-2.avi


Prof. Sementille 13

http://www.cs.columbia.edu/graphics/projects/karma

PS3 – EYE OF JUDGEMENT

Aplicações de Realidade AumentadaEntretenimento - Games

Jogo de Batalha baseado em Cards

Realidade Virtual Colaborativa

PS3 – EYE OF JUDGEMENT


Eye of Judgement Overview (HD)(720p).avi - Atalho.lnk

Parrot AR.Drone


Parrot AR.Drone (video 1) – visão geral


Flight Recorder GPS Tutorial(720p_H.264-AAC).mp4 - Atalho.lnk

Parrot AR.Drone (video 2) – Realidade Aumentada


NEW GAME_ AR.RESCUE 2 _Free App_(720p_H.264-AAC).mp4 - Atalho.lnk http://www.cs.columbia.edu/graphics/projects/karma

Grupo de Steve Feirner -Columbia University

KARMA- (Knowledge-based Augmented Reality for Maintenance Assistance)

Durante a manutenção de uma impressora Laser o usuário vê como remover tabuleiro de alimentação de papel através da imagem em “fio de arame” gerada por computador.


Sistemas de Manutenção


Prof. Sementille 14


Sistemas de Manutenção/Treinamento

Augmented Reality Training Demonstration - by Scope AR using the Epson Moverio BT-100(720p_H.264-AAC).mp4 - Atalho.lnk

Aplicações de Realidade AumentadaOutdoor Systems/GPS Tour

Augmented Reality GPS Tour Beyond Tomorrow(Medium).avi - Atalho.lnk

Aplicações de Realidade AumentadaTelevisão: Chroma-Keying

GMD Digital Media Lab: The Virtual Studio

O estúdio Virtual, ao recorrer a técnicas de RA, permite ultrapassar os problemas do tradicional chroma-keying

Fundo eMáscara do fundo

Plano real eMáscara do plano real

Mistura eMáscara da mistura



No blue-room tradicional:

a câmera é estática

e o fundo também.

Como a câmera e o fundo não estão correlacionados se a câmera se

movimenta, notar-se-iam distorções de perspectiva


No blue-room virtual:

a câmera pode mover-se

e o fundo é um cenário virtual 3D gerado por computador.

A posição da câmera tem de ser seguidade maneira a manter as relações entre

esta e o fundo


Prof. Sementille 15


Vantagens do blue-room virtual:

As pessoas frente às cameras podem mover-se livremente.

Os cenários virtuais são facilmente alteráveis tanto antes como durante a produção.

Os cenários são transportados… no disco do PC e não na carroceria de um caminhão..


Stargate Studios Virtual Backlot Reel 2009(360p_H.264-AAC).avi - Atalho.lnk

Aplicações de Realidade AumentadaCinema: Preview

SIMUL-CAM

Aplicações de Realidade AumentadaCinema: Preview – Avatar Simulcam

Avatar Simul Cam(360p_H.264-AAC).avi - Atalho.lnk

Aplicações de Realidade AumentadaSecond Life Aumentado

Aplicações de Realidade AumentadaComércio e Publicidade

Decoração de Interiores◦ Superimposição de peças

decorativas virtuais nos interiores reais

Vestuário◦ Experimentar vestidos virtuais e

executar as alterações nesses vestidos

Institutos de Beleza◦ Experimentar cortes de cabelo e

executá-los sobre o modelo virtual


Prof. Sementille 16

Aplicações de Realidade AumentadaDesign de Produto

Augmented Reality applied to Industrial Design(360p_H.264-AAC).avi - Atalho.lnk

Aplicações de Realidade AumentadaDesign e Arquitetura

Augmented Reality for architects (English version)(720p_H.264-AAC).mp4 - Atalho.lnk

Aplicações de Realidade AumentadaDesign / Seleção de Materiais

photorealism.avi - Atalho.lnk

Aplicações de Realidade AumentadaComércio e Publicidade

Mensagem de texto para carregar a aplicação RA

Vê o conteúdo virtual aparecendo sobre o anúncio em papel

Aplicações de Realidade AumentadaMilitar

Projeção de informação no cockpit de um avião.

Sobreposição de imagens virtuais dos alvos no capacete do piloto.

Sobreposição de imagens virtuais (captadas por satélite) do “inimigo” localizado fora do raio de visão no capacete do soldado

Aplicações de Realidade AumentadaAnotação e visualização em Projetos de Engenharia

aronsite-kuusankoski.avi - Atalho.lnk


Prof. Sementille 17

Aplicações de Realidade AumentadaAnotação e visualização em Projetos de Engenharia

Augmented Reality through Graphic Overlays on Stereovideo (ARGOS)-University of Toronto

Em sistemas de vigilância de instalações a imagem das camcorder é por vezes indistinta. O seu realce por wireframe ajuda o operador

Aplicações de Realidade AumentadaRobótica e Telerobótica

Um operador de telerobótica usa uma imagem visual do espaço de trabalho remoto para conduzir o robô.

O aumento da imagem real com o modelo virtual (wireframe) facilita a visualização da geometria 3d remota.

Aplicações de Realidade AumentadaMedicina

Projeto sobre Cirurgia Guiada por Imagem

Uma colaboração entre o Laboratório de IA do MIT e o Laboratório de Planejamento Cirúrgico Feminino de Brigham


Projeto sobre Cirurgia Guiada por ImagemConstrução de Modelos Tridimensionais

As estruturas anatomicas que aparecem na RM ou na TC são explicitamente extraídas ou segmentadas antesde serem aplicadasno alinhamento de superficie para visualização 3D


Tomografia cerebral com Realidade Aumentada

Augmented Reality Brain(Medium).avi - Atalho.lnk


Realidade Aumentada na Medicina –Visualização volumétrica de alta qualidade

MAR_ Volume Rendering in High Quality Visualization(Medium).avi - Atalho.lnk

realidade aumentada caracterização - fc.unesp.br introducao ra rv-parte 1 -visao... · prof....

Documents