realidade virtual

Introdução

Introdução

• Tecnologia + de 20 anos

• Hoje:– Tecnologicamente viável– Financeiramente acessível– Didaticamente eficiente

• Globalização da Economia– Aumento da competitividade

• Maior qualificação / especialização de mão de obra

• Conhecimento maior e mais complexo

Introdução

• Opõe-se aos métodos tradicionais de ensino– Simulação– Experimentação

• Economicamente vantajoso– Tempo

• Redução de ciclos de desenvolvimento

– Dinheiro• Treinamento e validação virtuais

Introdução

• Melhor qualidade dos dispositivos de hardware– Capacetes menores– Luvas mais eficientes– Óculos mais leves

• Maior quantidade de software disponível– Diferentes linguagens– Variedade de plataformas

Conceito

• Olhos possuem 70% dos receptores do sentido humano

Conceito

• 70% das informações recebidas visuais interpretadas pelo cérebro

Conceito

Conceito

Computador e mente humana cada vez mais integrados

Conceito

• Myron Krueger– “Artificial Reality” (1973)

VideoPlace (1969)

Conceito

• William Gibson Neuromancer(ficção)

– Cyberspace (1984)• Rede universal

– Informações – Acesso multi-sensorial– Implantes corporais– Transmissão de dados para o

computador– Matrix

Conceito

• Jaron Lanier VPL Research– “Virtual Reality” (1986)

Conceito

• Lee Adams (1994)– “O Espaço Cibernético é um

espaço imaginário, uma simulação 4D do espaço-tempo controlada pela interface de RV.”

Conceito

• Peter Hancock (1995)– “RV é a forma mais avançada de

interface do usuário com o computador até agora disponível.”

Conceito

• Jerry Isdale (1993)– “RV é o paradigma pelo qual usa-

se um computador para interagir com algo que não é real, mas que pode ser considerado real enquanto está sendo usado.”

Conceito

• Steve Bryson (1996)– “RV é o uso de computadores e

interfaces com o usuário para criar o efeito de mundos tridimensionais que incluem objetos interativos com uma forte sensação de presença tridimensional.”

Conceito

• Jean Leston (1996)– “RV engloba um conjunto de

técnicas e ferramentas gráficas 3D que permitem a interação dos usuários com um ambiente gerado por computador, em tempo real, com pequena ou nenhuma consciência de que está utilizando uma interface usuário-computador”

Conceito

• Myron Krueger (1991)– “RV é uma técnica avançada de

interface que permite ao usuário realizar imersão, navegação e interação em um ambiente sintético 3D gerado por computador, utilizando canais multi-sensoriais.”

Conceito

• Lee Adams (1994)– “A RV é uma animação de pontos

de observação, apresentada em um contexto interativo e em tempo real. Ou seja, é uma interface que proporciona controles para o usuário manipular e interagir com uma base de dados que é o espaço-tempo 4D, incluindo o espaço virtual e as entidades, ou objetos virtuais, que ela contém.

Conceito

• Espaço-Tempo 4D– Imagens computadorizadas 3D

(compõe e pertencem ao espaço virtual)

– + Tempo

Animações em tempo real

Conceito

• Navegação e observação em tempo real– 6 graus de liberdade (6DOF)

• O software deve definir e o hardware deve reconhecer 6 tipos de movimento:

– para frente / para trás

– acima / abaixo

– esquerda / direita

– inclinação para cima / para baixo

– angulação à esquerda / à direita

– rotação à esquerda / à direita

Conceito

• Navegação e observação em tempo real– 6 graus de liberdade (6DOF)

Conceito

• Interação 4D– Manipulação e exploração de

dados em tempo real

– Uso dos sentidos e movimentos naturais do corpo

– Conhecimento intuitivo prévio

– Uso de dispositivos• Capacetes de visualização e controle

• Luvas de dados (datagloves)

– Sensação de que a aplicação é o ambiente 3D real

Conceito

• RV x CAD e Multimídia– Orientada ao usuário / observador

– Altamente imersiva• Maior sensação de presença

– Mais interativa• Modificar e influenciar o

comportamento de objetos

– Mais intuitiva• Interfaces adaptadas ao corpo

– Renderização em tempo real• Atualização constante do ambiente

Conceito• Áreas relacionadas

– Percepção sensorial– Pesquisa de hardware e software– Dispositivos não convencionais– Redes– Interface Homem-Máquina– Eletrônica– Modelagem 3D– Animação– Simulação– Física (Colisões / Luz / Movimento)– Usabilidade / Arquitetura da Inf.– Psicologia / Sociologia

Histórico

• Link Trainer – USA (1930-1950)– Simuladores de vôo

Histórico

• Sensorama - 1962Morton Heilig– Visão estereoscópica– Vibrações mecânicas– Aromas– Ar movimentado por ventilador

Histórico

• Sensorama - 1962

Histórico

• 1958 Philips inicia pesquisas com protótipos

Histórico

• Ivan Sutherland 1965The Ultimate Display– Pai da RV

Histórico

• Ivan Sutherland 1968Head Mounted Display

Histórico

• Myron Krueger 1973VideoPlace– RV de Projeção

Histórico

• Thomas Furness 1982VCASS (Visualy Coupled Airborne Systems Simulator)

– “Super Cockpit”– Ótima resolução $$$$$

Histórico

• Michael McGreevy 1984VIVED (Virtual Visual Environment Display)

− Baixa Resolução $$− Máscara de Mergulho− Visores LCD− Alto-falantes− + Scott Fisher (1985)

• Luvas de dados• Reconhecimento de voz• Som 3D

Histórico

• Michael McGreevy eScott Fisher (1985)VIVED (Virtual Visual Environment Display)

Histórico

Histórico

Simulação

Histórico

Caves

Histórico

Virtusphere

Tipos de Sistemas de RV

• Pilares da Realidade Virtual

– Imersão

– Interação

– Motivação


RV Imersiva RV Não ImersivaTipos e quantidade de Dispositivos de I/O + Velocidade e qualidade da

renderização

+ -

INTERAÇÃO

MOTIVAÇÃO+ -

Diversão (jogo) Obrigação

+ -

Real Ficcional



• Pilares da Realidade Virtual– Imersão

• Sentir-se no ambiente• Simulação visual dos objetos• Texturização• Som ambiente



• RV Não Imersiva X RV Imersiva

RV Não Imersiva RV Imersiva



• RV Não Imersiva– Visualização Uso de Monitor – Uso de outros dispositivos– Facilidade de uso– Menor custo



• RV Não Imersiva



• RV Imersiva– Capacetes de Visualização– CAVEs (Cave Automatic Virtual Environment)

– Uso de outros dispositivos– Alto custo– Tendência

Tipos de Sistemas RV

• RV Imersiva– Uso de Capacetes ou óculos



• RV Imersiva– CAVEs



• RV Imersiva– Capacete de Visualização

Centro de RV Embraer




Centro de RV Volkswagen




Centro de RV Embraer


• Pilares da Realidade Virtual– Interação

• Capacidade Reativa do Ambiente– Inputs modificam a cena

instantaneamente Games– Simulação física dos objetos

(peso, movimento, atrito, colisões)– Sons associados a objetos


RV Imersiva RV Não Imersiva

+ -

INTERAÇÃO+ -

Real Ficcional


Simulação FilmeGame


• Pilares da Realidade Virtual– Motivação

• Envolvimento do usuário com as atividades do ambiente


• Tipos de sessões– Passiva– Exploratória– Interativa


• Tipos de sessões– Passiva

• Exploração automática• Não há interferência do usuário

– Mínima interação

• Rota e pontos de observação explícitos

– Controlados pelo software


• Tipos de sessões– Exploratória

• Exploração dirigida pelo usuário– Escolhe a rota e pontos de observação– Não interage com entidades da cena

– Interativa• Exploração dirigida pelo usuário• Entidades virtuais respondem e

reagem às ações do participante


• Navegação– Controlada pelo posicionamento

do observador no mundo virtual• Ponto de Observação (viewpoint)• Forma mais simples de interação

– Modelo clássico• Câmera sobre um “carro” virtual

– Flying Carpet Model


• Navegação– Tipos

• Point-and-flya) Usuário aponta em uma direção

utilizando um dispositivo de navegação (ex: luva) e movimenta-se nesta direção

b) Usuário vira a cabeça para uma direção (rastreador de cabeça ativo) e imprime velocidade de movimentação através da luva



• Eyball-in-hand− Target de observação fixo− Uso: análise de um único objeto− Dispositivo BOOM

(Binocular Omni-Oriented Monitor)



− Scene-in-hand− Ponto de observação fixo− Mundo virtual ao redor movimenta-se− + Mecanismo de ação das mãos

− Por comandos de voz− Controle do ponto de observação

com comandos simples


• Tele-Colaboração– Usuários remotos compartilham

o ambiente virtual para realizar uma tarefa comum

• Tele-presença / Tele-existênciaTele-operação / Tele-robótica– Estende capacidades motoras e

sensoriais do operador humano em um ambiente remoto

– Robô executa as tarefas– Feedback de sensações


• Tele-presença / Tele-existênciaTele-operação / Tele-robótica


• Displays Visualmente Acoplados / Visual Coupled Displays– Imagens exibidas diretamente ao

usuário através de um dispositivo de visualização

– Acompanha movimentos da cabeça através de sensores

– Imagens e sons estéreo


• RV de Mesa / Desktop VR– Utilização de grandes monitores ou

sistemas de projeção para exibir o mundo virtual

– Podem permitir o uso de 3D com óculos especiais


• CAVE (Cave Automatic Virtual Environment) – Sala com paredes, teto e chão

semitransparentes– Projeção de imagens projetores

atrás e/ou do lado das telas• Pode ser estereoscópica

– Projeção acústica 3D– Pode levar à imersão TOTAL de uma

ou mais pessoas– Uso de dispositivos de rastreamento

de posição e de interação– Estrutura computacional avançada

• 12 imagens pares estereoscópicos


• CAVE (Cave Automatic Virtual Environment)

Realidade Misturada

Realidade Aumentada

Sobreposição de objetos virtuais tridimensionais, gerados por computador, em um ambiente real, por meio de dispositivos tecnológicos.

PAUL MILGRAM

Realidade Aumentada

• Realidade Aumentada / Augmented Reality– Uso de dispositivos visuais

transparentes presos à cabeça ou integrados ao ambiente (HUD - Head-up-displays)

• Combinados com câmeras para identificação de formas, objetos e pessoas

• Informações ou modelos projetados sobre os dispositivos

– Dados, diagramas, animações, gráficos 3D

• Visualização simultânea do mundo real• Mundo virtual sobreposto ao mundo real• Modelo não-imersivo: monitor + internet• Modelo hiper-imersivo: lentes de contato

Realidade Aumentada

• TécnicaVisão Computacional

+ Computação Gráfica

+ Realidade Virtual

= Sobreposição: Virtual / Real

Realidade Aumentada

• Vantagens:– Interação segura– Dispensa treinamento– Incremento do mundo real– Permite manuseio– Desperta interesse e

motivação– Displays e rastreadores

simplificados– Mobilidade / Portabilidade

Realidade Aumentada

• Tipos de Sistemas– Sistema de visão ótica direta

• Óculos ou Capacetes– recebem imagens reais– projetam imagens virtuais

ajustadas à cena

Realidade Aumentada

• Tipos de Sistemas– Sistema de visão direta por

vídeo• Óculos, Capacetes

– Microcâmera acoplada + rastreador– Monitores / lentes– Imagens apresentadas aos olhos

do usuário

Realidade Aumentada

• Tipos de Sistemas– Sistema de visão por vídeo

baseada em monitor• Webcam (+Rastreador) +

Monitor

Realidade Aumentada


baseada em monitor• Webcam (+Marcador) + Monitor

Realidade Aumentada

Realidade Aumentada



1. Objeto real com código / formato específico Papel com código impresso em alto contraste (marker*)

*Data/marker.pat http://flash.tarotaro.org/ar/MarkerGeneratorOnline.html

Realidade Aumentada



2. Câmera para capturar o objeto (webcam)

Realidade Aumentada



3. Software para

a) interpretação da leitura da cam

b) criar o mundo 3D de interaçãoFlash CS3 ou superior SWF

+framework para interação 3D

(Papervision3D)+

framework para leitura da cam(FLARToolKit)

Realidade Aumentada



4. Modelo 3D no formato .dae (collada)

Realidade Aumentada

• Tipos de Sistemas– Sistema de visão ótica por

projeção• Superfícies do ambiente real• Projeções de imagens do ambiente

virtual

Visualização do Espaço 3D

• Dispositivos de visualização são bidimensionais


• Representações gráficas de objetos tridimensionais


• Mapeamento de uma cena/espaço 3D para uma cena/espaço 2D PROJEÇÃO


• Projeção Geométrica Planar– PerspectivaUtilizada para representar objetos,

construções, figuras e a natureza da maneira como são vistos pelo olho humano, em suas formas tridimensionais. As profundidades dos objetos são definidas através de pontos colocados sobre a Linha do Horizonte, denominados “Pontos de Fuga”.


• Projeção Geométrica Planar– Perspectiva



Posição da câmera

Ângulo FOV

Near Plane Far Plane

Frustum


• Projeção Geométrica Planar– Ortogonal / Paralela

Estereoscopia

• Predador X Presa

Estereoscopia

Fenômeno natural que ocorre na observação de uma cena pelos olhos humanos. São obtidas simultaneamente duas imagens a partir de pontos de observação ligeiramente diferentes.

Estereoscopia

Estereoscopia

• Desvantagens:

– 10 a 20% das pessoas não conseguem fundir as imagens de forma correta

– Necessidade de mais processamento computacional

Estereoscopia

• Direta

– Olhos recebem os raios luminosos refletidos diretamente pelo objeto observado

Estereoscopia

• Direta

– Estereograma

Estereoscopia

• Indireta– VOLUNTÁRIA

• Uso de Estereoscópio(suporte com lentes convexas)

Estereoscopia

• Indireta– VOLUNTÁRIA

• Uso de Estereoscópio(suporte com lentes convexas)

Perfecscope

Estereoscopia

• Indireta– HOLOPROJEÇÃO

• Lentes convexas + espelhos

Estereoscopia

• Indireta– POR ANÁGLIFO

• Figuras planas– Relevo obtido por cores

complementares(azul + vermelho / verde + vermelho)

– Cada olho refletirá apenas uma das cores

– As imagens são separadas na observação e fundidas pelo cérebro em uma única imagem 3D

Estereoscopia


Câmera com duas objetivas distantes 65 mm uma da outra

Estereoscopia


Estereoscopia

• Indireta– POR POLARIZAÇÃO DA LUZ

Câmera com duas objetivas distantes 65 mm uma da outra

Estereoscopia


Estereoscopia


Lentes de óculos escuros convencionais (de boa qualidade)

Estereoscopia


Lente não-polarizada (esq) X Lente polarizada (dir)

Estereoscopia


Polarização da luz

Estereoscopia• Indireta

– POR POLARIZAÇÃO DA LUZ• Com óculos passivos

– Cada lente permite luz apenas na que está polarizada de forma compatível

• Com óculos ativos– Obturadores (Shutterglasses)– Controlam o momento em que cada

olho pode ver a imagem na tela


– POR POLARIZAÇÃO DA LUZ


– POR POLARIZAÇÃO DA LUZ(Sequenciamento por frames alternados 120 fps)

Estereoscopia

• Indireta– POR BARREIRA DE PARALLAX

• Não exige óculos especiais.

• Duas imagens com perspectivas diferentes simultaneamente, porém entrelaçadas (faixas verticais e exibidas alternadamente).

• Filtro “barreira de parallax” com fendas que permitem a cada olho enxergar apenas uma das sequências de faixas para cada perspectiva.

• Para o cérebro, trata-se apenas de uma imagem tridimensional.

( 3D LENTICULAR )

Estereoscopia

Display com barreira de parallax direcionável

realidade virtual

Technology