implementação de um dispositivo de rastreamento Óptico com 6 graus de liberdade para interação...

54
Implementação de um Dispositivo de Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Liberdade para Interação com Aplicações de Realidade Virtual Aplicações de Realidade Virtual Manuel Eduardo Loaiza Fernández Manuel Eduardo Loaiza Fernández Orientador: Prof. Marcelo Gattass Orientador: Prof. Marcelo Gattass Co - Orientador: Prof. Alberto Barbosa Raposo Co - Orientador: Prof. Alberto Barbosa Raposo Dissertação de Mestrado Dissertação de Mestrado Dissertação de Mestrado

Upload: internet

Post on 17-Apr-2015

104 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza

Implementação de um Dispositivo de Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade Rastreamento Óptico com 6 Graus de Liberdade

para Interação com Aplicações de Realidade para Interação com Aplicações de Realidade VirtualVirtual

Manuel Eduardo Loaiza FernándezManuel Eduardo Loaiza Fernández

Orientador: Prof. Marcelo GattassOrientador: Prof. Marcelo GattassCo - Orientador: Prof. Alberto Barbosa RaposoCo - Orientador: Prof. Alberto Barbosa Raposo

Dissertação de MestradoDissertação de Mestrado

Dissertação de Mestrado

Page 2: Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza

MotivaçãoMotivação Tem se dispositivos de Tem se dispositivos de entrada usados para permitir entrada usados para permitir ao usuário uma interação ao usuário uma interação com um cenário virtual.com um cenário virtual.

Os dispositivos estão Os dispositivos estão baseados em diferentes baseados em diferentes tecnologias: sonoras, tecnologias: sonoras, magnéticas, mecânicas, magnéticas, mecânicas, ópticas, inerciais e híbridas.ópticas, inerciais e híbridas.

Dissertação de Mestrado

Page 3: Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza

MotivaçãoMotivação

Procura se um dispositivo que Procura se um dispositivo que permita melhorar a permita melhorar a flexibilidade em referência flexibilidade em referência aos movimentos naturais que aos movimentos naturais que o usuário quisera fazer.o usuário quisera fazer.

Propõe se vários dispositivos Propõe se vários dispositivos de interação que pelo alto de interação que pelo alto custo foram confinados a custo foram confinados a laboratórios de pesquisa laboratórios de pesquisa especializada com alto nível especializada com alto nível de investimento.de investimento.

Dissertação de Mestrado

Page 4: Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza

ObjetivoObjetivo

Construção e implementação de um dispositivo Construção e implementação de um dispositivo experimental de rastreamento óptico orientado a extrair experimental de rastreamento óptico orientado a extrair os seis graus de liberdade da movimentação feita por os seis graus de liberdade da movimentação feita por um conjunto de marcadores esféricos. um conjunto de marcadores esféricos.

A partir da extração dos seis graus de liberdade, A partir da extração dos seis graus de liberdade, adaptar o dispositivo experimental para emitir eventos adaptar o dispositivo experimental para emitir eventos que são interpretados pelo sistema como sinais para que são interpretados pelo sistema como sinais para controlar objetos ou navegar dentro de aplicações controlar objetos ou navegar dentro de aplicações desktop 3D de realidade virtual.desktop 3D de realidade virtual.

O dispositivo proposto surja como uma nova opção de O dispositivo proposto surja como uma nova opção de dispositivo de interação que é fácil de montar e tem um baixo dispositivo de interação que é fácil de montar e tem um baixo custo de construção. custo de construção.

Dissertação de Mestrado

Page 5: Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza

Dispositivos de RastreamentoDispositivos de Rastreamento

Dispositivos de rastreamento Dispositivos de rastreamento baseados em diferentes baseados em diferentes tecnologias como:tecnologias como: Magnéticos.Magnéticos. Mecânicos.Mecânicos. Sonoros.Sonoros. Inerciais.Inerciais. Ópticos.Ópticos. Híbridos. Híbridos.

Dissertação de Mestrado

Page 6: Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza

Rastreamento ÓpticoRastreamento ÓpticoO funcionamento se baseia na captura pelas câmeras O funcionamento se baseia na captura pelas câmeras dos emissores de luz ou objetos revestidos de material dos emissores de luz ou objetos revestidos de material retrorreflexivo ou padrões planares pre-definidos que, retrorreflexivo ou padrões planares pre-definidos que, após a aplicação de técnicas de visão computacional após a aplicação de técnicas de visão computacional sobre as imagens capturadas, dão como resultado a sobre as imagens capturadas, dão como resultado a posição e orientação dos objetos rastreados no posição e orientação dos objetos rastreados no espaço 3D.espaço 3D.

Dissertação de Mestrado

Page 7: Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza

Rastreamento ÓpticoRastreamento Óptico

Tem se duas configurações:Tem se duas configurações:

1.1. A fonte de luz, ou os marcadores A fonte de luz, ou os marcadores retrorreflexivos, estão localizados no retrorreflexivos, estão localizados no objeto rastreado e as câmeras estão objeto rastreado e as câmeras estão posicionadas no espaço de posicionadas no espaço de rastreamento (rastreamento (Outside-inOutside-in).).

2.2. Os marcadores estão dispersas no Os marcadores estão dispersas no espaço de rastreamento definindo espaço de rastreamento definindo eixos 2D, no teto ou nas paredes, e eixos 2D, no teto ou nas paredes, e as câmeras ficam no objeto as câmeras ficam no objeto rastreado (rastreado (Inside-outInside-out).).

Dissertação de Mestrado

Page 8: Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza

O Dispositivo de Rastreamento O Dispositivo de Rastreamento Óptico PropostoÓptico Proposto

Descrição dos Descrição dos componentes e componentes e características físicas do características físicas do dispositivo.dispositivo.Descrição da Descrição da implementação do implementação do processo de rastreamento processo de rastreamento óptico.óptico.Extração dos 6 graus de Extração dos 6 graus de liberdade do rastreamento liberdade do rastreamento dos marcadores.dos marcadores.

Dissertação de Mestrado

Page 9: Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza

Equipamento UtilizadoEquipamento Utilizado

Os componentes são: Os componentes são: 3 câmeras web.3 câmeras web. Uma caixa de madeira, pintada Uma caixa de madeira, pintada

de cor preta, com dimensões de cor preta, com dimensões de 0.5×0.5×0.5 m.de 0.5×0.5×0.5 m.

Um suporte móvel de alumínio, Um suporte móvel de alumínio, que serve de base para as que serve de base para as câmeras web.câmeras web.

Duas lâmpadas, colocadas nos Duas lâmpadas, colocadas nos extremos laterais da caixa de extremos laterais da caixa de madeira.madeira.

Bolas de isopor branco Bolas de isopor branco utilizadas como marcadores. utilizadas como marcadores.

Dissertação de Mestrado

Page 10: Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza

Características Físicas em ComumCaracterísticas Físicas em ComumUma área física bem definida, onde fica concentrado o campo Uma área física bem definida, onde fica concentrado o campo de visão das câmeras e onde se faz o rastreamento dos de visão das câmeras e onde se faz o rastreamento dos marcadores definidos. marcadores definidos. Um conjunto de câmeras, que são colocadas a uma altura Um conjunto de câmeras, que são colocadas a uma altura moderada da área de rastreamento para não atrapalhar a moderada da área de rastreamento para não atrapalhar a movimentação que o usuário possa fazer dentro desse movimentação que o usuário possa fazer dentro desse espaço.espaço.Um conjunto de marcadores, que na maioria das vezes são Um conjunto de marcadores, que na maioria das vezes são esféricos, e que serão os alvos no processo de rastreamento.esféricos, e que serão os alvos no processo de rastreamento.

Dissertação de Mestrado

Page 11: Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza

Processo de RastreamentoProcesso de Rastreamento

Captura e processamento da imagem de Captura e processamento da imagem de vídeo.vídeo.Extração de marcadores.Extração de marcadores.Calibração das câmeras web.Calibração das câmeras web.Correlação de marcadores.Correlação de marcadores.Reconstrução 3D dos marcadores.Reconstrução 3D dos marcadores.

O processo de rastreamento óptico é O processo de rastreamento óptico é composto por vários subprocessos, cujos composto por vários subprocessos, cujos tópicos chave são:tópicos chave são:

Dissertação de Mestrado

Page 12: Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza

Captura das ImagensCaptura das ImagensO primeiro passo é a captura das imagens de O primeiro passo é a captura das imagens de vídeo dos dispositivos.vídeo dos dispositivos.

Dissertação de Mestrado

1 23

Page 13: Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza

Processamento das ImagensProcessamento das Imagens

Aplicação de filtros Aplicação de filtros sobre as imagens sobre as imagens com a finalidade de com a finalidade de deixar só a deixar só a informação relevante informação relevante para nossa para nossa implementação.implementação.

Gray Scale e Gaussiano

Threshold

Dissertação de Mestrado

Page 14: Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza

Reconhecimento de Áreas Reconhecimento de Áreas de Interessede Interesse

A partir das coordenadas A partir das coordenadas dos pixels que formam o dos pixels que formam o contorno das áreas contorno das áreas circulares, se calcula a circulares, se calcula a media aritmética como media aritmética como sendo o centro delas. sendo o centro delas. Este será o ponto de Este será o ponto de referência utilizado.referência utilizado.

Dissertação de Mestrado

Page 15: Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza

Calibração das CâmerasCalibração das CâmerasO objetivo é encontrar uma medida de relacionamento O objetivo é encontrar uma medida de relacionamento entre o mundo 3D, ou seja, o espaço físico que é visto entre o mundo 3D, ou seja, o espaço físico que é visto pela câmera, e o plano da imagem 2D que nós vemos na pela câmera, e o plano da imagem 2D que nós vemos na tela do computador visualizando o espaço físico tela do computador visualizando o espaço físico capturado.capturado.

Dissertação de Mestrado

Page 16: Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza

Padrão para CalibraçãoPadrão para CalibraçãoSe calibrara as câmeras a Se calibrara as câmeras a partir dos pontos de partir dos pontos de referência.referência.

Usando o reconhecimento Usando o reconhecimento das áreas de interesse das áreas de interesse propomos nosso padrão de propomos nosso padrão de calibração.calibração.

Dissertação de Mestrado

Page 17: Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza

Método de CalibraçãoMétodo de Calibração

Após a captura dos pontos do nosso Após a captura dos pontos do nosso padrão, cada câmera será calibrada padrão, cada câmera será calibrada utilizando este mesmo conjunto de pontos utilizando este mesmo conjunto de pontos de referência.de referência.

Se utilizou o método TSAI não – coplanar.Se utilizou o método TSAI não – coplanar.

Dissertação de Mestrado

Page 18: Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza

Matriz Parâmetros ExtrínsecosMatriz Parâmetros ExtrínsecosComo resultado da calibração conseguimos calcular a Como resultado da calibração conseguimos calcular a matriz de rotação “R” e o vetor de translação “T” que matriz de rotação “R” e o vetor de translação “T” que nos permitem levar coordenadas do mundo a nos permitem levar coordenadas do mundo a coordenadas do espaço da câmera (Parâmetros coordenadas do espaço da câmera (Parâmetros extrínsecos). extrínsecos).

Dissertação de Mestrado

110001987

654

321

w

w

w

wz

y

x

c

c

c

c z

y

x

Ptrrr

trrr

trrr

Z

Y

X

P

Page 19: Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza

Matriz Parâmetros IntrínsecosMatriz Parâmetros IntrínsecosEsta matriz permite levar pontos do espaço da câmera a Esta matriz permite levar pontos do espaço da câmera a coordenadas na imagem.coordenadas na imagem.

Os parâmetros intrínsecos são : distancia focal ‘Os parâmetros intrínsecos são : distancia focal ‘ f ‘f ‘, Centro , Centro da imagem em pixels Oda imagem em pixels Oxx e O e Oyy,tamanho efetivo em mm. ,tamanho efetivo em mm.

do pixel ddo pixel dxx e d e dyy..

Dissertação de Mestrado

c

c

c

cyy

xx

Z

Y

X

POf

Of

w

v

u

p

100

0

0

Page 20: Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza

Resultado da CalibraçãoResultado da CalibraçãoO resultado foi testado projetando os eixos O resultado foi testado projetando os eixos ortogonais do mundo sobre na mesmas ortogonais do mundo sobre na mesmas imagens de vídeo capturadas.imagens de vídeo capturadas.

Dissertação de Mestrado

Page 21: Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza

Detecção de MarcadoresDetecção de MarcadoresAqui aplicaremos os Aqui aplicaremos os filtros sobre as filtros sobre as imagens para extrair imagens para extrair a informação que a informação que precisamos sobre os precisamos sobre os marcadores.marcadores.

Se utilizou a extração Se utilizou a extração de contornos para a de contornos para a detecção dos detecção dos marcadores.marcadores.

Dissertação de Mestrado

Page 22: Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza

Correlação dos MarcadoresCorrelação dos MarcadoresUma vez detectados os marcadores , se fará a Uma vez detectados os marcadores , se fará a correlação dos mesmos entre as 3 imagens correlação dos mesmos entre as 3 imagens capturadas.capturadas.Se utilizara a geometria epipolar para Se utilizara a geometria epipolar para implementação desta etapa. implementação desta etapa.

Dissertação de Mestrado

Caso Intuitivo

Page 23: Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza

Múltipla CorrelaçãoMúltipla CorrelaçãoUm caso mais complexo é quando temos mais Um caso mais complexo é quando temos mais de um marcador nas imagens das câmeras web, de um marcador nas imagens das câmeras web, e com isto temos que fazer uma correlação entre e com isto temos que fazer uma correlação entre os “n” marcadores detectados nas câmeras.os “n” marcadores detectados nas câmeras.

Precisa ter uma ferramenta de correlação :

Uso da Geometria Epipolar, uso das matrizes fundamentais.

Dissertação de Mestrado

Page 24: Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza

Objetivo de uso Objetivo de uso da Geometria Epipolarda Geometria Epipolar

A geometria epipolar nos permite ter uma A geometria epipolar nos permite ter uma ferramenta com as seguintes vantagens:ferramenta com as seguintes vantagens: Individualizar a correspondência entre os Individualizar a correspondência entre os

marcadores que aparecem nas 3 imagens de marcadores que aparecem nas 3 imagens de vídeo.vídeo.

Reduzir o campo de busca dos marcadores Reduzir o campo de busca dos marcadores dentro da imagem em cada câmera. dentro da imagem em cada câmera.

Dissertação de Mestrado

Page 25: Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza

Amostra para Calcular a Matriz Amostra para Calcular a Matriz FundamentalFundamental

Se precisou capturar uma amostra de pontos. Se precisou capturar uma amostra de pontos. Esta amostra foi testada entre 3000 a 8000.Esta amostra foi testada entre 3000 a 8000.

Dissertação de Mestrado

O método utilizado para o calculo foi o Algoritmo O método utilizado para o calculo foi o Algoritmo de RANSAC.de RANSAC.

Pivô

Page 26: Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza

A Matriz FundamentalA Matriz Fundamental

O calculo da matriz fundamental duas a duas O calculo da matriz fundamental duas a duas câmeras. Ela permitira relacionar a geometria câmeras. Ela permitira relacionar a geometria projetiva intrínseca de duas vistas capturadas projetiva intrínseca de duas vistas capturadas desde diferentes câmeras.desde diferentes câmeras.

Dissertação de Mestrado

01 oPivDir pFp Tˆ02 oPivEsq pFp T

ˆ

Page 27: Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza

Estratégia de Correlação Estratégia de Correlação A estratégia se baseia em eleger uma das 3 A estratégia se baseia em eleger uma das 3 câmeras como sendo a câmera pivô.câmeras como sendo a câmera pivô.

Dissertação de Mestrado

A partir da câmera de pivô se identificará os A partir da câmera de pivô se identificará os marcadores que serão a base da correlação com marcadores que serão a base da correlação com as outras imagens de vídeo.as outras imagens de vídeo.

Page 28: Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza

Estratégia de Correlação Estratégia de Correlação Usando as matrizes fundamentais achadas entre a Usando as matrizes fundamentais achadas entre a câmera pivô e as outras câmeras, se projeta o ponto de câmera pivô e as outras câmeras, se projeta o ponto de referência, achado para cada marcador da câmera pivô, referência, achado para cada marcador da câmera pivô, sobre a imagem das câmeras subordinadas a câmera sobre a imagem das câmeras subordinadas a câmera pivô, esta projeção se visualiza como uma linha pivô, esta projeção se visualiza como uma linha sobreposta na imagem das câmeras subordinadas.sobreposta na imagem das câmeras subordinadas.

Dissertação de Mestrado

Page 29: Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza

Resultado da Estratégia Resultado da Estratégia de Correlaçãode Correlação

Este resultado é o caso ideal, mas temos casos Este resultado é o caso ideal, mas temos casos especiais onde a correlação não é tão notória.especiais onde a correlação não é tão notória.

Dissertação de Mestrado

Page 30: Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza

Casos Especiais de CorrelaçãoCasos Especiais de Correlação

Caso onde dois marcadores caem sobre uma Caso onde dois marcadores caem sobre uma mesma linha.mesma linha.

Dissertação de Mestrado

Page 31: Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza

Casos Especiais de CorrelaçãoCasos Especiais de Correlação Caso onde tem oclusão e dois marcadores se Caso onde tem oclusão e dois marcadores se visualizam como um único marcador.visualizam como um único marcador.

Dissertação de Mestrado

Page 32: Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza

Possíveis Soluções: Casos Possíveis Soluções: Casos EspeciaisEspeciais

Para o primeiro caso, a solução é considerar todos os Para o primeiro caso, a solução é considerar todos os marcadores que caem numa mesma linha epipolar como marcadores que caem numa mesma linha epipolar como candidatos momentâneos e na etapa de reconstrução 3D candidatos momentâneos e na etapa de reconstrução 3D fazer o descarte dos que estejam errados.fazer o descarte dos que estejam errados.Para a segundo caso, uma opção foi descartar a Para a segundo caso, uma opção foi descartar a informação da câmera que apresenta o caso de oclusão, informação da câmera que apresenta o caso de oclusão, e só trabalhar com a informação das câmeras restantes.e só trabalhar com a informação das câmeras restantes.Em caso a câmera pivô seja a que apresenta o caso de Em caso a câmera pivô seja a que apresenta o caso de oclusão, se escolhe outra câmera onde se tenham oclusão, se escolhe outra câmera onde se tenham identificado o número de marcadores rastreados e se identificado o número de marcadores rastreados e se considera ela como pivô. considera ela como pivô.

Dissertação de Mestrado

Page 33: Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza

Reconstrução 3D dos MarcadoresReconstrução 3D dos Marcadores

A partir da correlação dos marcadores , se A partir da correlação dos marcadores , se utilizará esta informação para obter a posição utilizará esta informação para obter a posição 3D de cada marcador.3D de cada marcador.

Dissertação de Mestrado

Page 34: Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza

ReconstruçãoReconstrução A reconstrução será feita em relação as A reconstrução será feita em relação as coordenadas de câmera da Câmera Pivô.coordenadas de câmera da Câmera Pivô.

Dissertação de Mestrado

)(ˆ 22 TPRP ropiv

l r

Ol

xcl

ycl

zclOr

xcr

ycr

zcr

Pl

plpr

Pr

R1

T1

Ppivô

T2R2

ypivô

xpivôzpivôOpivô)(ˆ 11 TPRP lopiv

opivˆ

Page 35: Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza

O Método de ReconstruçãoO Método de Reconstrução O método de reconstrução se baseia em criar um O método de reconstrução se baseia em criar um sistema de equações, duas a duas câmeras, com a sistema de equações, duas a duas câmeras, com a seguinte informação:seguinte informação:

Dissertação de Mestrado

Tlllcl

TRcr

TRw ZcYcXcppp

1][][

Page 36: Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza

O Método de ReconstruçãoO Método de Reconstrução Então temos duas equações que representam o Então temos duas equações que representam o mesmo ponto 3D em coordenadas da câmera da mesmo ponto 3D em coordenadas da câmera da esquerda expressado da seguinte forma:esquerda expressado da seguinte forma:

Dissertação de Mestrado

T

llll

T

lllllZcYcXcPwvwuw

1 T

lllr

T

rrrrrZcYcXcPwvwuw

1

Onde POnde Pl l é a matriz que leva um ponto em coordenadas é a matriz que leva um ponto em coordenadas da câmera da esquerda para coordenadas do plano da da câmera da esquerda para coordenadas do plano da imagem da esquerda (Matriz de parâmetros imagem da esquerda (Matriz de parâmetros extrínsecos).extrínsecos).

E PE Prr é a matriz que levaria primeiro um ponto em é a matriz que levaria primeiro um ponto em coordenadas da câmera da esquerda e logo levar este coordenadas da câmera da esquerda e logo levar este ponto para coordenadas na imagem de direita.ponto para coordenadas na imagem de direita.

Page 37: Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza

O Método de ReconstruçãoO Método de Reconstrução Com este artifício podemos achar a coordenada do Com este artifício podemos achar a coordenada do ponto 3D da câmera esquerda que é o dado comum e ponto 3D da câmera esquerda que é o dado comum e desconhecido nestas duas equações, assim podemos desconhecido nestas duas equações, assim podemos chegar a:chegar a:

Dissertação de Mestrado

1443

3

2

1

1x

l

l

l

xr

r

r

r

rr

rr

ZcYcXc

PPP

wvwuw

1443

3

2

1

1x

l

l

l

xl

l

l

l

ll

ll

ZcYcXc

PPP

wvwuw

Onde resolvendo para cada fila podemos criar a Onde resolvendo para cada fila podemos criar a seguinte sistema equações expresso como um seguinte sistema equações expresso como um sistema Ax = 0 :sistema Ax = 0 :

44

32

31

32

31

44

xrr

rr

ll

ll

x

pvppuppvppup

B

r

r

l

l

01ZcYcXcB1x4

T

lll4x4

Page 38: Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza

Resultado da ReconstruçãoResultado da Reconstrução

O resultado da reconstrução será o valor da O resultado da reconstrução será o valor da coordenada 3D de cada marcador expresso no sistema coordenada 3D de cada marcador expresso no sistema de coordenadas da câmera Pivô, a qual pode ser de coordenadas da câmera Pivô, a qual pode ser transformada em coordenadas 3D do mundo em transformada em coordenadas 3D do mundo em milímetros. milímetros.

Dissertação de Mestrado

Page 39: Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza

Características do grupo de marcadoresCaracterísticas do grupo de marcadores Após a reconstrução é importante definir as características Após a reconstrução é importante definir as características físicas que definam o grupo de marcadores como um objeto físicas que definam o grupo de marcadores como um objeto só, isto nos permitira depois procurar esta forma entre as só, isto nos permitira depois procurar esta forma entre as possíveis reconstrução em casos especiais.possíveis reconstrução em casos especiais.

Uma característica usada é conhecer a distancia entre os Uma característica usada é conhecer a distancia entre os marcadores em milímetros.marcadores em milímetros.

Dissertação de Mestrado

Page 40: Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza

Casos EspeciaisCasos Especiais Como se definiu na etapa de correlação, no caso onde Como se definiu na etapa de correlação, no caso onde se tem marcadores que caem sobre uma mesma linha se tem marcadores que caem sobre uma mesma linha epipolar traz como conseqüência a reconstrução de epipolar traz como conseqüência a reconstrução de marcadores errados. marcadores errados.

Dissertação de Mestrado

Page 41: Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza

Casos EspeciaisCasos Especiais É assim que se utilizará as características do grupos de É assim que se utilizará as características do grupos de marcadores para descartar os marcadores errados. marcadores para descartar os marcadores errados.

Dissertação de Mestrado

Page 42: Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza

Casos EspeciaisCasos Especiais Como resultado teremos só um conjunto de Como resultado teremos só um conjunto de marcadores com as posições 3D corretas e que cumpre marcadores com as posições 3D corretas e que cumpre com as características físicas definidas para o grupo de com as características físicas definidas para o grupo de marcadores.marcadores.

Dissertação de Mestrado

Page 43: Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza

Extração dos 6 Graus de LiberdadeExtração dos 6 Graus de Liberdade

Com a identificação e reconstrução do grupo de Com a identificação e reconstrução do grupo de marcadores como um objeto único, podemos marcadores como um objeto único, podemos começar o processo de extração dos 6 graus começar o processo de extração dos 6 graus de liberdade.de liberdade. 3 Graus de liberdade, da interpretação de 3 Graus de liberdade, da interpretação de

movimentos de translação dentro do volume da movimentos de translação dentro do volume da caixa.caixa.

3 Graus de liberdade, da interpretação de 3 Graus de liberdade, da interpretação de movimentos de rotação como giros que faz o plano movimentos de rotação como giros que faz o plano triangular definido pelos marcadores.triangular definido pelos marcadores.

Dissertação de Mestrado

Page 44: Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza

Analogia com um dispositivo Analogia com um dispositivo conhecidoconhecido

Um dispositivo que também utiliza a extração dos 6 Um dispositivo que também utiliza a extração dos 6 graus de liberdade para emitir eventos é o graus de liberdade para emitir eventos é o Spaceball. Spaceball.

Dissertação de Mestrado

Page 45: Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza

Analogia com um dispositivo Analogia com um dispositivo conhecidoconhecido

As translações e rotações se As translações e rotações se capturam a partir da capturam a partir da movimentação de um movimentação de um elemento base desde uma elemento base desde uma posição inicial pre-definida. posição inicial pre-definida.

Dissertação de Mestrado

Page 46: Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza

Extração das Translações Extração das Translações

Para interpretar as sinais de translação se definiu a Para interpretar as sinais de translação se definiu a uma posição inicial dentro da espaço de rastreamento uma posição inicial dentro da espaço de rastreamento do mundo e dependendo da translação se emitem do mundo e dependendo da translação se emitem deltas de translação no eixo correspondente:deltas de translação no eixo correspondente:( ( δδX – largura, X – largura, δδY – altura, Y – altura, δδZ – profundidade) Z – profundidade)

Dissertação de Mestrado

Page 47: Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza

Extração das Rotações Extração das Rotações Para interpretar as sinais de rotação se definiu Para interpretar as sinais de rotação se definiu também uma posição inicial para a qual se define também uma posição inicial para a qual se define um quaternio inicial.um quaternio inicial.Em cada instante se calcula o quaternio que Em cada instante se calcula o quaternio que representa a posição atual dos marcadores.representa a posição atual dos marcadores.A diferença entre estes quaternios será utilizada A diferença entre estes quaternios será utilizada como nosso deltas de rotação. como nosso deltas de rotação.

Dissertação de Mestrado

Quaternio Inicial Quaternio Atual

Page 48: Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza

Resultado da Extração das Rotações Resultado da Extração das Rotações

Para testar a correta Para testar a correta identificação dos identificação dos quaternios que quaternios que reapresentam a reapresentam a rotação do conjunto rotação do conjunto de marcadores, de marcadores, inicialmente se inseriu inicialmente se inseriu nas imagens de vídeo nas imagens de vídeo um objeto virtual que um objeto virtual que acompanha os acompanha os movimentos de nosso movimentos de nosso marcadores.marcadores.

Dissertação de Mestrado

Page 49: Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza

Aplicações de TesteAplicações de Teste

PINTOR 3DPINTOR 3D

Dissertação de Mestrado

BRAÇO ROBÔ BRAÇO ROBÔ VIRTUALVIRTUAL

Page 50: Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza

Aplicações de TesteAplicações de TesteNAVEGAÇÃO COM UM ROBÔ SUBMARINONAVEGAÇÃO COM UM ROBÔ SUBMARINO

Dissertação de Mestrado

Page 51: Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza

Conclusões Conclusões

Mostrar que é possível construir um dispositivo de Mostrar que é possível construir um dispositivo de rastreamento óptico barato e composto de hardware rastreamento óptico barato e composto de hardware comum, como são as câmeras web.comum, como são as câmeras web.

Mostrar a adaptabilidade que o dispositivo pode ter para Mostrar a adaptabilidade que o dispositivo pode ter para comportar-se como um dispositivo de entrada, ao qual é comportar-se como um dispositivo de entrada, ao qual é possível adicionar e relacionar diferentes tipos de possível adicionar e relacionar diferentes tipos de eventos.eventos.

O funcionamento do dispositivo foi orientado mais a um O funcionamento do dispositivo foi orientado mais a um contexto qualitativo e de valorização da adaptação do contexto qualitativo e de valorização da adaptação do usuário às novas características de interação que o usuário às novas características de interação que o dispositivo lhe oferece.dispositivo lhe oferece.

Dissertação de Mestrado

Page 52: Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza

Trabalhos Futuros Trabalhos Futuros Melhorar o hardware como usar câmeras de maior Melhorar o hardware como usar câmeras de maior resolução e campo de visão.resolução e campo de visão.Incrementar o número de padrões definidos pelos Incrementar o número de padrões definidos pelos marcadores a serem rastreados dentro de um mesmo marcadores a serem rastreados dentro de um mesmo espaço de rastreamento e talvez utilizar as duas mãos espaço de rastreamento e talvez utilizar as duas mãos do usuário para a interação.do usuário para a interação.Testar novos algoritmos para cada etapa do processo Testar novos algoritmos para cada etapa do processo de rastreamento.de rastreamento.Estudar e analisar que tipo de técnicas de interação 3D Estudar e analisar que tipo de técnicas de interação 3D podem se utilizar com nosso dispositivo.podem se utilizar com nosso dispositivo.

Dissertação de Mestrado

Page 53: Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza

Perguntas ?Perguntas ?

Dissertação de Mestrado

Page 54: Implementação de um Dispositivo de Rastreamento Óptico com 6 Graus de Liberdade para Interação com Aplicações de Realidade Virtual Manuel Eduardo Loaiza

Fim Fim

Dissertação de Mestrado

Thanks god.