abordagem híbrida para rastreamento 3d monocular em tempo real de objetos planares especulares...

Abordagem Híbrida para Rastreamento 3D Monocular em Tempo Real de Objetos Planares

Especulares

Projeto de Computação Gráfica

João Paulo Lima

Grupo de Pesquisa em Realidade Virtual e MultimídiaUniversidade Federal de Pernambuco, Centro de Informática

Agenda

MotivaçãoMetodologiaResultadosConclusõesTrabalhos Futuros

Motivação

Determinar posição e orientação de um objeto em tempo realPerda de informação devido à reflexão

Metodologia

Rastreamento baseado em modeloAbordagem híbrida

Por detecção + RecursivoTextura + Aresta

Em objetos especulares:Rastreamento baseado em texturaSe falhar, rastreamento baseado em aresta

Última pose como estimativa

Metodologia :: Texture Based

Metodologia :: Edge Based

Determinar partes visíveis das arestas do modelo projetado com pose anterior

Extensão de OpenGL GL_ARB_occlusion_query

Metodologia :: Edge Based

Amostragem das arestas visíveis projetadas

Pontos de controle

Metodologia :: Edge Based

Para cada ponto de controlePonto correspondente no gradiente da imagemAlgoritmo Moving Edges (ME)

Metodologia :: Edge Based

Cálculo da poseMinimização do erro de reprojeçãoLevenberg-Marquardt

i

ii qperr ),(

)()(),( iiiii npqqp

Metodologia :: Bibliotecas

VXL (Vision-something-Libraries)ViSP (Visual Servoing Platform)OpenGL

Resultados

Rastreamento baseado em aresta (~30 fps)

Resultados

Objetos planares especularesTextura vs Textura + Aresta

Textura Textura + Aresta

Conclusões

Técnica híbrida para objetos planares especulares foi melhor em alguns casosRastreamento de objetos planares baseado em aresta não é suficiente

Poucas restriçõesCorrespondências errôneas

Rastrear objetos não-planares usando aresta apresentou melhores resultados

Trabalhos Futuros

Múltiplas hipóteses no MECorreção da detecção de arestas visíveisUso de estimadores robustosDetecção explícita de arestasPorte para dispositivos móveis

Referências

I. Gordon e D. G. Lowe, “What and Where: 3D Object Recognition with Accurate Pose”, University of British Columbia

A. Comport, E. Marchand, M. Pressigout, and F. Chaumette. “Realtime markerless tracking for augmented reality: the virtual visual servoing framework”. LAGADIC.

V. Lepetit e P. Fua, “Monocular Model-Based 3D Tracking of Rigid Objects: A Survey”, CVLAB

VXL, http://vxl.sourceforge.net/

ViSP, http://www.irisa.fr/lagadic/visp

OpenGL, http://www.khronos.org/opengl/