Abordagem Híbrida para Rastreamento 3D Monocular em Tempo Real de Objetos Planares

Especulares

Projeto de Computação Gráfica

João Paulo Lima

Grupo de Pesquisa em Realidade Virtual e MultimídiaUniversidade Federal de Pernambuco, Centro de Informática

Agenda

MotivaçãoMetodologiaResultadosConclusõesTrabalhos Futuros

Motivação

Determinar posição e orientação de um objeto em tempo realPerda de informação devido à reflexão

Metodologia

Rastreamento baseado em modeloAbordagem híbrida

Por detecção + RecursivoTextura + Aresta

Em objetos especulares:Rastreamento baseado em texturaSe falhar, rastreamento baseado em aresta

Última pose como estimativa

Metodologia :: Texture Based

Metodologia :: Edge Based

Determinar partes visíveis das arestas do modelo projetado com pose anterior

Extensão de OpenGL GL_ARB_occlusion_query

Metodologia :: Edge Based

Amostragem das arestas visíveis projetadas

Pontos de controle

Metodologia :: Edge Based

Para cada ponto de controlePonto correspondente no gradiente da imagemAlgoritmo Moving Edges (ME)

Metodologia :: Edge Based

Cálculo da poseMinimização do erro de reprojeçãoLevenberg-Marquardt

i

ii qperr ),(

)()(),( iiiii npqqp

Metodologia :: Bibliotecas

VXL (Vision-something-Libraries)ViSP (Visual Servoing Platform)OpenGL

Resultados

Rastreamento baseado em aresta (~30 fps)

Resultados

Objetos planares especularesTextura vs Textura + Aresta

Textura Textura + Aresta

Conclusões

Técnica híbrida para objetos planares especulares foi melhor em alguns casosRastreamento de objetos planares baseado em aresta não é suficiente

Poucas restriçõesCorrespondências errôneas

Rastrear objetos não-planares usando aresta apresentou melhores resultados

Trabalhos Futuros

Múltiplas hipóteses no MECorreção da detecção de arestas visíveisUso de estimadores robustosDetecção explícita de arestasPorte para dispositivos móveis

Referências

I. Gordon e D. G. Lowe, “What and Where: 3D Object Recognition with Accurate Pose”, University of British Columbia

A. Comport, E. Marchand, M. Pressigout, and F. Chaumette. “Realtime markerless tracking for augmented reality: the virtual visual servoing framework”. LAGADIC.

V. Lepetit e P. Fua, “Monocular Model-Based 3D Tracking of Rigid Objects: A Survey”, CVLAB

VXL, http://vxl.sourceforge.net/

ViSP, http://www.irisa.fr/lagadic/visp

OpenGL, http://www.khronos.org/opengl/