obtenÇÃo da forma 3d de objectos usando uma metodologia de reconstruÇÃo de estruturas a partir...

OBTENÇÃO DA FORMA 3D DE OBJECTOS USANDO UMA METODOLOGIA DE

RECONSTRUÇÃO DE ESTRUTURAS A PARTIR DO MOVIMENTO



Teresa C. S. Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz

FEUP – Faculdade de Engenharia da Universidade do PortoLOME – Laboratório de Óptica e Mecânica Experimental

Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 2

ÍndiceI. Introdução à Visão 3D:

Técnicas; Aplicações;

II. Apresentação da Plataforma Computacional em Desenvolvimento;

III. Alguns resultados experimentais obtidos;

IV. Conclusões;

V. Trabalho futuro.

OBTENÇÃO DA FORMA 3D DE OBJECTOS USANDO UMA OBTENÇÃO DA FORMA 3D DE OBJECTOS USANDO UMA METODOLOGIA DE RECONSTRUÇÃO DE ESTRUTURAS METODOLOGIA DE RECONSTRUÇÃO DE ESTRUTURAS

A PARTIR DO MOVIMENTOA PARTIR DO MOVIMENTO




Em Visão Computacional, várias são as técnicas que se podem utilizar para recuperar a estrutura 3D de uma cena ou de um objecto:

Introdução

Plataforma

Conclusões

Trabalho Futuro

Resultados




Aplicações: Seguimento e segmentação de objectos; Engenharia (Prototipagem rápida, design, ...); Realidade virtual (Actores e objectos virtuais, ...); Medicina (Reconstrução facial, ...); Arquitectura (Reconstrução de estruturas, esculturas, ...); Sistemas de navegação e identificação (Controlo de robots,

biometria, ...); …

Introdução

Plataforma

Conclusões

Trabalho Futuro

Resultados




Objectivo do projecto: obtenção de modelos 3D de cenas ou de objectos reais;

Metodologia utilizada: estrutura a partir do movimento reconstrução de cenas/objectos a partir do movimento da(s) câmara(s); não impondo qualquer tipo de restrição ao movimento envolvido.

Partindo de uma sequência de imagens não calibradas, pretende-se extrair o movimento e a calibração da(s) câmara(s) considerada(s), assim como obter a geometria 3D do objecto em causa.

Sequência de imagens

Extracção de pontos fortes

Emparelhamento de pontos fortes

Extracção da geometria epipolar

Auto-calibração / Estimativa da Pose

Emparelhamento denso

Reconstrução 3D

Introdução

Plataforma

Conclusões

Trabalho Futuro

Resultados




Plataforma Computacional em desenvolvimento: Integração de funções disponibilizadas em várias bibliotecas de

domínio público: OpenCV; Peter’s Matlab Functions for Computer Vision and Image Analysis

(portada para C); Torr’s Matlab Toolkit (portada para C); KLT; Projective Rectification without Epipolar Geometry; Depth Discontinuities by Pixel-to-Pixel Stereo.

Desenvolvimento modular; Interface gráfica adequada para o utilizador; Linguagem: C++; Sistema operativo: Microsoft Windows.

Introdução

Plataforma

Conclusões

Trabalho Futuro

Resultados




As funções incluídas abrangem várias técnicas de Visão Activa:

Introdução

Plataforma

Conclusões

Trabalho Futuro

Resultados

O utilizador pode escolher o algoritmo que pretende usar, assim como definir comodamente os seus parâmetros.

extracção de pontos fortes (pontos característicos); emparelhamento de pontos fortes entre imagens; cálculo da geometria epipolar; rectificação; emparelhamento denso.


Utilização de pares de imagens estéreo (540x612 píxeis), capturadas usando uma câmara digital convencional;

1) Extracção de pontos fortes:

São pontos que reflectem discrepâncias relevantes entre os seus valores de intensidades e os dos seus vizinhos;

A sua extracção permite posteriormente correlacioná-los sequencialmente noutras imagens (emparelhamento).

Introdução

Plataforma

Conclusões

Trabalho Futuro

Resultados



Algoritmos disponíveis para a

extracção de pontos fortes

Resultados


Extracção de pontos fortes – exemplos obtidos pelas técnicas disponíveis:Introdução

Plataforma

Conclusões

Trabalho Futuro

Resultados




2) Emparelhamento de pontos fortes entre imagens:

Identificação dos pontos nas várias imagens que resultem da projecção do mesmo ponto da cena (matching);

Um reduzido número de pontos de correspondência, é suficiente para se poder determinar a relação geométrica entre as duas imagens (matriz fundamental).



Introdução

Plataforma

Conclusões

Trabalho Futuro

Resultados

Coordenadas dos pontos fortes da primeira imagem

Coordenadas dos pontos emparelhados da segunda imagem

Matriz fundamental

Algoritmos disponíveis para o emparelhamento

de pontos fortes




Emparelhamento de pontos fortes entre imagens – Exemplo:Introdução

Plataforma

Conclusões

Trabalho Futuro

Resultados

. . .




3) Cálculo da geometria epipolar:

Obtém-se informação da pose relativa entre vistas da mesma cena.

Introdução

Plataforma

Conclusões

Trabalho Futuro

Resultados

Algoritmos disponíveis para o

cálculo da geometria epipolar




4) Rectificação:

Traduz-se em alterar as imagens de forma a colocar as linhas epipolares paralelas ao eixo horizontal da imagem;

Facilita o problema do emparelhamento de pontos entre imagens.

Introdução

Plataforma

Conclusões

Trabalho Futuro

Resultados

Algoritmo disponível para a

rectificação




5) Emparelhamento denso:

Cálculo do mapa de disparidade, que codifica em níveis de cinzento a distância dos objectos em relação à(s) câmara(s), ou seja, pontos muitos distantes têm disparidade zero (preto) e pontos muito próximos terão a máxima disparidade (branco);

Um mapa de disparidade dá a percepção das descontinuidades em termos de profundidade de uma cena;

Um dos algoritmos disponíveis também retorna um mapa de descontinuidades, definido pelos píxeis que fazem fronteira entre uma mudança de pelo menos dois níveis de disparidade.

Introdução

Plataforma

Conclusões

Trabalho Futuro

Resultados

Algoritmos disponíveis para o emparelhamento

denso




Emparelhamento denso – Exemplo (imagens previamente rectificadas):Introdução

Plataforma

Conclusões

Trabalho Futuro

Resultados

Imagens originais

Mapa de disparidade Mapa de descontinuidades




Conclusões: As funções analisadas obtêm bons resultados experimentais

quando aplicadas em objectos que apresentam características fortes;

Os resultados experimentais obtidos com menor qualidade, geralmente estão relacionados com a determinação dos pontos característicos nas imagens a considerar (pontos fortes);

Esta debilidade, das técnicas analisadas e integradas na plataforma computacional, é tanto maior, quanto menor as variações da forma dos objectos em causa.

Introdução

Plataforma

Conclusões

Trabalho Futuro

Resultados




Introdução

Plataforma

Conclusões

Trabalho Futuro

Resultados

Trabalho Futuro: As próximas etapas deste projecto irão concentrar-se no sentido

de melhorar os resultados obtidos quando os objectos a reconstruir apresentam formas contínuas e suaves: os pontos característicos serão determinados utilizando marcadores

nos objectos; integração de técnicas de calibração da(s) câmara(s), assim como de

obtenção da pose e do movimento da(s) mesma(s); introdução de técnicas de “escavação” do espaço tridimensional -

space carving - para a modelização do objecto;

Finalmente, pretende-se utilizar a plataforma computacional apresentada na reconstrução e caracterização de formas 3D anatómicas exteriores.





Teresa C. S. Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz

FEUP - Faculdade de Engenharia da Universidade do PortoLOME – Laboratório de Óptica e Mecânica Experimental

obtenÇÃo da forma 3d de objectos usando uma metodologia de reconstruÇÃo de estruturas a partir...

Documents