teresa azevedo, joão manuel r. s. tavares, mário vaztavares/downloads/... · teresa azevedo,...

Apresentação de uma Plataforma Computacional para a Reconstrução e

Caracterização da Forma 3D de Objectos

ApresentaApresentaçção de uma Plataforma ão de uma Plataforma Computacional para a ReconstruComputacional para a Reconstruçção e ão e

CaracterizaCaracterizaçção da Forma 3D de Objectosão da Forma 3D de Objectos

Teresa Azevedo, João Manuel R. S. Tavares, Mário Vaz

FEUP - Faculdade de Engenharia da Universidade do PortoLOME - Laboratório de Óptica e Mecânica Experimental

Teresa Azevedo, João Manuel R. S. Tavares, Mário Vaz 2





Índice:I. Visão 3D;

II. Plataforma Computacional em Desenvolvimento;

III. Resultados experimentais;

IV. Conclusões e Trabalho futuro.






Introdução

Plataforma

Conclusões

Trabalho Futuro

Resultados

Porquê a Visão Computacional:Abundância de imagens digitais;Inúmeras aplicações possíveis;Obter informações úteis a partir de imagens de forma o mais

semelhante possível à realizada pelo homem.

Interesse da Visão:~50% do cérebro humano está dedicado à Visão;A Visão reflecte a percepção do mundo exterior.






Em Visão Computacional, são várias as técnicas que se podem usar para recuperar a estrutura 3D de uma cena ou a forma de um objecto:

Introdução

Plataforma

Conclusões

Trabalho Futuro

Resultados






Aplicações:Seguimento e segmentação de objectos;Engenharia (Prototipagem rápida, design, ...);Realidade virtual (Actores e objectos virtuais, ...);Medicina (Reconstrução facial, ...);Arquitectura (Reconstrução de estruturas, esculturas, ...);Sistemas de navegação e identificação (Controlo de robots, Biometria, ...);…

Introdução

Plataforma

Conclusões

Trabalho Futuro

Resultados






Partindo de uma sequência de imagens não calibradas, pretende-se extrair o movimento e a calibração da(s) câmara(s) considerada(s), assim como obter a geometria 3D do objecto.

Introdução

Plataforma

Conclusões

Trabalho Futuro

Resultados

Metodologia utilizada: estrutura a partir do movimentoreconstrução de cenas/objectos a partir do movimento da(s) câmara(s); pretende-se não impor qualquer tipo de restrição ao movimento.

Objectivo do projecto: obtenção de modelos 3D de cenas ou de objectos reais;






Plataforma Computacional em desenvolvimento:Introdução

Plataforma

Conclusões

Trabalho Futuro

Resultados

Integração de funções disponibilizadas em várias bibliotecas de domínio público:

• OpenCV;• Peter’s Matlab Functions;• Torr’s Matlab Toolkit;• KLT;• Projective Rectification without Epipolar Geometry;• Depth Discontinuities by Pixel-to-Pixel Stereo.

Desenvolvimento modular;Interface gráfica adequada para o utilizador;Linguagem: C++;Sistema operativo: Microsoft Windows.

Portadas para Cutilizando o

MATLAB Compiler






Introdução

Plataforma

Conclusões

Trabalho Futuro

Resultados

O utilizador pode escolher o algoritmo que pretende usar, assim como definir comodamente os seus parâmetros.

extracção de pontos fortes (pontos característicos);

As funções incluídas abrangem várias técnicas de Visão Activa:

emparelhamento de pontos fortes entre imagens;

cálculo da geometria epipolar;

rectificação;

emparelhamento denso.






Introdução

Plataforma

Resultados

Conclusões

Trabalho Futuro

Algoritmos disponíveis para a

extracção de pontos fortes

1) Extracção de pontos fortes:

São pontos que reflectem discrepâncias relevantes entre os seus valores de intensidades e os dos seus vizinhos (por exemplo, vértices);

A sua extracção permite posteriormente correlacioná-los sequencialmente noutras imagens (emparelhamento).

OpenCV KLT






Introdução

Plataforma

Conclusões

Trabalho Futuro

Resultados

Coordenadas dos pontos fortes da primeira imagem

Coordenadas dos pontos emparelhados da segunda imagem

Matriz fundamental

Algoritmos disponíveis para o emparelhamento

de pontos fortes

2) Emparelhamento de pontos fortes entre imagens:

Identificação dos pontos 2D nas várias imagens que resultem da projecção do mesmo ponto 3D da cena (matching);

Um reduzido número de pontos de correspondência, é suficiente para se poder determinar a relação geométrica entre as duas imagens (matriz fundamental).






Introdução

Plataforma

Conclusões

Trabalho Futuro

Resultados

. . .

Emparelhamento de pontos fortes entre imagensexemplo obtido por uma das técnicas integradas:






Introdução

Plataforma

Conclusões

Trabalho Futuro

Resultados

3) Cálculo da geometria epipolar:Obtém-se informação da pose relativa entre vistas da mesma cena;Permite eliminar erros no emparelhamento efectuado anteriormente;Facilita a obtenção de novos pontos de correlação (emparelhamento denso).

Algoritmos disponíveis para a determinação das linhas epipolares

Algoritmos que incluem o cálculo da geometria epipolar






Introdução

Plataforma

Conclusões

Trabalho Futuro

Resultados

Cálculo da geometria epipolarexemplo obtido por uma das técnicas integradas:

Linha epipolar Inlier






Traduz-se em alterar as imagens de forma a colocar as linhas epipolaresparalelas ao eixo horizontal da imagem;

Facilita o problema do emparelhamento de pontos entre imagens.

Introdução

Plataforma

Conclusões

Trabalho Futuro

Resultados

Algoritmo disponível para a

rectificação

4) Rectificação:






Codifica a distância (relativa) dos objectos em relação à(s) câmara(s) - pontos muitos distantes têm disparidade zero (preto) e pontos muito próximos têm a máxima disparidade (branco);

Dá-nos a percepção das descontinuidades em termos de profundidade de uma cena;

Um dos algoritmos disponíveis também retorna um mapa de descontinuidades, definido pelos píxeis que fazem fronteira entre uma mudança de pelo menos dois níveis de disparidade.

Introdução

Plataforma

Conclusões

Trabalho Futuro

Resultados

Algoritmos disponíveis para o emparelhamento

denso

5) Mapa de disparidade:






Introdução

Plataforma

Conclusões

Trabalho Futuro

Resultados

Imagens originais

Mapa de disparidade Mapa de descontinuidades

Mapa de disparidadeexemplo obtido utilizando imagens previamente rectificadas:






Esta debilidade, das técnicas analisadas e integradas na plataforma computacional, é tanto maior, quanto menor as variações da forma dos objectos em causa.

Conclusões:Introdução

Plataforma

Conclusões

Trabalho FuturoOs resultados experimentais obtidos com menor qualidade,

geralmente estão relacionados com a determinação dos pontos característicos nas imagens a considerar (pontos fortes);

Resultados As funções analisadas obtêm bons resultados experimentais quando aplicadas em objectos que apresentam características fortes;






Introdução

Plataforma

Conclusões

Trabalho Futuro

Resultados

Trabalho Futuro:As próximas etapas deste projecto irão concentrar-se no sentido de

melhorar os resultados obtidos quando os objectos a reconstruir apresentam formas contínuas e suaves;

Posteriormente, pretende-se utilizar a plataforma computacional apresentada na reconstrução e caracterização de formas 3D anatómicas exteriores.





Teresa Azevedo, João Manuel R. S. Tavares, Mário Vaz

FEUP - Faculdade de Engenharia da Universidade do PortoLOME - Laboratório de Óptica e Mecânica Experimental

teresa azevedo, joão manuel r. s. tavares, mário vaztavares/downloads/... · teresa azevedo,...

Documents