reconstrução e modelagem interativa da estrutura/esqueleto 3d de objetos reais (interactive...

63
Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects) Exame de proposta de doutorado Manuel Eduardo Loaiza Fernandez Marcelo Gattass Alberto B. Raposo 1

Upload: rayssa-aquino-quintanilha

Post on 07-Apr-2016

219 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Reconstrução e modelagem interativa da estrutura/esqueleto

3D de objetos reais(Interactive wireframe

reconstruction and modelling 3D of real objects)

Exame de proposta de doutoradoManuel Eduardo Loaiza Fernandez

Marcelo GattassAlberto B. Raposo

1

Page 2: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Motivação da proposta

• Esta proposta inicialmente surgiu como analise ao problema de recuperação de medidas 3D das dimensões da estrutura de objetos existentes numa cena real, para as quais é complicado realizar uma medição manual.

• Nesta etapa inicial tivemos como referência os trabalhos apresentado por [Chengke et al, 2002], [Chen et al, 2004], [Liang et al 2004].

2

Page 3: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Motivação da proposta• Nesses trabalhos mostra-se a extração de medidas de

diferentes objetos e estruturas, que podem estar num ambiente interno bem controlado (a), ou externo sem nenhum controle (b).

• Nossa primeiro objetivo foi desenvolver uma aplicação que nós permitisse interagir diretamente com a imagem do objeto, e indicando alguns pontos específicos dele, poder realizar as medições desejadas.

a b

3

Page 4: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Motivação da proposta• Porém, uma nova idéia inspirada no trabalho apresentado [Hengel

et al 2007] surgiu como um complemento ao trabalho de extração de medidas.

• Nesse trabalho descreve-se uma forma de fazer modelagem interativa 3D usando uma seqüência de imagens de vídeo de um objeto específico.

• Inicialmente se faz uma modelagem da estrutura base do objeto (a), para logo fazer uma analise mais refinada sobre as superfícies do esqueleto definido inicialmente (b).

a b

4

Page 5: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Trabalhos relacionados• Analisando as duas abordagens dos trabalhos da motivação :

– [Chengke et al,2002 ] recuperação de medidas reais. – [Hengel et al, 2007] modelagem interativa 3D.

• Nós queremos mostrar que elas podem se complementar.

5

Page 6: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Trabalhos relacionados• Ambos trabalhos relacionados, tem certas características em

comum:– Implementados sobre um sistema de uma câmera.– Precisam de um pré - processamento de imagem computacionalmente

caro, para obter uma de calibração de câmera, correspondência 2D e reconstrução 3D robusta.

– Tanto a medição e a modelagem não são feitos no momento da captura das imagens do objeto analisado, só numa etapa de pos - processamento.

6

Page 7: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Objetivo da Proposta• Fazer a reconstrução 3D da estrutura base de um objeto

presente numa cena real, baseado na seleção e reconstrução de pontos característicos pertencentes ao objeto analisado, onde todo este processamento poderá ser feito diretamente no momento da captura da imagem de vídeo da cena onde o objeto analisado se encontra.

7

Page 8: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Objetivo da Proposta• Este objetivo tenta juntar as abordagens dos trabalhos

relacionados: – Extração de medidas reais. – Modelagem 3D da estrutura base do objeto.

• E dar a vantagem de realizar estas atividades e interações diretamente no momento da captura da imagem de vídeo.

• Para implementar nossa proposta usaremos e exploraremos as vantagens de um sistema de estéreo visão.

8

Page 9: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Objetivo da Proposta• Tanto o processo de modelagem 3D e o de extração de

medidas será interativo, permitindo a cada momento a inserção de novos pontos que enriqueçam a modelagem ou melhorem nossas medições.

• Também será necessário implementar um rastreamento espaço - temporal dos pontos característicos previamente selecionados no decorrer da interação.

9

Page 10: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Descrição da proposta• Nossa proposta tenta provar que:

– Utilizando as vantagens de um sistema de estéreo visão pré - calibrado podemos conseguir implementar um sistema interativo para extração de medidas e modelagem do esqueleto 3D de objetos específicos,isto num ambiente interno ou externo.

– As vantagens da utilização do sistema estéreo podem se resumir em:

• O sistema precisa ser calibrado uma vez.• A correspondência 2D entre as imagens é baseado na teoria da geometria

epipolar implícita e pré - processada junto a calibração do sistema estéreo.• O baixo custo de analise da correspondência e posterior reconstrução 3D

neste tipo de sistema poderão permitir a realização da interação no momento da captura de vídeo da cena analisada.

10

Page 11: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Descrição da Proposta• Nossa proposta pode se resumir em:

Sistema de estéreo visão

Modelagem do esqueleto em

3D

Extração de medidas reais 11

Page 12: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Descrição da proposta• Como seria o funcionamento do sistema ?

– A proposta assume que a interação do usuário será direta sobre uma das imagens do sistema estéreo. Sobre essa imagem teremos a possibilidade de selecionar pontos específicos de um objeto, e automaticamente se irão criando e extraindo as medidas do esqueleto formado pela junção dos pontos que foram selecionados.

Imagem visualizada pelo usurário

Seleção manual de pontos

característicos

12

Page 13: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Descrição da proposta• Todo o processamento de:

• Correspondência 2D: restrito pelo campo de busca da linha epipolar; e• Reconstrução 3D: triangulação dos pontos selecionados na imagem

esquerda e os seus correspondentes na imagem da direita• estará oculto ao usuário e será automático.

Imagem visualizada pelo usurárioCorrespondência 2D e

reconstrução 3D automática (Oculto)

Linha epipolar

Pontos correspondentes

13

Page 14: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Implementação da proposta• Para desenvolvimento da presente proposta foram propostos o

estudo dos seguintes temas:• Calibração de câmera.

– Calibrar um sistema de múltiplas câmeras (estéreo).• Correspondência 2D.

– Explorar as vantagens da geometria epipolar.– Extrair e comparar pequenos padrões de imagem.

• Reconstrução 3D.– Reconstruir metricamente a posição 3D dos pontos específicos

escolhidos dentro do cenário.– Criar um modelo 3D da estrutura formada pelos pontos.

• Rastreamento 2D e 3D.– Realizar o rastreamento dos pontos característicos quadro a quadro

permitindo a movimentação do sistema estéreo em volta do objeto analisado.

14

Page 15: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Implementação da proposta

• O hardware necessário para implementar nosso sistema esta composto por:– Um sistema estéreo de câmeras. – Um computador (ou Laptop ).

15

Page 16: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Base teórica• Calibração de câmera.

– Múltipla calibração câmera.• Padrão de calibração.

– Padrão planar.– Barra de calibração.– Marcador pontual.

• Correspondência de imagens 2D.– Geometria epipolar.

• Calculo da matriz fundamental.– Extração de pontos ou padrões característicos.

• Reconstrução 3D.– Euclidiana. – Euclidiano - Métrica.

• Rastreamento de pontos característicos– Comparação e rastreamento de padrões vista a vista, e

entre as vista da duas câmeras que conformam o sistema estéreo.

– Analise de robustez em relação a mudanças do aspecto do padrão.

• Invariância a mudanças e contraste de iluminação.• Invariância a translação.• Invariância a rotação.• Invariância a escala.• Invariância a mudança perspectiva.

16

Page 17: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Base teórica• Calibração de câmera• Encontrar uma medida de relacionamento entre o mundo 3D e o plano

da imagem 2D que é a projeção do espaço físico capturado.• O modelo mais utilizado é o modelo de câmera “Pinhole”.

17

Page 18: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Base teórica• Calibração de câmera: parâmetros.

• Externos.– Matriz de rotação ( R ).– Vetor de translação ( T ).

• Internos.– Distancia focal (f).– Centro da imagem(Ou’,Ov’).

18

Page 19: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Base teórica• Calibração de câmera: parâmetros.

– Coeficientes da distorção das lentes.• Radial (k1,k2).• Tangencial (p1,p2).

– Tipos de distorção “pincushion” e “barrel”.

Barrel Pincushion19

Page 20: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Base teórica• Múltipla calibração câmera

– Calibração de varias câmeras simultaneamente.– Estéreo: calibração de 2 câmeras.

Estéreo calibração Múltipla calibração

20

Page 21: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Base teórica• Múltipla calibração câmera

– Alguns dos métodos mais conhecidos para calibração de câmera são:

• [Jean-Yves Bouguet, 2008 ] apresenta um toolbox completa para calibração de câmera onde se inclui uma versão para estéreo câmera calibração .

• [Borghese, 2000] apresenta um método para estéreo calibração baseada na captura de uma barra com 2 marcadores bem identificados, adotado por vários sistema de rastreamento ótico comerciais como [ART, 2008 ] [VICON, 2008].

• [Svoboda et al, 2005] apresenta um novo método para múltipla calibração câmera baseada na captura de um 1 marcador, e foi modificado para funcionar num sistema estéreo por [Pintaric, 2007].

21

Page 22: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Base teórica• Estéreo câmera calibração apresentada em [Jean-

Yves Bouguet, 2008 ]: – Padrão de calibração: padrão planar com formato de tabuleiro de

xadrez.

22

Page 23: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Base teórica• Estéreo câmera calibração apresentada em [Jean-

Yves Bouguet, 2008 ]:

– Calibração inicial individual para cada câmera.

– A captura da amostragem para otimização global do sistema estéreo é difícil, por causa de não puder capturar uma boa amostra de vistas validas do padrão nas duas câmeras ao mesmo tempo.

– Otimização baseada no erro de reprojeção 2D dos pontos da amostragem em cada vista do padrão.

– Não aplicável para um sistema múltipla calibração.

23

Page 24: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Base teórica• Estéreo câmera calibração

apresentada em [Borghese, 2000]: – Padrão de calibração: barra com

dois marcadores em cada extremo e barra em formato de L.

24

Page 25: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Base teórica• Estéreo câmera calibração apresentada em

[Borghese, 2000]:– Calibração inicial é baseada na extração

dos parâmetros internos e externos a partir da decomposição da matriz fundamental.

– A captura da amostragem para calibração precisa de um processamento especifico para realizar a correspondência entre as imagens dos pontos que conformam a barra.

– Otimização baseada no erro de reprojeção 2D dos pontos da amostragem e distancia 3D entre os pontos do padrão.

– Extensível para um sistema múltipla calibração.

25

Page 26: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Base teórica• Múltipla calibração de câmera apresentada

em [Svoboda et al, 2005] modificada por [Pintaric, 2007].– Padrão de calibração: marcador pontual.

26

Page 27: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Base teórica• Múltipla calibração de câmera apresentada em [Svoboda et al, 2005] modificada por [Pintaric, 2007]:

– Calibração inicial é baseada na teoria da “ rank – 4 factorization” e “ euclidean estratification”.

– Alguns parâmetros internos e de distorção radial precisam ser pré - calculados.

– Otimização baseada no erro de reprojeção 2D dos pontos da amostragem.

– Adaptável para um sistema de estéreo calibração , mas com muitas restrições iniciais sobre que parâmetros são pré - definidos.

– Correspondência 2D entre pontos da amostragem nas diferentes câmeras precisam de um pós – processamento para detectar falsas correspondências. 27

Page 28: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Base teórica• Método próprio desenvolvido para

múltipla calibração de câmera.– Padrão de calibração: padrão planar e

padrão colinear com caracteristicas projetivas invariantes [Loaiza et al, 2007].

– Calibração feita em duas etapas.

28

Page 29: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Base teórica• Etapa inicial:

– Calibração inicial individual para cada câmera usando método planar [Zhang, 2000].

– Calibração estéreo pode ser com padrão planar ou um padrão do tipo em L.

29

Page 30: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Base teórica• Etapa final:

– Captura de um amostra do padrão colinear projetivo invariante.

– Detecção do padrão e correspondência dos pontos que conformam o padrão é feita usando a teoria sobre padrões projetivos invariantes [Loaiza et al, 2007], [Meer et al, 1998].

30

Page 31: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Base teórica• Etapa final:

– Otimização é feita explorando as características do padrão:– Erro reprojeção 3D - 2D dos pontos: parâmetros internos.– Erro distancias entre pontos do padrão: parâmetros

externos (Reconstrução métrica 3D). – Erro colinearidade do padrão: coeficientes da distorção das

lentes.

31

Page 32: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Base teórica• Correspondência de imagens 2D

– Geometria epipolar é a geometria intrínseca projetiva existente entre duas vistas.

– A matriz fundamental encapsula esta geometria intrínseca projetiva.

– Duas formas de calcular a matriz fundamental: • Baseado no calculo de pontos correspondentes entre duas

imagens, sem precisar conhecer os parâmetros câmeras.• Por composição dos parâmetros intrínsecos e extrínsecos das

câmeras.

32

Page 33: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Base teórica• Calculo da matriz fundamental:

– Diretamente desde pontos correspondentes entre duas imagens.

– Trabalhos relacionados temos:• Algoritmos dos 8 pontos [Longuet-Higgins, 1981], [Hartley, 1997].• Otimizações do algoritmo de 8 pontos usando LMeds

[Zhang,1996] e RANSAC [Torr, 1997].

33

Page 34: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Base teórica• Calculo da matriz fundamental:

– Por composição dos parâmetros intrínsecos e extrínsecos das câmeras.

– Baseado nos parâmetros intrínsecos de cada câmera e os parâmetros extrínsecos em relação a uma origem em comum podemos calcular a Rotação e Translação “(R,t)” entre as câmeras do sistema estéreo.

K, Rl , Tl K´, Rr , Tr

RtE

KRtKF

x

xT

34

Page 35: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Base teórica• Em nossa implementação utilizamos o segundo método para calcular nossa

matriz fundamental, pois aproveitaremos o processo de otimização da etapa de calibração para também otimizar o cálculo de nossa matriz fundamental.

35

Page 36: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Base teórica• Este cálculo e otimização consiste no seguinte

processamento:

1. Calcula-se uma matriz fundamental inicial baseada nos parâmetros intrínsecos e extrínsecos de nossa calibração inicial.

2. Cria-se uma função de erro baseada na distância do ponto para a linha epipolar correspondente a cada ponto de nossa amostra, e medimos a precisão de nossa matriz fundamental.

3. Nossa matriz fundamental será calculada num espaço não afetado pela distorção das lentes, para isto cada vez que nossa amostra de pontos da calibração é utilizado eles serão previamente transformados para o campo não distorcido da imagem, suprimindo do calculo a influência da distorção das lentes.

4. Cada iteração da otimização os passo 1 – 3 são repetidos até que um certo limiar do erro seja alcançado. Em nosso caso o erro de distância da linha epipolar ao seu ponto correspondente fico na média menor que 1 pixel.

36

Page 37: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Base teórica• O calculo da matriz fundamental é feito sobre imagens não distorcidas da

amostragem capturada na etapa de calibração de câmera estéreo.

37

Page 38: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Base teórica• Será que se calculamos a linha epipolar no espaço não distorcido da imagem e

depois a distorcermos, ela ainda manterá a propriedade de passar por cima do ponto correspondente na imagem oposta?

– Como podemos ver a linha epipolar distorcida consegui passar sobre ponto correspondente na imagem (esquerda e direita) do sistema estéreo.

38

Page 39: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Base teórica• Correspondência de imagens 2D

– Seleção e extração de pontos ou padrões característicos dentro da imagem

• Seleção de pontos escolhidos com alto contraste na região da imagem (Cantos, bordas)[Harris, 1988] .

• Seleção de pontos com uma aparência bem distinguível (Texturas) [Flusser, 2000].

39

Page 40: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Base teórica• Correspondência de imagens 2D

– Para nossa proposta foram testados os métodos de “Normalization cross correlation” e “Image moments” [Flusser, 2000]. O melhores resultados foram conseguidos com a implementação do método de “Normalization cross correlation”.

– Alguns resultados obtidos foram:

40

Page 41: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Base teórica• Comparação de pedaços de textura usando câmeras com lentes

que tem pouca distorção .

41

Page 42: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Base teórica• Comparação de pedaços de textura usando câmeras com lentes

que tem muita distorção (Olho de peixe).

42

Page 43: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Base teórica• Reconstrução 3D

– Nesta etapa nosso objetivo é testar a precisão que podemos alcançar na extração de medidas reais 3D dos objetos analisados dentro da imagem.

– Nossa reconstrução 3D pode se considerar uma reconstrução feita num espaço projetivo euclidiano e métrico.

– A diferença entre uma reconstrução só euclidiana e uma métrica é a seguinte:

• Os dois tipos de reconstrução são feitos num espaço projetivo 3D que mantêm as seguintes características: perpendicularidade, ortogonalidade, colinearidade, cross-ratio, paralelismo. A diferença é que a reconstrução euclidiana é feita num mundo que se encontra em uma escala qualquer. Já no caso da reconstrução métrica nós conseguimos definir qual é essa escala em relação as medidas de nosso mundo real. Estas podem ser definidas em metros, centímetros ou até milímetros.

43

Page 44: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Base teórica• Reconstrução 3D

– Alguns testes foram feitos usando diferente cenário, câmera e mudando as lentes das câmeras, os resultados alcançados são apresentados a seguir:a) Imagem 1, medida real entre os pontos selecionados: 196.0 mm ( 19.6 cm), b) Imagem 2, medida real entre os pontos selecionados: 1685.0 mm (1.68 m), c) Imagem 3, medida real entre os pontos selecionados: 414.0 mm (41.4 cm),

• Imagem 1 • Imagem 2

(c)(b)(a)

44

Page 45: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Testes na imagem 1: • Vista 1 : medida recuperada 194.01 mm (19.4 cm - real 19.6 cm )

45

Page 46: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Testes na imagem 1: • Vista 2 : medida recuperada 192.14 mm (19.2 cm - real 19.6 cm )

46

Page 47: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Testes na imagem 1: • Vista 3 : medida recuperada 194.87 mm (19.4 cm - real 19.6 cm )

47

Page 48: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Testes na imagem 2: • Vista 1 : medida recuperada 1671.79 mm (1.67 m - real 1.68 m )

48

Page 49: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Testes na imagem 2: • Vista 2 : medida recuperada 1671.26 mm (1.67 m - real 1.68 m )

49

Page 50: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Testes na imagem 2: • Vista 3 : medida recuperada 1666.85 mm (1.66 m - real 1.68 m )

50

Page 51: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Testes na imagem 3: • Vista 1 : medida recuperada 402.49 mm (40.2 cm - real 41.4 cm )

51

Page 52: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Testes na imagem 3: • Vista 2 : medida recuperada 409.75 mm (40.9 cm - real 41.4 cm )

52

Page 53: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Testes na imagem 3: • Vista 3 : medida recuperada 409.29 mm (40.9 cm - real 41.4 cm )

53

Page 54: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Base teórica• Rastreamento de pontos

característicos– Esta ultima etapa de análise de nossa

proposta, concentra-se no problema seguinte:

• Uma vez que temos perfeitamente reconhecidos e reconstruídos os pontos selecionados dentro da imagem do objeto, como podemos fazer o rastreamento destes pontos no caso de que ou o objeto ou o sistema estéreo se movimente?

54

Page 55: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Base teórica– Para resolver este tipo de rastreamento alguns

algoritmos baseados na comparação dos padrões de texturas 2D são usados no processo de rastreamento.

– Um bom analise é feito por [Mikolajczyk et al 2005].

– As principais variações na imagem que eles devem resolver foram classificados em:

• Invariância a mudanças e contraste de iluminação.

• Invariância a translação.• Invariância a rotação.• Invariância a escala.• Invariância a mudança de perspectiva.

55

Page 56: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Cronograma de desenvolvimento da proposta (2008 -1 )

Tarefas Jan Fev Mar Abr Mai Jun Jul AgoImplementação do sistema estéreo.

Calibração das câmeras.

Cálculo da matriz fundamental. Extração matrizes de projeção para cada câmera. Cálculo das matrizes de projeção métrica. Calculo das matrizes para reconstrução métrica 3D.Testes sobre precisão da matriz fundamental e reconstrução 3DTeste de extração de medidas entre pontos selecionados na imagens (Manual). Teste de captura do esqueleto de um objeto simples sem movimentação.

56

Page 57: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Cronograma de desenvolvimento da proposta (2008 - 2 )

Tarefas Jul Ago Set Out Nov Dez Jan Fev MarTeste de captura do esqueleto de um objeto simples sem movimentação.Teste reconhecimento e rastreamento dos pontos que formam o esqueleto (Automático).Teste da precisão do algoritmo de comparação de texturas 2D.Teste de captura do esqueleto de um objeto simples com movimentação.Escrita do texto da Tese de doutorado

57

Page 58: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Resultados• Alguns resultados do avanço feito ate agora na

implementação da proposta são:– Novo método de calibração estéreo.– Precisão das medições recuperadas.– Uso de linhas epipolares distorcidas para restringir espaço de

busca de pontos característicos. – Pareamento automático da área 2D escolhida como padrão a

ser correlacionado.

58

Page 59: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Observações

• Precisão depende de dois fatores:– Boa calibração estéreo (otimizada).– Bom pareamento do padrão de textura escolhido

como ponto de referencia na reconstrução 3D.

59

Page 60: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Trabalho a ser desenvolvido• Dar maior robustez ao pareamento 2D.• Desenvolver a recuperação sem movimento do

esqueleto do objeto.• Desenvolver a recuperação com movimento do

esqueleto do objeto (rastreamento).

60

Page 61: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Perguntas ?

61

Page 62: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Referencias• [Wu et al, 2002 ] , Chengke Wu , Zezhi Chen and Peter Sturm,“ 3D Reconstruction and

Metrolog y from Uncalibrated Image Sequences”, Proceedings of the PRA Workshop on Information Science and Technology, Beijing, China,2002.

• [Chen et al, 2004], Z ezhi Chen, Chengke Wu, Yong Liu and Nick Pears. “ 3D Euclidean reconstruction of buildings from uncalibrated image sequences ”. International Journal of Shape Modeling, 2004.

• [Liang et al 2004], Bojian Liang, Zezhi Chen and Nick Pears. “ Uncalibrated two-view metrology”. The Proc. International Conference on Pattern recognition (ICPR'04), Cambridge, UK, 2004.

• [Hengel et al 2007], Anton van den Hengel, Anthony Dick, Thorsten Thormählen, Ben Ward and Philip H. S. Torr, “ VideoTrace: rapid interactive scene modelling from video”, International Conference on Computer Graphics and Interactive Techniques archive, ACM SIGGRAPH 2007, San Diego, California, 2007.

• [Borghese, 2000] , Alberto Borghese and Pietro Cerveri . “ Calibrating a video camera pair with a rigid bar”. Pattern Recognition, 2000.

• [Svoboda et al, 2005] , Tomas Svoboda, Daniel Martinec and Tomas Pajdla, “ A Convenient Multi-Camera Self-Calibration for Virtual Environments”, PRESENCE: Teleoperators and Virtual Environments, MIT Press, August 2005.

• [Bouguet, 2008 ] Jean-Yves Bouguet , “Camera Calibration Toolbox for Matlab”, http://www.vision.caltech.edu/bouguetj/calib_doc/htmls/example5.html, August ,2008.

• [Vicon, 2008 ], Vicon Motion Systems, http://www.vicon.com/, August 2005.• [ART, 2008 ], Advanced Real Time Tracking GmbH, http://www.ar-tracking.de/,August 2005.

62

Page 63: Reconstrução e modelagem interativa da estrutura/esqueleto 3D de objetos reais (Interactive wireframe reconstruction and modelling 3D of real objects)

Referencias• [Pintaric, 2007] , Thomas Pintaric and Hannes Kaufmann, "Affordable Infrared-Optical Pose

Tracking for Virtual and Augmented Reality“, IEEE VR Workshop on Trends and Issues in Tracking for Virtual Environments, Charlotte, NC (USA), 2007.

• [Loaiza et al, 2007], Mnauel Loaiza, Alberto B. Raposo, Marcelo Gattass, "A Novel Optical Tracking Algorithm for Point-Based Projective Invariant Marker Patterns“, 3rd International Symposium on Visual Computing – ISVC 2007, Lake Tahoe, Nevada/California, EUA. Advances in Visual Computing - Lecture Notes in Computer Science, vol. 4841, p.160-169. Springer-Verlag, 2007.

• [Zhang, 2000], Z. Zhang, “A Flexible New Technique For Camera Calibration”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11):1330-1334, 2000.

• [Zhang,1996], Zhengyou Zhang, “Determining the epipolar geometry and its uncertainty: A review,” Tech. Rep. 2927, Institut National de Recherche en Informatique et en Automatique, July 1996.

• [Meer et al, 1998], Peter Meer,Reiner Lenz amd Sudhir Ramakrishna,“ Efficient Invariant Representations”. International Journal of Computer Vision 26, 137–152, 1998.

• [Torr, 1997] Phil Torr and David Murray, “The development and comparision of robust methods for estimating the fundamental matrix”, International Journal Computer Ession, vol. 24, no. 3, pp. 271-300, September, 1997.

• [Longuet-Higgins, 1981], H.C. Longuet-Higgins. “A computer algorithm for reconstructing a scene from two projections”, Nature, 293:133–135, September, 1981.

• [Hartley, 1997], Richard Hartley, “In defense of the eight-point algorithm”, IEEE Transactions on Pattern Analysis and Machine Intelligence, pp. 580-593, Vol. 19, June, 1997.

• [Harris, 1988], C. Harris and M. Stephens. “A combined corner and edge detector”. In ALVEY Vision Conference, pages 147-151, 1988.

• [Flusser, 2000],J. Flusser: "On the Independence of Rotation Moment Invariants", Pattern Recognition, vol. 33, pp. 1405-1410, 2000

63