Laboratório de Robótica Móvel Instituto de Sistemas e Robótica

PorJoão Filipe de Castro Ferreira

Orientador: Jorge Dias

Recuperação de Estruturas TridimensionaisRecuperação de Estruturas TridimensionaisAtravés de Projecção de Luz EstruturadaAtravés de Projecção de Luz Estruturada

Construir um sistema protótipo de “scanning” tridimensional;

Usar esse sistema como “tubo de ensaio” para diversos algoritmos de recuperação e reconstrução 3D;

Realizar um sistema flexível, de forma a poder ser facilmente adaptado a outro tipo de tecnologias e algoritmos.

Objectivos

Algumas Aplicações• Projectos industriais;• “Reverse engineering”;• Simulação e análise;• Povoação de mundos virtuais;• “Faxing 3D”/“fabrico de sólidos de forma

livre” (solid free-form fabrication - SFF) .

Exposição do Problema

• Recuperação Tridimensional;Recuperação Tridimensional;

• Reconstrução TridimensionalReconstrução Tridimensional.

Método Proposto• Uso de material de baixo custo:

– uso do sistema tradicional de um feixe linear de laser;

– utilização de apenas 1 câmara;

• Uso de reconstrução tridimensional gráfica baseada em NURBS (Non-Uniform Rational B-Splines).

Matemática Subjacente• Calibração de câmaras projectivas;• Restrição imposta pela luz projectada;• Homografias;• Geometria epipolar;• Reconstrução tridimensional usando

polinómios de 3ª ordem (NURBS).

Calibração de Câmaras Projectivas

4,33

4,22

4,11

43

4,33,32,31,3

4,23,22,21,2

4,13,12,11,1

11aPaaPaaPa

ZYX

AZYX

aaaaaaaaaaaa

ssvsu

T

T

T

tRCA 3343

Restrições TridimensionaisProjecção de Luz Estruturada...

Plano Imagem

2

3

1

z

x

y

f

Projector

Objecto

n

p(u,v)

P(X,Y,Z)

00

0)(0)(

2

1

4,232

4,131

PΠPΠ

vaPvaauaPuaa

T

T

)()( 3231 vaauaan

’

’

00

1

3

PΠ

ZYXdcba ’

000

3

2

1

PΠPΠPΠ ’

’

’

1

11 YX

svsus

Asvsus

A

l

ll

ll

l

r

rr

rr

r

l

ll

ll

l

ll

ll

X

l

ll

ll

lr

r

rr

rr

svsus

svsus

Fsvsus

AAsvsus

3,33,21,3

2,32,21,2

1,31,21,1

331

Homografias

Geometria Epipolar

Eixos Ópticos

Centros Ópticos

Rectas Epipolares

Plano Epipolar Plano-Imagem

1

Plano-Imagem 2

Ponto-Objecto na cena

Reconstrução 3D Através de NURBS

p 0

p 1 p 2

p 3

dppp

p

bappppbpppp

cbapp

p

cpp

p

64

)0(

262)1(''22)0(''

232

)1('2

)0('

210

123

012

13

02

Abordagem – Módulos e Componentes

PC Controlador com Linux

: Softwarede Controlo

: Driver daMeteorFramegrabber ioctl

Pan & Tilt Unit +Laser

RS23211

Câmara

PAL Video

No caso presenteusa-se um caboRCA-RCA

1..*

1

Abordagem – Setup Experimental

laser-PTU

câmaramonitorpara testes

PCcontrolador

“cordãoumbilical”

Abordagem – Calibração

• Calibração dos planos-luz: 3 ou mais pontos representativos não-colineares são escolhidos para os definir;

• Calibração da câmara: todos os pontos (11 ou mais) usados para a estimação dos planos luz são reaproveitados para a determinação da matriz de calibração.

Abordagem – Calibração (cont.)

• Método de mínimos-quadrados – a Pseudo-Inversa;

• Consenso aleatório de amostras (adaptado) – RANSAC.

Abordagem – Algoritmos de Recuperação Tridimensional

• Recuperação usando distâncias absolutas: Geometria Projectiva;

• Recuperação usando distâncias relativas: Mapa de Disparidades.

• “A Flexible New Technique for Camera Calibration”, por Zhengyou Zhang;

• “Surface Reconstruction from Unorganized Points”, por Hugues Hoppe.

Investigação Futura – Algoritmos

Investigação Futura – Tecnologias

Laboratório de Robótica Móvel Instituto de Sistemas e Robótica

Laboratório de Robótica Móvel Instituto de Sistemas e Robótica

Recuperação de Estruturas TridimensionaisRecuperação de Estruturas TridimensionaisAtravés de Projecção de Luz EstruturadaAtravés de Projecção de Luz Estruturada