um sistema de calibração de câmeralvelho.impa.br/i3d07/demos/cameracalibration/disciplina.pdfscm...

29
Um Sistema de Calibração de Câmera Clarissa Codá dos Santos Cavalcanti Marques Instituto Nacional de Matemática Pura e Aplicada Sistemas Gráficos 3D Rio de Janeiro, 05 de julho de 2007 Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração impa

Upload: others

Post on 30-Sep-2020

6 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Um Sistema de Calibração de Câmeralvelho.impa.br/i3d07/demos/cameracalibration/disciplina.pdfSCM (C f x,C y) SCP Parâmetros Extrínsecos: posição e orientação; Introdução

Um Sistema de Calibração de Câmera

Clarissa Codá dos Santos Cavalcanti Marques

Instituto Nacional de Matemática Pura e Aplicada

Sistemas Gráficos 3D

Rio de Janeiro, 05 de julho de 2007

Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração

impa

Page 2: Um Sistema de Calibração de Câmeralvelho.impa.br/i3d07/demos/cameracalibration/disciplina.pdfSCM (C f x,C y) SCP Parâmetros Extrínsecos: posição e orientação; Introdução

Introdução

Calibração de CâmeraIntroduçãoEtapas Envolvidas

Sistema de CalibraçãoEditCalib/ExecCalib

IntroduçãoCalibração de CâmeraSistema de Calibração

Resultados

Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração

ResultadosCorrespondênciaExecCalib

Conclusão

Referências

Page 3: Um Sistema de Calibração de Câmeralvelho.impa.br/i3d07/demos/cameracalibration/disciplina.pdfSCM (C f x,C y) SCP Parâmetros Extrínsecos: posição e orientação; Introdução

IntroduçãoCalibração de CâmeraSistema de Calibração

Resultados

Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração

Introdução

Objetivo

Desenvolvimento de um sistema de calibração baseado em uma arquitetura geral para qualquer processo de calibração.

Possibilitar uma análise numérica dos métodos e permitir a comparação dos resultados de forma eficiente.

Motivação

Não existência de sistemas de calibração que possam se adaptar a qualquer método, afim de posteriormente comparar seus resultados.

Aplicações

Modelagem Geométrica: reconstrução 3D;Visão Computacional: reconhecimento de formas;Robótica.

Page 4: Um Sistema de Calibração de Câmeralvelho.impa.br/i3d07/demos/cameracalibration/disciplina.pdfSCM (C f x,C y) SCP Parâmetros Extrínsecos: posição e orientação; Introdução

Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração

Calibração de Câmera

IntroduçãoEtapas Envolvidas

IntroduçãoCalibração de CâmeraSistema de Calibração

ResultadosConclusão

Introdução

Page 5: Um Sistema de Calibração de Câmeralvelho.impa.br/i3d07/demos/cameracalibration/disciplina.pdfSCM (C f x,C y) SCP Parâmetros Extrínsecos: posição e orientação; Introdução

Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração

Calibração de Câmera

IntroduçãoEtapas Envolvidas

Introdução

SCC

SCM

f(Cx,Cy)

SCP

Parâmetros Extrínsecos: posição e orientação;

IntroduçãoCalibração de CâmeraSistema de Calibração

ResultadosConclusão

Parâmetros Intrínsecos: distância focal, centro ótico,distorção radial,fatores de escala.

Page 6: Um Sistema de Calibração de Câmeralvelho.impa.br/i3d07/demos/cameracalibration/disciplina.pdfSCM (C f x,C y) SCP Parâmetros Extrínsecos: posição e orientação; Introdução

Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração

Calibração de Câmera

IntroduçãoEtapas Envolvidas

Introdução

Transformação de corpo rígido:

SCC

SCM

Tzyx

Rzyx

w

w

w

+⎥⎥⎥

⎢⎢⎢

⎡=

⎥⎥⎥

⎢⎢⎢

De SCM para SCC

IntroduçãoCalibração de CâmeraSistema de Calibração

ResultadosConclusão

Page 7: Um Sistema de Calibração de Câmeralvelho.impa.br/i3d07/demos/cameracalibration/disciplina.pdfSCM (C f x,C y) SCP Parâmetros Extrínsecos: posição e orientação; Introdução

Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração

Calibração de Câmera

IntroduçãoEtapas Envolvidas

Introdução

SCC

De SCC para SCI

Projeção Perspectiva:⎥⎥⎥⎥

⎢⎢⎢⎢

⎥⎥⎥

⎢⎢⎢

⎡≈

⎥⎥⎥

⎢⎢⎢

10100000000

1zyx

ff

YX

u

u

SCI

uPdP ( )4

22

1 rkrkPdPdPu ++=

Distorção das lentes

22dd YXr +=

IntroduçãoCalibração de CâmeraSistema de Calibração

ResultadosConclusão

Page 8: Um Sistema de Calibração de Câmeralvelho.impa.br/i3d07/demos/cameracalibration/disciplina.pdfSCM (C f x,C y) SCP Parâmetros Extrínsecos: posição e orientação; Introdução

Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração

Calibração de Câmera

IntroduçãoEtapas Envolvidas

Introdução

SCI

De SCI para SCP

SCP

IntroduçãoCalibração de CâmeraSistema de Calibração

ResultadosConclusão

⎥⎥⎥

⎢⎢⎢

⎥⎥⎥

⎢⎢⎢

⎡≈

⎥⎥⎥

⎢⎢⎢

11000

1u

u

yy

xx

f

f

YX

CsCs

YX τ

Matriz intrínseca

Page 9: Um Sistema de Calibração de Câmeralvelho.impa.br/i3d07/demos/cameracalibration/disciplina.pdfSCM (C f x,C y) SCP Parâmetros Extrínsecos: posição e orientação; Introdução

Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração

Calibração de Câmera

IntroduçãoEtapas Envolvidas

Etapas Envolvidas

Aquisição de Dados Iniciais Calibração Otimização

Aquisição de Dados Iniciais – etapa a partir da qual o conjunto de dados de entrada para a calibração será especificado;

Calibração – etapa de calibração em si, ou seja, determinação dos parâmetros da câmera;

Otimização – etapa de refinamento dos parâmetros obtidos na calibração.

IntroduçãoCalibração de CâmeraSistema de Calibração

ResultadosConclusão

Page 10: Um Sistema de Calibração de Câmeralvelho.impa.br/i3d07/demos/cameracalibration/disciplina.pdfSCM (C f x,C y) SCP Parâmetros Extrínsecos: posição e orientação; Introdução

Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração

Calibração de Câmera

IntroduçãoEtapas Envolvidas

Etapas Envolvidas

Aquisição de Dados Iniciais Calibração Otimização

IntroduçãoCalibração de CâmeraSistema de Calibração

ResultadosConclusão

Page 11: Um Sistema de Calibração de Câmeralvelho.impa.br/i3d07/demos/cameracalibration/disciplina.pdfSCM (C f x,C y) SCP Parâmetros Extrínsecos: posição e orientação; Introdução

Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração

Calibração de Câmera

IntroduçãoEtapas Envolvidas

Etapas EnvolvidasAquisição de Dados Iniciais

Padrão: conjunto de pontos 3D

Imagens: conjunto de pontos 2D

IntroduçãoCalibração de CâmeraSistema de Calibração

ResultadosConclusão

Page 12: Um Sistema de Calibração de Câmeralvelho.impa.br/i3d07/demos/cameracalibration/disciplina.pdfSCM (C f x,C y) SCP Parâmetros Extrínsecos: posição e orientação; Introdução

Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração

Calibração de Câmera

IntroduçãoEtapas Envolvidas

Etapas EnvolvidasAquisição de Dados IniciaisCorrespondência:

Determina a relação entre o conjunto de pares de pontos 2D e 3D;A especificação dos pontos pode ser: manual, automática ou semi-

automática.

EQUIPAMENTO

PADRÃO IMAGEM CORRESPONDÊNCIA

PfPw

AQUISIÇÃO DE DADOS

Elementos envolvidos para aquisição de dados:

Conclusão:

IntroduçãoCalibração de CâmeraSistema de Calibração

ResultadosConclusão

Page 13: Um Sistema de Calibração de Câmeralvelho.impa.br/i3d07/demos/cameracalibration/disciplina.pdfSCM (C f x,C y) SCP Parâmetros Extrínsecos: posição e orientação; Introdução

Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração

Calibração de Câmera

IntroduçãoEtapas Envolvidas

Etapas Envolvidas

Aquisição de Dados Iniciais Calibração Otimização

IntroduçãoCalibração de CâmeraSistema de Calibração

ResultadosConclusão

Page 14: Um Sistema de Calibração de Câmeralvelho.impa.br/i3d07/demos/cameracalibration/disciplina.pdfSCM (C f x,C y) SCP Parâmetros Extrínsecos: posição e orientação; Introdução

Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração

Calibração de Câmera

IntroduçãoEtapas Envolvidas

Etapas Envolvidas

Define o método pelo qual a calibração em si é calculada.

Calibração

MÉTODOS

TSAI, ZHANG, PONTOS CIRCULARES,DIRETO,...

CALIBRAÇÃO

IntroduçãoCalibração de CâmeraSistema de Calibração

ResultadosConclusão

Page 15: Um Sistema de Calibração de Câmeralvelho.impa.br/i3d07/demos/cameracalibration/disciplina.pdfSCM (C f x,C y) SCP Parâmetros Extrínsecos: posição e orientação; Introdução

Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração

Calibração de Câmera

IntroduçãoEtapas Envolvidas

Etapas Envolvidas

Aquisição de Dados Iniciais Calibração Otimização

IntroduçãoCalibração de CâmeraSistema de Calibração

ResultadosConclusão

Page 16: Um Sistema de Calibração de Câmeralvelho.impa.br/i3d07/demos/cameracalibration/disciplina.pdfSCM (C f x,C y) SCP Parâmetros Extrínsecos: posição e orientação; Introdução

Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração

Calibração de Câmera

IntroduçãoEtapas Envolvidas

Etapas EnvolvidasOtimização

Define o método que irá otimizar os resultados da calibração.

MÉTODOS

LEVENBERG-MARQUARDT, GLOPTIPOLY,...

OTIMIZAÇÃO

IntroduçãoCalibração de CâmeraSistema de Calibração

ResultadosConclusão

Page 17: Um Sistema de Calibração de Câmeralvelho.impa.br/i3d07/demos/cameracalibration/disciplina.pdfSCM (C f x,C y) SCP Parâmetros Extrínsecos: posição e orientação; Introdução

Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração

Calibração de Câmera

IntroduçãoEtapas Envolvidas

Etapas Envolvidas

UsuárioAQUISIÇÃO DE DADOS

Equipamento, Padrão,Imagem, Correspondência

CALIBRAÇÃOMétodos de Calibração (Tsai,

Zhang, …)

OTIMIZAÇÃOMétodos de Otimização

(Levenberg-Marquardt, Gloptipoly, …)Dados da Câmera

IntroduçãoCalibração de CâmeraSistema de Calibração

ResultadosConclusão

Page 18: Um Sistema de Calibração de Câmeralvelho.impa.br/i3d07/demos/cameracalibration/disciplina.pdfSCM (C f x,C y) SCP Parâmetros Extrínsecos: posição e orientação; Introdução

Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração

Sistema de Calibração

EditCalib/ ExecCalib

EditCalib - Responsável pela criação e edição de pipelines de calibração.

ExecCalib - Responsável pela execução de pipelines de calibração.

IntroduçãoCalibração de Câmera

Sistema de CalibraçãoResultadosConclusão

Page 19: Um Sistema de Calibração de Câmeralvelho.impa.br/i3d07/demos/cameracalibration/disciplina.pdfSCM (C f x,C y) SCP Parâmetros Extrínsecos: posição e orientação; Introdução

IntroduçãoCalibração de CâmeraSistema de Calibração

ResultadosConclusão

Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração

Resultados

CorrespondênciaExecCalib

CorrespondênciaCorrespondência com câmera

Page 20: Um Sistema de Calibração de Câmeralvelho.impa.br/i3d07/demos/cameracalibration/disciplina.pdfSCM (C f x,C y) SCP Parâmetros Extrínsecos: posição e orientação; Introdução

Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração

Resultados

IntroduçãoCalibração de CâmeraSistema de Calibração

ResultadosConclusão

CorrespondênciaExecCalib

ExecCalibCalibração de uma câmera

Page 21: Um Sistema de Calibração de Câmeralvelho.impa.br/i3d07/demos/cameracalibration/disciplina.pdfSCM (C f x,C y) SCP Parâmetros Extrínsecos: posição e orientação; Introdução

Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração

Resultados

IntroduçãoCalibração de CâmeraSistema de Calibração

ResultadosConclusão

ExecCalibReprojeção do padrão com a câmera virtual calibrada

Exemplo 1.

CorrespondênciaExecCalib

Page 22: Um Sistema de Calibração de Câmeralvelho.impa.br/i3d07/demos/cameracalibration/disciplina.pdfSCM (C f x,C y) SCP Parâmetros Extrínsecos: posição e orientação; Introdução

Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração

Resultados

IntroduçãoCalibração de CâmeraSistema de Calibração

ResultadosConclusão

CorrespondênciaExecCalib

ExecCalibCalibração de uma câmera

Page 23: Um Sistema de Calibração de Câmeralvelho.impa.br/i3d07/demos/cameracalibration/disciplina.pdfSCM (C f x,C y) SCP Parâmetros Extrínsecos: posição e orientação; Introdução

Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração

Resultados

IntroduçãoCalibração de CâmeraSistema de Calibração

ResultadosConclusão

ExecCalibReprojeção do padrão com a câmera virtual calibrada

Exemplo 2.

CorrespondênciaExecCalib

Page 24: Um Sistema de Calibração de Câmeralvelho.impa.br/i3d07/demos/cameracalibration/disciplina.pdfSCM (C f x,C y) SCP Parâmetros Extrínsecos: posição e orientação; Introdução

Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração

Resultados

IntroduçãoCalibração de CâmeraSistema de Calibração

ResultadosConclusão

CorrespondênciaExecCalib

ExecCalibCalibração de uma câmera

Page 25: Um Sistema de Calibração de Câmeralvelho.impa.br/i3d07/demos/cameracalibration/disciplina.pdfSCM (C f x,C y) SCP Parâmetros Extrínsecos: posição e orientação; Introdução

Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração

Resultados

IntroduçãoCalibração de CâmeraSistema de Calibração

ResultadosConclusão

ExecCalibReprojeção do padrão com a câmera virtual calibrada

Exemplo 3.

CorrespondênciaExecCalib

Page 26: Um Sistema de Calibração de Câmeralvelho.impa.br/i3d07/demos/cameracalibration/disciplina.pdfSCM (C f x,C y) SCP Parâmetros Extrínsecos: posição e orientação; Introdução

IntroduçãoCalibração de CâmeraSistema de Calibração

ResultadosConclusão

Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração

Conclusão

A adição de novos métodos de calibração, correspondência e otimização através de dll’s (Dynamically Linked Library) de suas subclasses tornou o sistema mais compacto e simples. Os resultados da reprojeção do padrão estão razoáveis e dependerá de cada método de correspondência, que por sua vez dependerá do padrão utilizado.

Page 27: Um Sistema de Calibração de Câmeralvelho.impa.br/i3d07/demos/cameracalibration/disciplina.pdfSCM (C f x,C y) SCP Parâmetros Extrínsecos: posição e orientação; Introdução

IntroduçãoCalibração de CâmeraSistema de Calibração

ResultadosConclusão

Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração

Trabalhos Futuros

Inclusão de novos métodos de calibração, como Zhang e método dos pontos circulares.

Implementar um ambiente 3D que simule a reconstrução dos equipamentoscalibrados.

Realizar mais testes, e implementar a reprojeção utilizando outros padrões e métodos de correspondência.

Page 28: Um Sistema de Calibração de Câmeralvelho.impa.br/i3d07/demos/cameracalibration/disciplina.pdfSCM (C f x,C y) SCP Parâmetros Extrínsecos: posição e orientação; Introdução

IntroduçãoCalibração de CâmeraSistema de Calibração

ResultadosConclusão

Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração

Referências Bibliográficas

Abdel-Aziz, Y. I. & Karara, H. M. (n.d.), ‘Direct linear transformation objectspace coordinates in close-range photogrammetry’, Proc. Symp. Close-RangePhotogrammetry .

Alvarez, B. (2001), Edição tridimensional de fotografias arquitetônicas, Master’s thesis, Pontifícia Universidade Católica do Rio de Janeiro.

Carvalho, P. C., Velho, L., Montenegro, A. A., Peixoto, A., Sá, A., Soares, E. & Escriba,L. A. R. (2005), Fotografia 3D, Associação Instituto de Matemática Pura e Aplicada, IMPA, Rio de Janeiro.

Horn, B. K. (2000), ‘Tsai’s camera calibration method revisited’.

Kushal, A. M., Bansal, V. & Banerjee, S. (n.d.), ‘A simple method for interactive 3d reconstruction and camera calibration from a single view’.

Lourakis, M. I. A. (2005), ‘A brief description of the levenberg-marquardt algorithm implemented by levmar’.

Ranganathan, A. (2004), ‘The levenberg-marquardt algorithm’.

Page 29: Um Sistema de Calibração de Câmeralvelho.impa.br/i3d07/demos/cameracalibration/disciplina.pdfSCM (C f x,C y) SCP Parâmetros Extrínsecos: posição e orientação; Introdução

IntroduçãoCalibração de CâmeraSistema de Calibração

ResultadosConclusão

Clarissa Codá dos Santos Cavalcanti Marques Um Sistema de Calibração

Referências Bibliográficas

Szenberg, F., Carvalho, P. & Gattass, M. (2001), ‘Automatic camera calibration for image sequences of a football match, advances in pattern recognition’, pp. 301–311. Tapper, M., McKerrow, P. J. & Abrantes, J. (2002), ‘Problems encountered in the implementation of tsai’s algorithm for camera calibration’, Proc.2002 Australasian Conference on Robotics and Automation .Tsai, R. Y. (1987), ‘A versatile camera calibration technique for high-accuracy 3d machine vision metrology using off-the-shelf tv cameras and lenses’, Ieee Journal Of Robotics And Automation RA-3(4), 323–344.Velho, L. & Gomes, J. (2003), Fundamentos da Computação Gráfica, Associação Instituto de Matemática Pura e Aplicada, IMPA, Rio de Janeiro.Wu, Y., Li, X., Wu, F. & Hu, Z. (2006), ‘Coplanar circles, quasi-affine invariance and calibration’, Image and Vision Computing 24, 319–236.Zhang, Z. (1998), A flexible new technique for camera calibration, Technical report, Microsoft Corporation.