uma abordagem para a obtenÇÃo de informaÇÃo 3d a partir de movimento de cÂmara

UMA ABORDAGEM PARA A OBTENÇÃO DEINFORMAÇÃO 3D A PARTIR DE MOVIMENTO DE CÂMARA

João Manuel R. S. Tavares

Uma Abordagem para a Obtenção de Informação 3D a partir de Movimento de Câmara - João Manuel R. S. Tavares 2

Introdução

A obtenção de informação 3D é essencial em muitas aplicações de Visão Computacional:

• Reconstrução 3D de cenas e objectos: prototipagem rápida, actores e objectos virtuais, reconstrução facial, levantamento de peças esculpidas;

• Seguimento do movimento 3D de objectos: sistemas de navegação e identificação;

• etc.

IntroduçãoIntrodução

MetodologiaMetodologia

CalibraçãoCalibração

EntidadesEntidades

SeguimentoSeguimento

TriangulaçãoTriangulação

ResultadosResultados

ConclusõesConclusões


Introdução

Em Visão Computacional existem várias técnicas para obter informação 3D:

• Passivas: Não envolvem a projecção de energia.• Activas: Envolvem a projecção de energia ou

movimento relativo.

Técnicas de Aquisição 3D sem Contacto

Passivas

Activas

Estereoscopia Passiva

Imagens Monoculares de Intensidade

Moiré

Detecção de Ecos

Estereoscopia Activa

Padrão Binário

Padrão Codificado Cor

Padrão Codificado Sinusoidal

Etiquetagem Espacial

Modelação Temporal

Projecção de Energia

Movimento Relativo

Focagem

Geometria Conhecida

Perspectiva

Sombreado

Contorno

Textura

Ocultação

Variação da Distancia Focal




EntidadesEntidades






Introdução




EntidadesEntidades





Neste trabalho é usada uma metodologia para obter informação 3D de uma cena ou objecto a partir do movimento de uma câmara.

Pressupostos:• Considera-se a cena ou o objecto como constituídos

por segmentos de recta.• O movimento da câmara é perfeitamente conhecido

(posição e orientação relativamente a um referencial mundo).

• Não são medidas as velocidades nem as acelerações das entidades.


Metodologia Usada




EntidadesEntidades





A metodologia usada neste trabalho consiste nas seguintes etapas:

1. Calibração da câmara usada;

2. Determinação das entidades (segmentos de recta) a considerar em cada imagem da sequência;

3. Simplificação das entidades presentes em cada imagem;

4. Seguimento 2D das entidades consideradas ao longo da sequência de imagens;

5. Obtenção de informação tridimensional dos pontos que constituem cada entidade.


Determinação esimplificação das entidades

Seguimento de linhas eaproximação poligonal

Fusão de entidades próximase de direcções similares

Detecção de edges

Seguimento de linhas eaproximação poligonal

Fusão de entidades próximase de direcções similares

Detecção de edges

Metodologia UsadaMundo 3D

......

Hardware deaquisição de imagem

Hardware deaquisição de imagem

Calibração

Seguimento 2D

Emparelhamento Modelo 2D

Parametrizaçãodas entidades

Parametrizaçãodas entidades

Imagem k+1Imagem k

Determinação das coordenadas3D das entidades

Mundo 3D


Calibração




EntidadesEntidades





A calibração de uma câmara é a determinação da relação matemática que transforma pontos 3D em pontos 2D:

Procedimento:1. Determinação das coordenadas 2D na memória frame

dos pontos de calibração;

2. Agrupamento das coordenadas 3D mundo e 2D na memória frame dos pontos de calibração;

3. Calibração da câmara e do respectivo hardware.


Calibração




EntidadesEntidades





Determinação das coordenadas 2D na memoria frame:

1. Determinação das orlas de intensidade;

2. Seguimento das orlas;

3. Regressão linear das orlas seguidas;

4. Determinação dos pontos de calibração.

Imagemoriginal

Orlas Rectas obtidas por regressãoPontos de calibração determinados


Calibração




EntidadesEntidades





Calibração realizada usando pontos coplanares e um método baseado no proposto por Lenz e Tsai:

1. Determinação do factor de incerteza horizontal;

2. Determinação das coordenadas do centro da imagem na memória frame;

3. Determinação dos restantes parâmetros de calibração: pose - matriz de rotação 3D e vector de translação 3D, parâmetros internos - distância focal e factor de distorção.


Entidades




EntidadesEntidades





Determinação dos segmentos de recta:1. Sujeitar cada imagem da sequência a um detector de

orlas de intensidade de forma a classificar cada pixel em termos de amplitude e de direcção;

2. Executar um seguimento, baseado na direcção e em dois níveis de amplitude (um para detecção e outro para agregação - histerese), das várias linhas presentes em cada imagem de orlas;

3. Executar uma aproximação poligonal, utilizando o algoritmo de faixas dinâmicas, de cada linha seguida.

Imagem original Após aproximação Após aproximação mais “larga”


Entidades




EntidadesEntidades





Simplificação dos segmentos de recta:• Em cada imagem da sequência, segmentos de recta

próximos e de características semelhantes são fundidos.

• Vantagens: O seguimento torna-se mais fácil e menos dispendioso em termos de recursos computacionais.

Segmentos originais

Após fusão Após fusãomais “larga”


Seguimento




EntidadesEntidades





Etapas da abordagem utilizada:1. Parametrização das entidades a seguir: coordenadas

do ponto médio, direcção e comprimento;

2. Previsão dos valores dos parâmetros de cada entidade na imagem seguinte, considerando o seu historial: três filtros de Kalman independentes;

3. Emparelhamento das entidades entre duas imagens sucessivas: distância normalizadas de Mahalanobis ou restrições geométricas (diferenças da posição do ponto médio, da direcção e do comprimento);

4. Actualização e gestão de um modelo 2D de entidades.


Triangulação




EntidadesEntidades





Abordagem usada para obtenção da informação 3D:1. Resolução do sistema de projecção estéreo para obter

as coordenadas 3D dos pontos extremos de cada entidade emparelhada em duas imagens distintas (triangulação);

2. Determinação de uma aproximação da profundidade dos restantes pontos utilizando interpolação linear das profundidades dos pontos extremos.


Resultados




EntidadesEntidades





Oito imagens de um cubo obtidas por rotação de uma câmara calibrada usando o método adoptado:

2ª imagem Entidades determinadas

Entidades simplificadas Entidades na sequência


Resultados




EntidadesEntidades





Sequência original Orlas determinadas

Rectas determinadas


Resultados




EntidadesEntidades





Entidades consideradas

Seguimento obtido


Resultados




EntidadesEntidades





Entidades detectadas na 1ª imagem da sequência

imagem 1ª 2ª 3ª 4ª Ref TEm TEm TEm TEm

1 I KRG KM KM 2 I F F F

3 I F F F 4 I KRG KM KM 5 I F F F 6 I F KRG KM 7 I KRG KM KM imagem 5ª 6ª 7ª 8ª Ref TEm TEm TEm TEm 1 KM KM KM KM 2 F KM KM KM 3 KRG KRG KRG KRG 4 KRG KM KM KM 5 KRG KM KM KM 6 KRG KM KM KM 7 KRG KM KM KM

Legenda:

Ref - Referência, TEm - Tipo de emparelhamento: I - Inicialização, KM - Filtros de Kalman e distâncias de Mahalanobis, KRG - Filtros de Kalman e restrições geométricas, F - falhado.

Processo de seguimento Profundidade obtida


Resultados




EntidadesEntidades





Sequência original Orlas determinadas

16 imagens de um cubo obtidas por translação da câmara previamente calibrada:


Resultados




EntidadesEntidades





Entidades consideradasRectas determinadas

Seguimento obtido


Conclusões




EntidadesEntidades





• Foi apresentada uma abordagem para a obtenção de informação 3D de uma cena ou objecto, considerados como constituídos por segmentos de recta, a partir do movimento de uma câmara.

• A referida abordagem é constituída pelas etapas: 1) calibração da câmara e respectivo hardware; 2) determinação das entidades; 3) simplificação das entidades; 4) seguimento das entidades ao longo da sequência; 5) obtenção das coordenadas 3D das entidades emparelhadas.

• Alguns resultados experimentais obtidos foram apresentados e é possível verificar que a abordagem adoptada revela-se flexível e robusta.

UMA ABORDAGEM PARA A OBTENÇÃO DEINFORMAÇÃO 3D A PARTIR DE MOVIMENTO DE CÂMARA

João Manuel R. S. Tavares

uma abordagem para a obtenÇÃo de informaÇÃo 3d a partir de movimento de cÂmara

Documents