relat - unicamppro jeto de p esquisa 4 3 etapas j a realizadas 5 4 m eto do de fluxo radial 5 4.1 pr...

Relat�orio de Trabalho No 2

Mercedes Gonzales M�arquez

13 de novembro de 2002

1

2

Sum�ario

1 Introdu�c~ao 4

2 Plano Inicial do Projeto de Pesquisa 4

3 Etapas j�a realizadas 5

4 M�etodo de Fluxo Radial 5

4.1 Pr�e-processamento . . . . . . . . . . . . . . . . . . . . . . . . 64.2 Inicializa�c~ao . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64.3 Crescimento . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74.4 Erro de reconstru�c~ao e ancoramento . . . . . . . . . . . . . . . 74.5 Re�namento da malha . . . . . . . . . . . . . . . . . . . . . . 84.6 Determina�c~ao de novas frentes de crescimento . . . . . . . . . 8

4.6.1 Frentes que n~ao incluem v�ertices de borda . . . . . . . 84.6.2 Frentes que incluem v�ertices de borda . . . . . . . . . . 9

4.7 Adapta�c~oes topol�ogicas . . . . . . . . . . . . . . . . . . . . . . 9

5 Atividades de Pesquisa 10

5.1 Subdivis~ao da malha . . . . . . . . . . . . . . . . . . . . . . . 105.2 Integra�c~ao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105.3 Registro . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

6 Conclus~oes 15

A T�ecnicas de registro 16

A.1 Algoritmo ICP [2] . . . . . . . . . . . . . . . . . . . . . . . . . 17A.2 Chen e Medioni [5] . . . . . . . . . . . . . . . . . . . . . . . . 22A.3 Gagnon e outros [8] . . . . . . . . . . . . . . . . . . . . . . . . 24A.4 Turk e Levoy [22] . . . . . . . . . . . . . . . . . . . . . . . . . 25A.5 Blais e Levine [3] . . . . . . . . . . . . . . . . . . . . . . . . . 26A.6 Masuda e Yokota [10] . . . . . . . . . . . . . . . . . . . . . . . 27A.7 Neugebauer [11] . . . . . . . . . . . . . . . . . . . . . . . . . . 29A.8 Weik [23] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30A.9 Pulli [13] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31A.10 Dorai et.al. [7] . . . . . . . . . . . . . . . . . . . . . . . . . . . 33A.11 Rusinkiewicz e Levoy [15] . . . . . . . . . . . . . . . . . . . . 34A.12 Chu-Song e outros [4] . . . . . . . . . . . . . . . . . . . . . . . 36A.13 Gerhard Roth [14] . . . . . . . . . . . . . . . . . . . . . . . . . 39

3

B T�ecnicas de Integra�c~ao 40

B.1 Turk e Levoy [22] . . . . . . . . . . . . . . . . . . . . . . . . . 41B.2 Soucy e Laurendeau [19, 20] . . . . . . . . . . . . . . . . . . . 42B.3 Pito [12] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44B.4 Shutz e outros. [18] . . . . . . . . . . . . . . . . . . . . . . . . 45B.5 Sappa [17] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46B.6 Yiyong e outros [21] . . . . . . . . . . . . . . . . . . . . . . . . 47B.7 Curless e Levoy [6] . . . . . . . . . . . . . . . . . . . . . . . . 48

4

1 Introdu�c~ao

Este relat�orio visa a apresentar as atividades durante o per��odo nov/2001-out/2002 no contexto do projeto de doutorado intitulado \Reconstru�c~ao deum modelo 3D a partir de m�ultiplas imagens de profundidade". Al�em dasatividades a serem detalhadas na Se�c~ao 5 foram cursadas 2 disciplinas paracompletar os cr�editos exigidos pelo programa de doutorado da FEEC.Per��odo Nome da disciplina Cr�editos Carga hor�aria Conceito

ag/01-dez/01 Estudos Especiais IV 12 180H Smar-jun/02 Inteligencia Arti�cial 12 180H A

2 Plano Inicial do Projeto de Pesquisa

O M�etodo Fluxo Radial, a ser sintetizado na Se�c~ao 4, �e um m�etodo de re-constru�c~ao que gera uma malha triangular de arbitr�aria topologia a partir deuma imagem de profundidade atrav�es de deforma�c~oes. A malha reconstru��da,apesar de ser su�cientemente pr�oxima da superf��cie amostrada, apresentavatriangulos degenerados (muito longos e �nos). Al�em do mais, a malha repre-sentava apenas parcialmente a superf��cie do objeto, uma vez que uma �unicaimagem de profundidade s�o pode capturar parcialmente a sua geometria. Emvista disso, o objetivo da nosso projeto de pesquisa �e o aprimoramento e aextens~ao do M�etodo Fluxo Radial, de maneira a termos um algoritmo dereconstru�c~ao de um modelo 3D a partir da inclus~ao incremental de outrasimagens de profundidade. Desta forma, assumindo que as imagens n~ao este-jam registradas a priori, acreditamos que o nosso objetivo pode ser atingidoatrav�es das seguintes tarefas:

� Proposta de um mecanismo de controle de faces degeneradas, possibi-litando a constru�c~ao de uma malha de melhor qualidade.

� Proposta de um algoritmo de registro e integra�c~ao incremental de ima-gens.

� Reavalia�c~ao da estrat�egia de deforma�c~ao do RFM.

Foi estabelecido o seguinte cronograma para a realiza�c~ao destas tarefas

5

Assunto 1S 2S 3S 4S 5S 6S 7S 8S

Disciplinas x xAprimoramento da malha x xEstudo das t�ecnicas registro e integra�c~ao x xAlgoritmo de registro e integra�c~ao x x xAlgoritmo de deforma�c~aoincorporando as novas vistas x x xEst�agio Sandwich xConclus~oes, escrita da tese e defesa x

3 Etapas j�a realizadas

No primeiro relat�orio apresentado �a FAPESP, apresentou-se um algoritmo desubdivis~ao baseado no esquema de triangula�c~ao Delaunay incremental, juntocom uma estrat�egia conveniente de inser�c~ao de v�ertices na malha. Este algo-ritmo permitiu a gera�c~ao de malhas de melhor qualidade que as obtidas peloalgoritmo de subdivis~ao anteriormente usado pelo Modelo de Fluxo Radial.Os resultados obtidos foram aceitos na categoria de artigos completos no\XIV Brazilian Symposium on Computer Graphics and Image Processing".Foi tamb�em feito um levantamento bibliogr�a�co inicial de algumas t�ecnicasde registro de imagens de profundidade. Paralelamente, foram cursadas 5 dis-ciplinas necess�arias para o cumprimento de cr�editos exigidos pelo programade doutorado da FEEC.

4 M�etodo de Fluxo Radial

Para ser auto-contido inclu��mos nesta se�c~ao uma descri�c~ao sucinta do algo-ritmo RFM, a base do nosso projeto.

O Modelo de Fluxo Radial (RFM) �e um m�etodo iterativo de reconstru�c~aoparcial da superf��cie de um objeto a partir de uma �unica imagem de profun-didade R. Seu dom��nio de aplica�c~ao �e superf��cies simplesmente conexas,orient�aveis e de arbitr�aria topologia. O processo de reconstru�c~ao inicia comuma malha inicial simples (decaedro) posicionada num primeiro sistema dereferencia que �e determinado por um centro radial e um eixo z na dire�c~aode profundidade da imagem. Os v�ertices desta malha crescem na dire�c~aoradial para pontos correspondentes em R, fazendo com que a malha se apro-xime �as amostras de R. Enquanto a malha cresce, suas faces subdividemgerando novos v�ertices e novos correspondentes radiais em R, propiciandouma adapta�c~ao mais �na �a geometria espacial das amostras. O processocrescimento-subdivis~ao se repete at�e a malha aproximar �a regi~ao estrelada

6

correspondente na imagem R sob uma tolerancia de erro �. Se a imagemapresentar uma geometria n~ao estrelada, outras frentes de crescimento de-vem ser determinadas e novos centros radiais devem ser criados para atingiressas regi~oes. Em paralelo, testes de proximidade entre pares de frentes devemser realizados para, atrav�es de cirurgias topol�ogicas, possibilitar a gera�c~ao deuma malha com genero compat��vel ao genero de R. A seguir uma brevedescri�c~ao dos sete est�agios do m�etodo.

1. Pr�e-processamento

2. Inicializa�c~ao

3. Crescimento

4. Erro de reconstru�c~ao e ancoramento

5. Re�namento adaptativo da malha

6. Determina�c~ao de novas frentes de crescimento

7. Adapta�c~oes topol�ogicas

4.1 Pr�e-processamento

Os passos a serem realizados nesta etapa s~ao:

� Segmenta�c~ao das componentes maximamente conexas da imagem, guardandoa componente C de maior tamanho em pixels.

� Gera�c~ao da imagem bin�aria I, atrav�es da atribui�c~ao de 0 para cadapixel inv�alido (com profundidade zero em R ) de C e 1 para cada pixelv�alido (com profundidade diferente de zero em R) de C.

� Determina�c~ao da borda externa de I, e as internas se houverem.

4.2 Inicializa�c~ao

� Posicionamiento de um v�ertice v0 da malha inicial (decaedro) numprimeiro sistema de referencia determinado pelo eixo z0 na dire�c~ao deprofundidade, e um centro radial C0 cuja coordenada z �e o menor valorde profundidade das amostras, e cujas coordenadas (x; y) correspon-dem �a posi�c~ao 2D de um pixel v�alido em R.O v�ertice v0 �e chamado de v�ertice inativo pois permanecer�a �xo du-rante o crescimento, e a suas faces incidentes ser~ao chamadas de facesinativas pois n~ao ser~ao subdivididas.

7

� Determina�c~ao da primeira frente de crescimento A0 constitu��da pelasfaces que n~ao s~ao inativas.

� Determina�c~ao da regi~ao estrelada1 R0 correspondente �a primeira frentede crescimento A0.

� Associa�c~ao de um ponto correspondente em R0 para cada v�ertice namalha. Estes pontos s~ao tomados na dire�c~ao radial dos seus v�erticesassociados.

Na apresenta�c~ao dos pr�oximos est�agios do m�etodo usaremos a nota�c~ao Mk;i

para referir �a malha contendo as faces da frente Ak e na i-�esima itera�c~aode crescimento. A regi~ao r pertencente �a regi~ao estrelada Rk e determinadapelos pontos correspondentes dos v�ertices da face f , ser�a chamada de regi~aocorrespondente da face f .

4.3 Crescimento

Para a malha Mk;i poder crescer em dire�c~ao da sua regi~ao estrelada Rk, osseus v�ertices s~ao deslocados radialmente na dire�c~ao das amostras. O passode deslocamento ser�a considerado como o menor erro de reconstru�c~ao dasfaces em rela�c~ao a cada amostra pi da sua regi~ao correspondente. Isto �epara n~ao ultrapassar a imagem. Al�em disso, para impedir a interpola�c~aode pontos ruidosos (com profundidade muito distante das profundidades dosseus pontos vizinhos) �e feita uma diminui�c~ao da velocidade dos v�ertices quetiverem algum dos seus vizinhos su�cientemente pr�oximos dos seus pontoscorrespondentes.

4.4 Erro de reconstru�c~ao e ancoramento

Devido ao deslocamento radial dos v�ertices do modelo at�e seus correspon-dentes na imagem, o erro de reconstru�c~ao de um v�ertice vi do modelo �esimplesmente calculado em coordenadas esf�ericas por: evi = �pi � �vi , onde�vi �e a coordenada � do v�ertice vi, e �pi �e a coordenada do ponto correspon-dente pi. Tamb�em o erro radial emi de uma face fm em rela�c~ao a um ponto pipertencente a sua regi~ao rm �e expresso por emi = k ~Opi � ( ~Opi

Tfm)k, onde

~OpiTfm �e o vetor de�nido pelo ponto interse�c~ao da face fm e o raio ~Opi.

Quando evi < � dizemos que vi �e ancorado, e quando o erro de reconstru�c~aode fm em rela�c~ao a pelo menos �% dos pontos amostrados na sua regi~ao

1Chama-se de regi~ao estrelada quando um raio saindo da origem O at�e cada ponto

p 2 R s�o intersecta com R em p

8

correspondente rm for menor que �, dizemos que a face fm est�a ancorada. Oparametro � mede a tolerancia do erro de proximidade da malha �as amostras,e o parametro � controla o grau de �delidade da reconstru�c~ao.

Consideremos agora a amostragem de uma superf��cie com geometria n~aoestrelada. Nesta situa�c~ao quando a malha Mk;i ancorar na sua regi~ao es-trelada Rk, faces paralelas �a dire�c~ao radial dos seus v�ertices surgir~ao, n~aohavendo portanto nenhuma regi~ao correspondente para ser associada. Es-tas faces ser~ao chamadas de faces paralelas e, embora n~ao tenham regi~oescorrespondentes, est~ao com erro e portanto deve-se abrir novas frentes decrescimento.

4.5 Re�namento da malha

Nesta etapa a malhaMk;i �e ajustada �a geometria do objeto amostrado atrav�esde:

� Determina�c~ao de faces v�alidas para subdivis~ao.- Uma face fm �e subdi-vidida se ela n~ao for paralela e se tiver erro de reconstru�c~ao em rela�c~aoa sua regi~ao correspondente rm.

� Inser�c~ao de v�ertices na malha Mk;i .- Quando uma face fm �e marcadapara subdivis~ao, insere-se um novo v�ertice na malha, de maneira queseja o mais pr�oximo ao baricentro da face e que possua um correspon-dente radial em Rk.

� Subdivis~ao de faces.- As faces s~ao subdivididas de acordo com o es-quema de triangula�c~ao incremental Delaunay (algoritmo de Guibas [1])segundo descrito no relat�orio cient��co anterior apresentado �a FAPESP.

4.6 Determina�c~ao de novas frentes de crescimento

Quando o re�namento n~ao �e mais poss��vel, as faces com erro de reconstru�c~aoacima da tolerancia s~ao agrupadas em conjunto maximamente conexos defaces que de�nir~ao as novas frentes de crescimento. Para cada conjunto Ak

um sistema de referencia �e de�nido. H�a uma diferen�ca na determina�c~ao,dependendo de Ak possuir ou n~ao v�ertices de borda (v�ertices da malha asso-ciados a amostras da borda da imagem).

4.6.1 Frentes que n~ao incluem v�ertices de borda

� A dire�c~ao do eixo z (Zk) �e a dire�c~ao do vetor resultante da diferen�cado centr�oide do conjunto de faces de Ak, e o centr�oide das amostras da

9

regi~ao correspondente �as faces de Ak.

� A origem Ck �e um ponto sobre Zk tal que todos os pontos de borda doconjunto de faces da frente formem em rela�c~ao a Zk, um angulo menorou igual a 45o.

4.6.2 Frentes que incluem v�ertices de borda

� A frente Ak cont�em uma ou v�arias faces paralelas com v�ertices de borda(faces adjacentes �as faces inativas). Tais faces chamaremos de faces-borda paralelas.

� A dire�c~ao de Zk ser�a a dire�c~ao de vista.

� A origem Ck ser�a um ponto sobre o ponto m�edio dos v�ertices de bordaassociados �a face-borda paralela, tal que todos os v�ertices da bordade Ak formem com rela�c~ao a Zk um angulo menor ou igual a 45o. Sehouver mais de uma face-borda paralela, Ck ser�a a m�edia dos valorescomputados para cada face-borda paralela.

A partir do centro radial Ck determina-se a regi~ao estrelada Rk e realiza-sea seq�uencia c��clica crescimento-subdivis~ao sobre Ak at�e que n~ao seja maisposs��vel o crescimento.

4.7 Adapta�c~oes topol�ogicas

Quando existirem duas frentes Ak e Ah com faces-borda f1 e f2 paralelas econectadas por uma aresta-borda interna, avalia-se o seguinte teste de prox-imidade:(1) Se os vetores normais de f1 e f2 s~ao quase paralelos e opostos, e(2) se os dois segmentos de�nidos pelos v�ertices de borda est~ao contidos emR. Se estas duas condi�c~oes forem satisfeitas realiza-se a cirurgia topol�ogica,que compreende dois est�agios

1. Corte: Remova-se as faces limite f1 e f2

2. Costura

� As duas bordas resultantes da elimina�c~ao das faces s~ao conectadaspor oito faces triangulares.

� Faz-se a soma conexa entre Ak e Ah resultando uma �unica frenteAk = Ak

SAh

10

5 Atividades de Pesquisa

Em rela�c~ao ao plano inicial listado na Se�c~ao 2 realizamos ao longo desteper��odo as seguintes tarefas de pesquisa

� Aprimoramento do procedimento de subdivis~ao do RFM

� Revis~ao bibliogr�a�ca das t�ecnicas de registro e integra�c~ao. Um resumode cada artigo �e apresentado no apendice.

� Esbo�co de um algoritmo de integra�c~ao de duas imagens que se adequaa RFM

� Projeto de algoritmo de registro de duas imagens

5.1 Subdivis~ao da malha

Uma mudan�ca na subvis~ao foi feita em rela�c~ao ao apresentado no relat�orioanterior. Faces ao inv�es de arestas s~ao subdivididas com o intuito de simpli-�car o nosso algoritmo de subdivis~ao. Para isso deve-se rotular faces no lugarde arestas como v�alidas para subdivis~ao. Constatamos que o procedimentode determina�c~ao de arestas v�alidas �e mais complexo que o de identi�ca�c~aode faces v�alidas. Uma aresta v�alida para subdivis~ao deve satisfazer

1. O seu comprimento e for maior que Lk (limiar estimado),

2. pelo menos uma das suas faces adjacentes tiver erro de reconstru�c~ao en~ao for paralela

3. o comprimento da maior aresta das suas faces adjacentes exceder nom�aximo 25% do seu comprimento.

Enquanto para validar uma face somente uma condi�c~ao precisa ser veri�cada:se ela tiver erro de reconstru�c~ao e n~ao for paralela.

5.2 Integra�c~ao

Embora a seq�uencia usual para reconstru�c~ao de uma malha triangular apartir de duas ou mais imagens �e registro seguido de integra�c~ao, decidimosfazer primeiro alguns experimentos simples para certi�car a factibilidade dareconstru�c~ao incremental de uma malha usando o princ��pio de deforma�c~aodo modelo RFM.

Diferentemente das t�ecnicas encontradas na literatura (Apendice B) n�ospropomos fazer uma integra�c~ao incremental de uma imagem de profundidade

11

a uma malha triangular fechada existente usando o modelo RFM. Para issoidenti�camos os seguintes est�agios a serem inclu��dos no nosso modelo RFMpara viabilizar a nossa proposta.

� Registro da malha triangular com a nova imagem de profundidade(se�c~ao 5.3)

� Identi�ca�c~ao da regi~ao de sobreposi�c~ao

� Ajuste dos valores de profundidade na regi~ao de sobreposi�c~ao

� Reposicionamento dos v�ertices dos triangulos na regi~ao de sobreposi�c~aode forma que cada um deles tenha uma amostra correspondente na novaimagem de profundidade

� Determina�c~ao de novas frentes de crescimento

Como testes preliminares implementamos um algoritmo simples de integra�c~aoconsiderando que a malhaM e a nova imagemR2 sejam registrados. A seguirdescrevemos sucintamente as principais id�eias a serem incorporadas em cadaest�agio.

� Primeiro Est�agio : Regi~ao de sobreposi�c~aoPara descarte dos triangulos de M que n~ao pertencem �a regi~ao desobreposi�c~ao podemos usar o algoritmo z-bu�er. Com este algoritmoum triangulo n~ao �e considerado vis��vel a partir do ponto de vista v de R2

se um raio saindo de v interceptaM em outro ponto com profundidademenor, al�em dos pontos do triangulo.

� Segundo Est�agio: Ajuste dos valores zPara cada amostra ai redundante em R2 o triangulo t associado aela �e projetado sobre a grade G2 da imagem R2 e as coordenadasbaricentricas de ai s~ao determinadas. O valor de profundidade z1 �einterpolado a partir dos valores de profundidade dos v�ertices de t e ascoordenadas baricentricas determinadas de acordo com a sugest~ao deSoucy e Laurendeau [19, 20]. O valor z2 �e o pr�oprio valor da profun-didade de ai. Finalmente, o valor z da amostra �e calculado atrav�esda m�edia ponderada de z1 e z2, onde as pondera�c~oes s~ao os valores deincerteza correspondentes.

� Terceiro est�agio: Reposicionamento dos v�ertices da regi~ao de sobrepo-si�c~aoAssociar a cada v�ertice vi de M na regi~ao de sobreposi�c~ao o pontocorrespondente na imagem R2 �a amostra mais pr�oxima �a proje�c~ao devi sobre R2.

12

� Quarto est�agio: Determina�c~ao de novas frentesDetermina-se novas frentes a partir das faces da regi~ao de sobreposi�c~ao.Para cada frente de crescimento deve-se ainda reavaliar os erros dereconstru�c~ao das faces na regi~ao de sobreposi�c~ao.

O algoritmo apresentado tem sido proposto de maneira intuitiva. S�o o tes-tamos na integra�c~ao das amostras de duas imagens de uma esfera (Figura 1),

Figura 1: Testes preliminares

cujo registro �e dado pela transforma�c~ao

T =

0BBB@�0; 500 0; 0 �0; 866 0; 00; 0 1; 0 0; 0 0; 00; 866 0; 0 �0; 500 0; 00; 0 0; 0 0; 0 1; 0

1CCCA

Testes exaustivos devem ainda ser feitos.

5.3 Registro

Propomos fazer alguma modi�ca�c~ao no algoritmo DARCES [4] e combin�a-locom um algoritmo ICP [3] para obtermos uma transforma�c~ao de registro. Oalgoritmo DARCES nos permite obter uma transforma�c~ao inicial requeridapelo algoritmo ICP e este por sua vez faz ajustes �nos para convergir taltransforma�c~ao a uma transforma�c~ao mais precisa. No entanto, um dos pontoscr��ticos do algoritmo DARCES �e a determina�c~ao de pontos representativosou pontos de controle para estabelecer triplos de controle planares que s~ao

13

usados no processo de registro. Isso �e feito de forma totalmente aleat�oria. Anossa hip�otese �e que tendo as informa�c~oes topol�ogicas de uma das imagensatrav�es de uma malha de baixa resolu�c~ao, podemos n~ao s�o escolher de formamais criteriosa e autom�atica estes pontos, como tamb�em utilizar qu�adruplosespaciais no lugar de triplos planares. Os qu�adruplos podem re etir melhora geometria (local) espacial da superf��cie, pois eles indicam a orienta�c~ao dospontos de controle no espa�co. Implementamos o seguinte algoritmo pararegistrar duas imagens R1 e R2

1. Reconstruir a estrutura topol�ogicaM da imagem R1 com uso do RFM

2. Avaliar as varia�c~oes dos vetores normais das faces adjacentes de cadav�ertice pi da malha M reconstru��da

3. Para cada v�ertice pi cuja varia�c~ao dos vetores normais �e maior que umlimiar pr�e-de�nido �

4 Escolher tres pontos na dire�c~ao de tres arestas adjacentes ao pontopi

5 Determinar com pi e os tres pontos um qu�adruplo espacial q1i

6 Determinar todos os conjuntos de quatro pontos em R2 que s~aosimilares a q1i a menos de um movimento r��gido (transla�c~ao erota�c~ao). O princ��pio de busca destes qu�adruplos �e similar aoalgoritmo originalmente proposto por Chu-Song e outros [4].

7 Determinar dentre os qu�adruplos identi�cados em R2 aquele quetiver associada uma transforma�c~ao Ti que leve a malha M maispr�oxima poss��vel das amostras de R1, ou seja com o menor errode registro.

Utilizamos o crit�erio de distancia ponto-ponto para avalia�c~ao desteserros. Por simplicidade, determinamos somente para os v�erticesadjacentes a pi o seu correspondente usando a t�ecnica de proje�c~ao [3]e avaliamos o erro em fun�c~ao da distancia destes pares de pontos.

8 Escolher dentre as transforma�c~oes Ti aquela que leve a um registro como menor erro.

Alguns experimentos preliminares foram feitos para avaliar a nossa proposta.Usamos duas imagens R1 e R2 de duas vistas mostradas na Figura 2. Re-constru��mos a partir da imagem da Figura 2a a malha com uma tolerancia deerro (� = 2:5) atrav�es do modelo RFM. A partir desta malha foi poss��vel de-terminar 4 qu�adruplos cujos v�ertices geradores apresentam faces adjacentescom um limiar � = 56; 5o nos seus vetores normais. Na Figura 3 estes v�ertices

14

Figura 2: (a) R1; 0o em torno ao eixo y (b) R2; 60

o em torno ao eixo y

Figura 3: Qu�adruplos

geradores tem duas das suas faces adjacentes preenchidas.Aplicamos para o v�ertice de maior varia�c~ao o algoritmo DARCES mo-

di�cado e obtivemos um registro razo�avel, como ilustra a Figura 4.Em seguida, aplicamos o algoritmo ICP [3] usando a matriz de trans-

forma�c~ao inicial

T0 =

0BBB@

0; 554 0; 352 �0; 753 0; 0�0; 305 0; 928 0; 209 0; 00; 773 0; 114 0; 623 0; 0

�761; 318 �111; 901 367; 021 1; 0

1CCCA

dada pelo algoritmo DARCES modi�cado, e obtivemos a seguinte matriz deregistro

T =

0BBB@

0; 521 0; 362 �0; 773 0; 0�0; 316 0; 923 0; 220 0; 00; 793 0; 130 0; 595 0; 0

�779; 554 �126; 711 393; 947 1; 0

1CCCA

15

Figura 4: Testes preliminares

Estes resultados animadores suportam a nossa hip�otese de que o conheci-mento de uma malha triangular de baixa resolu�c~ao nos permite restringir odom��nio de busca das amostras na imagem R1. Enquanto Chu-Song e outrosno pior dos casos, usariam a amostragem completa, n�os usamos uma sub-amostragem representativa da amostragem original, que s~ao os v�ertices damalha reconstru��da. No exemplo da Figura 4 a amostragem �e de 9649 pontose a malha gerada com � = 2:5 e � = 0:8 �e de 92 v�ertices, o que representa umasubamostragem do 0:95% dos dados originais. V�arios experimentos precisamser conduzidos ainda para validar a nossa hip�otese.

6 Conclus~oes

Neste per��odo do projeto foram dedicados mais de seis meses para estudar eanalisar as principais t�ecnicas de registro e integra�c~ao encontradas na litera-tura. Uma s��ntese destas t�ecnicas �e inclu��da no apendice deste relat�orio.

Com base nestas t�ecnicas foi esbo�cado um algoritmo de registro de duasimagens. A nossa id�eia �e combinar o algoritmo DARCES com um algoritmoICP para obter uma boa matriz de transforma�c~ao de registro. Pensamosainda explorar as informa�c~oes topol�ogicas contidas numa malha reconstru��dapelo RFM para melhorar o procedimento de procura do algoritmo DARCES.Conduzimos alguns testes preliminares com qu�adruplos no lugar de triplos decontrole. Fizemos ainda um experimento simples para veri�car a factibilidadede um procedimento de integra�c~ao incremental entre uma malha triangularfechada e uma imagem de profundidade.

Em rela�c~ao �a previs~ao inicial apresentada na Se�c~ao 2 estamos um poucodefasadas e pretendemos cobrir parcialmente esta diferen�ca no pr�oximo per��odo

16

do projeto conforme o cronograma que se segueAssunto 11/12 01/02 03/04 05/06 07/08 09/10

Depurar m�odulo de segmenta-�c~ao inicial do RFM X X X XConduzir testes mais conclu-sivos em rela�c~ao aoalgoritmo de registro X XInstala�c~ao/adapta�c~ao doalgoritmo de Turk e Levoy XProposta com fundamenta�c~aode um algorimo de registroImplementa�c~ao X XPreparo de um artigo parao Sibgrapi XAn�alise dos problemasreferentes �a integra�c~aocom uso do RFM e estudode poss��veis solu�c~oes X X XValida�c~ao das diferentessolu�c~oes X X XProposta com fundamenta�c~aode um algorimo de integra�c~aoImplementa�c~ao X X XParticipa�c~ao no Sibgrapi X

A T�ecnicas de registro

Dadas n imagens de profundidade R1; R2; : : : Rn de um objeto, cada umacontendo pontos 3D no sistema local de coordenadas do escaneador, que des-crevem a geometria do objeto visto a partir de um particular ponto de vista.O problema de registro dessas vistas consiste em encontrar n transforma�c~oesr��gidas T1; T2; : : : ; Tn que especi�quem as corretas posi�c~oes do escaneador comrela�c~ao a um �unico sistema de referencia global (arbitrariamente escolhido eusualmente o referencial de uma das vistas).

O registro de n vistas �e o objetivo �nal, por�em para chegar a atingi-loprecisa-se do processo intermedi�ario de registro entre duas vistas Ri e Rj

(ou R1 e R2). Assumiremos que a transforma�c~ao procurada T levar�a R1 emalinhamento com R2.

Pode-se expressar a transforma�c~ao T entre R1 e R2 como uma opera�c~aolinear usando uma representa�c~ao homogenea de matriz 4x4. Ela �e composta

17

por R3�3 e t3�1. R3�3 �e composta por uma seq�uencia de 3 rota�c~oes de �, � e graus com rela�c~ao aos eixos x; y e z respectivamente, e t3�1 por 3 transla�c~oescom rela�c~ao aos eixos x; y e z, respectivamente. A nota�c~ao matricial seguinte�e usada T pode ser expressa como

T =

T11 T12 T13 T14

T21 T22 T23 T24

T31 T32 T33 T34

T41 T42 T43 T44

!= T (R; t) =

R11 R12 R13 t1

R21 R22 R23 t2

R31 R32 R33 t3

0 0 0 1

!= T (�; �; ; tx; ty; tz)

As t�ecnicas de registro existentes na literatura podem ser classi�cadas emduas categorias:

1. dependentes da transforma�c~ao inicial

2. independentes da transforma�c~ao inicial

No registro dependente parte-se da suposi�c~ao que a transforma�c~ao entreas duas vistas �e aproximadamente conhecida. Ela �e utilizada como esti-mativa inicial �e no algoritmo ICP (Iterative closest point) para obter umatransforma�c~ao mais justa. Quando n~ao se consegue obter um chute inicialrecomenda-se o uso do registro independente. Este m�etodo se baseia no fatode que a distancia entre os pontos s~ao preservadas nas transforma�c~oes r��gidas.Apresentamos treze algoritmos de registro, entre eles os 11 primeiros s~ao de-pendentes da transforma�c~ao inicial, e os dois �ultimos s~ao independentes dela.Eles s~ao sintetizados a seguir:

A.1 Algoritmo ICP [2]

Como foi mencionado, o Algoritmo ICP (Ponto mais pr�oximo iterativo) �e om�etodo dominante na tarefa do alinhamento de duas ou mais vistas quandouma estimativa inicial �e fornecida. Ele foi originalmente proposto por Besle McKay em 1992. V�arias novas sugest~oes foram apresentadas desde ent~aopara aprimor�a-lo.

Sejam R1 = fpigN1

1 e R2 = fqigN2

1 dois conjuntos de pontos 3D querepresentam duas posi�c~oes no espa�co diferentes de uma superf��cie. Assuma-seque o conjunto de pontos SR1 da superf��cie representados por R1 est�a contidono conjunto de pontos SR2 que R2 representa na superf��cie (SR1 � SR2), eportanto cada ponto pi em R1 tem um correspondente qi em R2 que ocupaa mesma localiza�c~ao da superf��cie que pi, satisfazendo a seguinte equa�c~ao

qi = Tpi i = 1; : : : ; N1

Conhecemos pi (amostras de R1), e se conhecessemos qi o problema deregistro estaria resolvido pois T pode ser facilmente encontrada atrav�es de

18

um m�etodo de m��nimos quadrados ou m�edia de m��nimos quadrados

min f onde f =N1Xi=1

1

N1kqi � Tpik;

No entanto os qi 2 R2 correspondentes aos pi n~ao s~ao conhecidos poisdependem da transforma�c~ao T que estamos pretendendo encontrar.

Besl e McKay apresentam uma proposta com uma tentativa de estimarde maneira simples o ponto correspondente qi em R2 para dado pi em R1: Oponto qi 2 R2 mais pr�oximo a pi. Para calcular a transforma�c~ao eles iniciamum processo iterativo fornecendo uma transforma�c~ao inicial T0 que pode serobtida manualmente pelo usu�ario ou por casamento de caracter��sticas naimagem. Em cada itera�c~ao k uma transforma�c~ao intermedi�aria Tk �e com-putada e novos pontos qi s~ao determinados para novas posi�c~oes dos pontospi que resultam de aplicar a transforma�c~ao Tk�1. Ap�os sucessivas itera�c~oesos autores esperam que �nalmente os qi determinados sejam os pontos queocupam (com uma margem pequena de erro) a mesma posi�c~ao na superf��cieamostrada. O algoritmo ICP �e o seguinte:

1. Inicialize com T0, k = 1,

2. Atualize pi aplicando Tk�1 pi = Tk�1pi

3. Encontre o ponto mais pr�oximo qi para o ponto pi usando a f�ormulaminq2R2

kq � pik

4. Compute a transforma�c~ao Tk que minimiza a fun�c~ao erro

fk =N1Xi=1

1

N1kqi � Tkpik

5. Se (fk � fk�1) < � (tolerancia pr�e-de�nida), p�are, caso contr�ario v�a a(2)

No m�etodo ICP usa-se o m�etodo de Horn [9] para minimizar a fun�c~ao errof e achar T . Horn prop~oe um m�etodo direto ao inv�es de m�etodos num�ericositerativos para solucionar o problema de m��nimos quadrados para 3 ou maispontos. Seu trabalho usa quat�ernios unit�arios para representar rota�c~oes e �edescrito brevemente a seguir:

Um quat�ernio unit�ario �e um vetor ~q = [q0q1q2q3] ou ~q = q0+q1i+q2j+q3kcom q0 � 0 e q20 + q21 + q22 + q23 = 1, e a matriz 3x3 de rota�c~ao gerada por ~q �e

Rq =

0B@ q

20 + q21 � q22 � q3 2(q1q2 � q0q3) 2(q1q3 + q0q2)2(q1q2 + q0q3) q20 + q22 � q21 � q23 2(q2q3 � q0q1)2(q1q3 � q0q2) 2(q2q3 + q0q1) q20 + q23 � q21 � q22

1CA

19

A transforma�c~ao procurada �e representada pelo vetor ~q = [~qRj~qt] onde ~qR�e um quat�ernio unit�ario que gera uma matriz de rota�c~ao e ~qt = [q4q5q6]

t ovetor trasla�c~ao. No contexto de quat�ernios, a fun�c~ao erro a ser minimizada�e:

f(~q) =N1Xi=1

1

N1kqi � R(~qR)pi � ~qtk

2

Horn demonstrou que o quat�ernio ~qR que minimiza f �e o mesmo quat�ernio~qR que maximiza a seguinte forma quadr�atica

N1Xi=1

(pi � ~�R1)R ~qR(qi � ~�R2

)

onde ~�R1e ~�R2

s~ao os centr�oides dos N1 pontos de R1 e dos N1 pontos deR2 respectivamente. Provou ainda que o quat�ernio unit�ario solu�c~ao ~qR �e oautovetor que corresponde ao m�aximo autovalor da matriz sim�etrica 4x4 Qcujas componentes s~ao geradas pela matriz covariante C entre os pares depontos dados

C =1

N1

X[(pi � ~�R1

)(qi � ~�R2)t]

As componentes da matriz A = C�Ct s~ao usadas para formar o vetor coluna� = [A23A31A12]

t que �e usado para formar Q da seguinte forma

Q =�tr(C) �t

� C + Ct � tr(C)I3

�

onde I3 �e a matriz identidade 3x3.Finalmente o vetor transla�c~ao ~qt pode ser facilmente obtido com a seguinte

f�ormula~qt = R ~qR~�R1

� ~�R2

Concluindo, o problema de achar a T (R; t) que minimiza a fun�c~ao erro f seresume a encontrar o autovetor pertencente ao maior autovalor da matriz Q.

Antes de passar para a an�alise do m�etodo ICP apresentaremos alguma ter-minologia que ser�a usada no decorrer desta relat�orio. O conjunto S1 � R1 e oconjunto S2 � R2 que correspondem �a mesma �area da superf��cie amostrada,ser~ao chamados de regi~ao de sobreposi�c~ao de R1 e regi~ao de sobreposi�c~ao deR2 respectivamente, e a uni~ao desses dois conjuntos ser�a chamada apenasregi~ao de sobreposi�c~ao. O par de pontos (pi; qi) onde p1 2 S1 e q1 2 S2 queocupam exatamente a mesma posi�c~ao na superf��cie amostrada ser�a chamadode par ideal, e o par ser�a chamado par conveniente quando ambos pontospertencem �a regi~ao de sobreposi�c~ao e qi ocupa uma posi�c~ao su�cientementepr�oxima da localiza�c~ao de pi na superf��cie amostrada. Por outro lado o

20

par ser�a um par inconveniente quando pelo menos um dois pontos n~ao per-tence �a regi~ao de sobreposi�c~ao ou qi n~ao ocupam uma posi�c~ao su�cientementepr�oxima da localiza�c~ao de pi na superf��cie. Chamaremos de par de controleao par de pontos (pi; qi) a ser usados na constru�c~ao da fun�c~ao erro f que ser�aminimizada para computar a transforma�c~ao de registro T . O ponto pi ser�achamado ponto de controle e qi ponto de controle correspondente ou simples-mente ponto correspondente.

Analisando ICP

� Convergencia do m�etodoOs autores demonstram que o algoritmo ICP sempre converge mono-t�onicamente ao mais pr�oximo m��nimo local da fun�c~ao erro f , e veri�camatrav�es de experimentos que a raz~ao dessa convergencia �e r�apida. Noentanto um m��nimo local n~ao satisfaz pois ele n~ao da a solu�c~ao.

Portanto somente dispondo de uma transforma�c~ao inicial T0 su�ciente-mente pr�oxima a T pode-se garantir que f atinja o seu m��nimo globale conseq�uentemente a ICP converja na solu�c~ao. A transforma�c~ao T0�e usualmente obtida manualmente, por casamento de algumas carac-ter��sticas relevantes na imagem ou por intera�c~ao com o usu�ario.

� Desconhecimento da regi~ao de sobreposi�c~ao ou incerteza na determina�c~aodos pares de controleA condi�c~ao que SR1 � SR2

imposta pelo ICP facilita a determina�c~aode pontos pi que podem ser levados em correspondencia com pontos deR2, de fato nesse caso R1 = S1 e portanto qualquer ponto de R1 podeser um ponto de controle em R1. O mesmo n~ao pode ser dito da deter-mina�c~ao dos pontos em R2 correspondentes aos pontos de controle emR1, j�a que a regi~ao de sobreposi�c~ao S2 �e desconhecida. A proposta deBesl e McKay de considerar o ponto mais pr�oximo como ponto corres-pondente �e por�em uma tentativa de encontrar pontos correspondentesque determinem pares de controle convenientes. Veremos mais adianteque isso nem sempre �e poss��vel na pr�atica.

O problema �ca mais s�erio ao considerarmos que no nosso contexto R1 eR2 representam duas imagens de profundidade parcialmente sobrepostas,ou seja SR1 6� SR2 e portanto a regi~ao de sobreposi�c~ao S1 tamb�em �edesconhecida. Isso nos leva a precisar de mais uma estrat�egia para de-terminar pontos de controle em R1. Em princ��pio todos os pontos de R1

podem ser considerados (como proposto por Besl e McKay) o que resul-taria numa grande quantidade de pares de controle e, na determina�c~aode pontos fora da regi~ao de sobreposi�c~ao S1. Esses pontos n~ao ser~ao em

21

absoluto boas referencias para o alinhamento. Al�em do mais ao achar-mos um correspondente mais pr�oximo para um pi fora de S1 estaremosdeterminando um par de controle potencialmente inconveniente para oalinhamento.

A incerteza na escolha de pontos de controle e determina�c~ao da corres-pondencia tem sido alvo de muito pesquisa por tornar-se um problemacr��tico quando uma transforma�c~ao inicial su�cientemente boa n~ao est�adispon��vel.

� Sensibilidade da minimiza�c~ao ponto-ponto da fun�c~ao erroEste problema tem a ver com a determina�c~ao de pares inconvenientee �e decorrente do problema (2). A minimiza�c~ao ponto-ponto propostapelos autores pode ser visualizada imaginando que os pares de pontosdeterminados s~ao conectados por molas que puxam as regi~oes comunsdas imagens at�e o alinhamento. A abordagem trabalha bem se os paresde pontos s~ao ideais, e neste caso o registro correto �e obtido numa�unica itera�c~ao. Por�em, como analisado, pares inconvenientes poder~aofacilmente ser determinados fazendo que a convergencia do algoritmoseja muito lenta ou fazendo que ele simplesmente diverja.

Na Figura 5 vemos que duas superf��cies est~ao muito pr�oximas do al-

Figura 5: Distancia Ponto - Ponto

inhamento correto, faltando s�o que S1 \escorregue" ligeiramente paracasar com S2. Quando pontos mais pr�oximos em S2 s~ao associadosa pontos de controle pi de S1, ainda que os pi perten�cam �a regi~aode sobreposi�c~ao pares inconvenientes podem ser gerados. Observe queas molas entre pares convenientes puxam a solu�c~ao na dire�c~ao certa,por�em, os pares inconvenientes j�a est~ao muito pr�oximos e portanto re-sistem a se movimentar mais que um pequeno paso, fazendo muitolenta a convergencia �a solu�c~ao exata. O outro problema que surge,mais cr��tico ainda �e quando os pontos de controle s~ao escolhidos fora daregi~ao de sobreposi�c~ao como os da �gura 11, ou pontos correspondentess~ao determinados fora desta regi~ao. Observe as associa�c~oes indevidas

22

o

o

oo

o

o

o o

o

p1

p2

p3

p4 p5

p6

p7 p8

p9

Figura 6: Associa�c~oes indevidas

indevidas de p1; p2; p3; p4 feitas pelo ICP, que d~ao origem a pares incon-venientes. Quando a m�edia dos residuais quadrados seja minimizada asuperf��cie poder�a facilmente divergir.

Com estes dois exemplos apresentamos uma s�eria conseq�uencia da de-termina�c~ao de pares inconvenientes quando a fun�c~ao erro �e represen-tada pela m�edia dos residuais quadrados. Apenas um par de controleinconveniente poder�a redundar na lentid~ao da convergencia e no piordos casos at�e na divergencia do ICP.

Com estes dois problemas b�asicos em aberto a comunidade envolvida napesquisa de registro de imagens de profundidade partiu na busca de apri-moramentos da t�ecnica ICP. A seguir apresentamos algumas variantes dele.

A.2 Chen e Medioni [5]

Eles ao inv�es de minimizar a distancia entre pares de pontos, prop~oem mini-mizar a distancia entre um ponto pi 2 R1 e o plano tangente no ponto qi 2 R2

mais pr�oximo na dire�c~ao do seu vetor normal. Desta maneira eles preten-dem associar cada ponto de controle em R1 a uma aproxima�c~ao de superf��ciecontinua e n~ao apenas discreta como no caso da minimiza�c~ao ponto-ponto.A fun�c~ao erro �e a seguinte para Ns pares de controle

f =N1Xi=1

d2(Si; T pi)

onde d representa a distancia entre um ponto e um plano, Si �e o planotangente no ponto mais pr�oximo qi a pi na dire�c~ao do vetor normal de pi. Oponto mais pr�oximo qi a pi �e computado achando a interse�c~ao entre a retanormal a pi e a superf��cie respresentada pelo conjunto de pontos de R2.

Os pontos de controle s~ao escolhidos interativamente clicando sobre pon-tos numa grade regular. Estes pontos devem pertencer �a �areas suave cur-vatura e a suavidade da regi~ao �e veri�cada ajustando um plano a uma vi-

23

zinhan�ca (por exemplo uma janela 9 x 9) e usando um m�etodo m��nimosquadrados para obter o desvio residual do ajuste.

Pontos de controle sobre �areas de suave curvatura s~ao escolhidos devidoa duas raz~oes

1. As vizinhan�cas correspondentes em R2 dos pontos de controle em R1

provavelmente ser~ao tamb�em suaves e conseq�uentemente o algoritmoque computa a interse�c~ao da reta com a superf��cie fornecer�a uma solu�c~aomais con��avel, e

2. o vetor normal �a superf��cie pode ser computado mais con��avelmente.

An�alise

� Quanto a correspondenciaCom a proposta dos autores, a superf��cie representada pelo conjuntoR1 e movimentada talque o seus pontos se aproximem aos planos tan-gentes dos seus correspondentes na outra imagem. Usando novamentea analogia com a mola, podemos ver que um extremo dela estaria noponto de controle pi e o outro estaria livre para \escorregar" ao longoda superf��cie. A �unica restri�c~ao para o movimento seria a dire�c~ao naqual a distancia seria reduzida, �cando os dois graus de liberdade dadopelas dire�c~oes sobre o plano, para que a superf��cie possa se movimentarcom mais chance sem criar con ito com outros pares. Ap�os aplicaresta t�ecnica em algumas imagens teste, os autores veri�caram que om��nimo global foi atingido mais rapidamente que o algoritmo ICP. Noentanto, em presen�ca de ru��dos ou regi~oes de alta curvatura poder�ahaver erro no c�omputo do vetor normal e conseq�uentemente erros nocomputo da interse�c~ao e do plano tangente. Esses erros poder~ao in- uenciar na estima�c~ao dos parametros da transforma�c~ao T , ao alterara distancia d que est�a sendo minimizada para estimar T . Este m�etodopoder�a facilmente falhar nesse contexto.

� Quanto �a escolha dos pontos de controle acreditamos tamb�em que aorestringir a escolha de pontos de controle em regi~oes suaves est�a-sedesprezando a informa�c~ao muito rica de varia�c~ao de curvatura da su-perf��cie, pois pontos de controle com estas caracter��sticas relevantespodem ser vitais para determinar um correto alinhamento. Na Figura12 h�a dois planos com uma ranhura no centro em forma de X, comuma diferen�ca ligeira de angulos entre eles. Como pode ser observado,para alinhar a geometria complexa das ranhuras, pontos sobre elas de-vem ser escolhidos, pois pontos fora de delas n~ao fornecer~ao informa�c~aorelevante para o sucesso do alinhamento.

24

Figura 7: Plano com ranhura con centro em forma de X

A escolha restrita proposta faz que s�o poucos pontos signi�cativos pos-sam ser escolhidos, impedindo o correto alinhamento como foi experi-mentado por Rusinkiewicz e Levoy [15].

Nenhuma restri�c~ao �e feita para a escolha de pontos de controle fora daregi~ao de sobreposi�c~ao.

A.3 Gagnon e outros [8]

Eles tentam aprimorar o algoritmo de Chen e Medioni [5] e realizam modi-�ca�c~oes basicamente em dois aspectos

1. Na escolha dos pontos de controle .- Enquanto Chen e Medioni [5] con-sideram apenas pontos localizados em �areas suaves, os autores reduzemainda mais esse dom��nio descartando pontos com descontinuidade deprofundidade e incorporando um teste de visibilidade. Um ponto qi emR2 n~ao �e vis��vel na vista R1 quando o produto interno entre o vetornormal de qi e a vetor que indica a profundidade de R1 �e negativo, oponto qi n~ao �e usado como ponto de controle. O teste �e aplicado emambas as imagens.

2. Na determina�c~ao do plano tangente .- Para encontrar o plano tangenteem R2 correspondente ao ponto pi 2 R1, Chen e Medioni [5] escolhemo ponto p2 na grade discreta na vista R2 mais pr�oximo �a interse�c~aoentre o segmento de linha 3D normal a pi e a superf��cie representadapor R2. Com o intuito de melhorar a precis~ao da transforma�c~ao T , elesprop~oem fazer uma interpola�c~ao subpixel para computar a interse�c~aoao inv�es de usar uma aproxima�c~ao discreta.

An�alise

� Quanto �a regi~ao de sobreposi�c~aoOs autores aprimoram a t�ecnica de Chen e Medioni [5] no sentido de

25

introduzir dois crit�erios para evitar prov�aveis pares inconvenientes, umdeles �e a desconsidera�c~ao dos pontos com descontinuidade de profun-didade e o outro �e a determina�c~ao das amostras em R2 que s~ao vis��veisa partir da linha de vista de R1. O teste de visibilidade aplicado naimagem R1 fornece uma estimativa da prov�avel regi~ao de sobreposi�c~aode R1. Embora muita informa�c~ao em R1 que �e vis��vel a partir da linhade vista de R2 possa n~ao pertencer �a regi~ao de sobreposi�c~ao das ima-gens, este teste �e uma boa primeira tentativa de redu�c~ao de informa�c~aodesnecess�aria. Os dom��nios para pontos de controle e pontos corres-pondentes s~ao reduzidos com este teste.

� Nenhuma melhora substancial �e feita em rela�c~ao �a determina�c~ao decorrespondencia.

A.4 Turk e Levoy [22]

Eles prop~oem minimizar a distancia entre duas malhas triangularesM1 eM2

constru��das a partir das imagens de profundidade R1 e R2 respectivamente.Os pontos de controle s~ao v�ertices sobre a malha e os pontos correspondentess~ao pontos mais pr�oximos sobreM2. Usa-se a t�ecnica de triangula�c~ao restrita�a descontinuidade no passo que gera triangulos aproveitando a estrutura 2Dda imagem da seguinte forma: Pixels adjacentes na imagem s~ao conectadossempre que a distancia euclideana entre os dois pontos correspondentes noespa�co seja menor que um pr�e-de�nido limiar.

Constr�oi-se uma hierarquia de malhas de menor a maior detalhamentosendo a malha na hierarquia i 4 vezes maior em n�umero de v�ertices que ada hierarquia i � 1. A escolha de pontos �e feita seguindo uma distribui�c~aouniforme no plano da imagem. O objetivo da hierarquia �e de acelerar o re-gistro realizando o casamento sobre uma malha com poucos v�ertices e usandoincrementalmente malhas mais detalhadas para maior re�namento.

Um limiar para desprezar pares de pontos muito distantes �e introduzidoe nenhum ponto de borda �e usado como elemento do par de pontos de con-trole. Considerando que nem todos os pontos amostra tem o mesmo erro deaquisi�c~ao j�a que isso depende da sua posi�c~ao em rela�c~ao ao escaneador, osautores introduzem um valor que mede o grau de con�abilidade da amostra.Altera-se a fun�c~ao erro, incorporando o valor de con�an�ca wi, resultandonuma fun�c~ao erro expressa pelo sum�atorio de residuais quadrados pondera-dos. Assim

f =NsXi=1

1

Ns

wikTpi � qik2:

An�alise

26

� Quanto �a regi~ao de sobreposi�c~aoDado o problema crucial de desconhecimento da regi~ao de sobreposi�c~aoe portanto um risco latente de escolha de pares inconvenientes que pre-judicariam o computo da transforma�c~ao, consideram-se importantes asduas contribui�c~oes em rela�c~ao �a rejei�c~ao de pares de pontos potencial-mente inconvenientes. (a) Rejei�c~ao de pontos muito afastados e (b)Rejei�c~ao de v�ertices sobre a borda da malha.

Para com maior precis~ao representar um par de controle os autores in-troduzem um valor de grau de con�abilidade das amostras dependenteda posi�c~ao delas em rela�c~ao ao escaneador.

� Quanto �a correspondencia e pontos de controleA estrat�egia de escolher o ponto mais pr�oximo encima de uma malhaaumenta a precis~ao da correspondencia pois a malha representa uma su-perf��cie continua ajustada �as amostras e n~ao apenas pontos esparcidosno espa�co. �E inteligente tamb�em o esquema de hierarquia de malhaspara evitar o uso de malhas muito densas que fariam muito custoso oprocessamento. Por�em, at�e que resolu�c~ao as malhas ter~ao que ter parafornecer amostras signi�cativas para o computo da fun�c~ao erro?. Lem-bremos como discutido na an�alise da t�ecnica de Chen e Medioni [5] queem caso de geometrias complexas, apenas amostras com caracter��sticasrelevantes favorecem um bom registro.

A.5 Blais e Levine [3]

Eles prop~oem basicamente tres mudan�cas na t�ecnica ICP

1. Determinar uma subamostragem com distribui�c~ao uniforme no planoda imagem (an�alogo a Turk e Levoy [22], mas sem hierarquias incre-mentais de malhas).

2. Usa-se um m�etodo de proje�c~ao para determinar os pontos correspon-dentes aos pontos de controle. O ponto de controle pi 2 R1 �e projetadosobre o plano da imagem R2, se o ponto cair fora dos limites da planoda imagem ou no \background" da imagem esse ponto �e desconside-rado como potencial ponto de controle, caso contr�ario determina-seo ponto com coordenada (x; y) mais pr�oximo �a coordenada (x; y) doponto projetado. Pode-se acelerar o computo da proje�c~ao tornando-obem simples atrav�es da determina�c~ao de equa�c~oes que relacionem ascoordenada (x; y) de um ponto 3d com os ��ndices da imagem R2. A

27

fun�c~ao custo �ca ent~ao determinada como

f =NsXi=1

1

Ns

kTpi � P (pi)k

onde P () �e a fun�c~ao proje�c~ao descrita.

3. Introduze-se tamb�em o limiar de Turk e Levoy para descartar prov�aveispares de pontos inconvenientes.

An�alise

� Quanto a nova proposta de correspondencia, o m�etodo de proje�c~ao�e vantajoso em termos de simplicidade implementacional e custo detempo em rela�c~ao �as duas proposta de correspondencia j�a mencionadas(a) Ponto mais pr�oximo (Blais e Levine [3]) e (b) Ponto mais pr�oximona dire�c~ao do vetor normal (Chen e Medioni [5]). O custo de achar aproje�c~ao do ponto �e constante uma vez que as equa�c~oes que relacionamas coordenadas (x; y) com os ��ndices da imagem s~ao determinadas. Noentanto a pesar que os autores a�rmem que a distancia entre umaamostra da imagem R1 e a sua proje�c~ao no plano da imagem de R2

�e a melhor estimativa da distancia entre vistas, n�os temos encontradona pr�atica que isso n~ao �e bem a verdade. Quando as superf��cies repre-sentadas pelas duas vistas est~ao desalinhadas em alguma dire�c~ao k doplano ortogonal �a dire�c~ao de proje�c~ao nz, a minimiza�c~ao das distanciasentre os pontos e suas proje�c~oes n~ao resultar�a num bom alinhamentona dire�c~ao k.

A.6 Masuda e Yokota [10]

Eles tentam fazer o etapa de minimiza�c~ao de Horn do ICP mais robustausando o m�etodo Mediana m��nima de quadrados (Least median of squares- LMS) na fun�c~ao erro ao inv�es da m�edia m��nima de quadrados usada porHorn. Horn minimiza a soma dos residuais quadrados (Least squares - LS)signi�cando que ainda um �unico par inconveniente dos Ns pares pode geraruma transforma�c~ao errada. J�a LMS seria mais robusto porque minimizariaa mediana dos residuais quadrados podendo dar uma resposta correta aindaque quase o 50% dos pares sejam inconvenientes. No entanto a minimiza�c~aoda fun�c~ao f = medkTpi�qik n~ao pode ser resolvida em forma anal��tica comono caso da minimiza�c~ao de f =

PNs

i=11NskTpi� qik, portanto uma t�ecnica es-

toc�astica como amostragem rand�omica deve ser incorporada. O algoritmo

28

proposto ser�a ent~ao iterativo, considerando em cada passo um processo desubamostragem aleat�oria, estimativa da transforma�c~ao e avalia�c~ao da trans-forma�c~ao. O n�umero de itera�c~oes Nt do algoritmo �e pre-determinado pelousu�ario. A estima�c~ao da tranforma�c~ao TICP �e feita usando o algoritmo ICP, aavalia�c~ao do erro da transforma�c~ao estimada �e feita usando a fun�c~ao medianados quadrados MS

MS =qmed1�i�Ns

kTpi � P (Tpi)k

que retorna o residual mdiano entre pontos de controle transformados porTICP e as suas proje�c~oes em R2. Finalmente determina-se a transforma�c~aoTICP que tenha o menor erro MS entre todas as transforma�c~oes encontradasnas Nt itera�c~oes.

O algoritmo �e o seguinte:

1. Inicializa-se como TLMS = T0 transforma�c~ao inicial

2. Calcule MSLMS =qmed1�i�Ns

kTLMSpi � P (TLMSpi)k

3. Para i=1 at�e Nt fa�ca

(a) Extraia-se aleat�oriamente um conjunto SNS de Ns pontos de con-trole de R1.

(b) Use-se o conjunto SNS com R2 para calcular a transforma�c~ao TICPatrav�es do algoritmo ICP.

(c) Calcule-se a mediana dos residuais quadrados

MSICP =qmed1�i�Ns

kTICPpi � P (TICPpi)k

(d) Se MSICP < MSLMS ent~ao TLMS = TICP

A transforma�c~ao resultante TLMS satisfaz

MSLMS = min1�k�NtMSICP

Os autores esperam que atrav�es das Nt tentativas pelo menos uma sub-amostragem exenta de pontos inconvenientes possa ser determinada parapossibilitar o computo de uma transforma�c~ao correta (Masuda e Yokota [10])usam Nt = 200 com SNS = 5).An�alise

29

� Quanto �a sensibilidade da fun�c~ao erroOs autores contribuem diminuindo a sensibilidade da fun�c~ao erro aon�umero de pares inconvenientes. Ao ser avaliada apenas a mediana dosresiduais, um resultado con��avel pode ser obtido sem usar um limiarpara descartar pares de pontos inconvenientes, mas isso sujeito a quepelo menos 50% dos pares de pontos sejam convenientes.

� Quanto a pontos de controleUma subamostragem aleat�oria pode ser um problema quando amostrassigni�cativas s~ao exclu��das na sele�c~ao. Neste caso a transforma�c~ao re-sultante que registra as duas imagens poder�a n~ao ser t~ao precisa comodeveria.

� Por outro lado esta t�ecnica baseada em Nt escolhas aleat�orias introduzpreocupa�c~ao com a lentid~ao do algoritmo. Em cada uma das Nt ten-tativas, diferentes subconjuntos de pontos de controle s~ao escolhidosrandomicamente, o que gera Nt transforma�c~oes entre as quais apenasuma ser�a a sa��da do algoritmo. Isto pode ser traduzido como uma buscaexaustiva da matriz de transforma�c~ao T num espa�co de transforma�c~oesencontradas usando combina�c~oes randomicas de SNS pares de pontos.

A.7 Neugebauer [11]

Similarmente a Turk e Levoy [22], ele introduz uma hierarquia de resolu�c~ao nasele�c~ao de pontos de controle, mas a diferen�ca deles nenhuma triangula�c~ao�e feita. Nas primeiras itera�c~oes apenas poucos pontos s~ao usados, e pos-teriormente pontos adicionais s~ao inclu��dos. Para montar a hierarquia deresolu�c~ao escolhe-se pontos cuja coordenada na grade da imagem seja umapotencia de 2d, e dobra-se a resolu�c~ao a cada novo n��vel da hierarquia. ComoBlais e Levine [3] ele determina como ponto correspondente para cada pontode controle pi a proje�c~ao desse ponto P (pi) na imagem R2, e como Chen eMedioni [5] considera a minimiza�c~ao ponto-plano tendo a mesma fun�c~ao erro

f =NsXi=1

1

Ns

d2(Sqi; T pi)

onde Sqi �e o plano tangente estimado em qi.Uma estrat�egia diferente de rejei�c~ao de prov�aveis pares inconvenientes �e

proposta baseada na suposi�c~ao que o residual dos elementos de um par incon-veniente se encontra acima da m�edia dos residuais dos outros pares. Calcula-se ent~ao em cada itera�c~ao do m�etodo a m�edia � dos residuais e usa-se esse

30

valor para detectar prov�aveis pares inconvenientes na seguinte maneira. Sekpi � qik > 3� ent~ao despreza-se o par.

An�alise

� Quanto �a regi~ao de sobreposi�c~aoA proposta de um crit�erio diferente de rejei�c~ao de pontos �e mais umatentativa de rejeitar pares inconvenientes de pontos, por�em n~ao garanteuma elimina�c~ao completa deles.

A.8 Weik [23]

Ele requer como entrada al�em das duas imagens de profundidade R1 e R2

as duas imagens de intensidade I1 e I2 correspondentes. Come�ca selecio-nando pontos de controle bem distribu��dos na imagem R1 e encontra os seuspontos correspondentes em R2 seguindo o seguinte processo que considera alineariza�c~ao da informa�c~ao de luminancia. Seja o ponto 2D pi pertencenteao plano da imagem R1 e o seu associado ponto 3D, Pi. Seja ainda p0i aproje�c~ao sobre R2 do ponto 2D pi. Partindo do presuposto que a intensidadeassociada a Pi (ponto de controle em R1) �e a mesma que a associada a seuponto correspondente Qi em R2 ent~ao a igualdade de diferen�ca de intensi-dades � = I1(pi) � I2(p

0i) = I1(qi) � I2(p

0i) �e satisfeita, onde qi �e a posi�c~ao

2D de Q na imagem R2. Por tanto com essa igualdade e a equa�c~ao que li-neariza I, �I = rI2(p

0i):d, podemos calcular qi = p0i+ d (Figura 13) e desta

p’

qd

P

Q

X

Figura 8: T�ecnica de Weik

maneira o ponto correspondente para Pi ser�a Qi, o ponto 3D associado aoponto imagem qi na imagem R2.

Para rejeitar prov�aveis pares inconvenientes aproxima-se a imagem R2

por uma malha triangular. Um ponto pi �e desconsiderado se um raio saindodo ponto de vista de R1 at�e ele intercepta a malha em outro ponto com pro-fundidade menor, como no caso do ponto X na Figura 13.

An�alise

31

� Quanto �a correspondenciaTendo a informa�c~ao de luminancia e seguindo o m�etodo proposto, a de-termina�c~ao dos pontos correspondentes �e direta, mais simples e menoscustosa que a procura do ponto mais pr�oximo de Besl e McKay [2] e adetermina�c~ao do ponto correspondente proposta por Chen e Medioni [5],por�em isso esta sujeito �a boa qualidade das imagens de intensidade quedevem ter id�enticas intensidades nos pontos comuns. Um erro nessesentido pode levar �a determina�c~ao errada das correspondencias.

� Quanto �a regi~ao de sobreposi�c~aoO teste de visibilidade de Gagnon e outros [8] �e aprimorado nesta pro-posta. De fato, enquanto os primeiros realizam apenas um teste \front-face"que considera ainda pontos que podem estar \ocultos"por regi~oesda superf��cie com profundidade menor, o teste de Weik os elimina.

A.9 Pulli [13]

Pulli considera que nenhuma estrat�egia de rejei�c~ao de pontos satisfaz e porisso orienta seus esfor�cos para determinar pares potencialmente convenientesde pontos utilizando as duas imagens coloridas correspondentes �as imagens deprofundidade. Primeiro projeta a amostragem da imagem R1 sobre o planoda imagem R2 e vice-versa, registra a informa�c~ao 2D alinhando as carac-ter��sticas de cor das imagens e depois tomaNs pares de pontos 3D de controlea partir das suas posi�c~oes 2D alinhadas na imagem. Com isso os pares de-terminados ter~ao muitas boas chances de serem pares convenientes, mas n~aocerteza. Poder�a haver alguns pares com distancia muito grande entres seuselementos, como no caso de uma borda de descontinuidade de profundidade,onde um pixel sobre a regi~ao de maior profundidade pode (por um ligeiro errode registro 2D) ser alinhado com o pixel na regi~ao de menor profundidade.Para eliminar esses pares inconvenientes opta-se por uma nova estrat�egia derejei�c~ao que n~ao �e precisamente o crit�erio de limiar. Similarmente a Masudae Yokota [10] que prop~oem LMS, Pulli prop~oe uma mudan�ca na fun�c~ao errousando LTS (M��nimos quadrados recortados). Enquanto que LMS minimizaa mediana dos residuais quadrados e pode dar uma resposta correta aindaque quase o 50% dos pares sejam inconvenientes, LTS minimiza a soma dosh residuais quadrados menores e pode dar o resultado correto quando maisdo 50% dos pares s~ao inconvenientes.

TS =hXi=1

(r2)

32

onde (r2)(1:Ns) � : : : � (r2)(Ns:Ns) s~ao os residuais quadrados ordenados.

r = kTpi � P (Tpi)k

Uma vez obtida a transforma�c~ao TLTS usando LTS com Nt tentativas, sub-sele�c~ao randomica e LTS com h = 0:5 � Ns para avaliar o erro das trans-forma�c~oes intermedi�arias (num algoritmo similar a LMS), Pulli re�na aindaesta estimativa TLTS atrav�es da aplica�c~ao de LTS com atualiza�c~oes dinamicasdo valor h. O valor h �e visto como uma raz~ao entre uma estimativa do n�umerode pares convenientes e o numero Ns das amostras do conjunto aleat�orio es-colhido inicialmente. A estimativa do numero de pontos convenientes �e feitausando o seguinte crit�erio: Contabiliza-se os pares de pontos cujo residual �emenor ou igual a 2.5 vezes o desvio padr~ao dos Ns residuais. O algoritmocompleto �e dado a seguir:

1. Inicializa-se com TLTS = T0

2. Fa�ca p = 0:5

3. Calcula-se a fun�c~ao erro com h = p �Ns (fLTS)

4. Enquanto (o erro LTS reduz ou p incrementa) fazer

(a) Casamento

i. Para cada ponto de vista (1 e 2) fazer

A. Projetar a malha da outra vista

B. Registro 2D das imagens coloridas

C. Pegar pontos no mesmo pixel

(b) Minimiza�c~ao

i. LTS

A. Repetir Nt vezes (n�umero de tentativas)

� Escolher SNspares

� Usa-se os pares para computar a transforma�c~ao TICPusando ICP.

� Calcula-se a fun�c~ao erro com h = p �Ns (fICP )

� Se fICP < fLTS ent~ao TLTS = TICP .

ii. Re�namento LTS

A. Aplicar TLTS

B. Calcula residuais r para os Ns pontos

C. Estimar desvio padr~ao � dos Ns residuais

33

D. Rejeitar os pares cujo residual excede 2:5 � � , �cando S�pares.

E. Calcular novo p = S�=Ns

F. Usa-se os Ns pares para calcular a nova transforma�c~aoTLTS

G. Aplicar o novo TLTS

An�alise

Pela sua semelhan�ca com LMS a analise ser�a feita tendo esse m�etodocomo referencia.Quanto ao grau de con�an�ca da transforma�c~ao, vemos que o fato de h serlivre nos permite calcular a transforma�c~ao com mais seguran�ca em fun�c~aodos prov�aveis pares convenientes pertencentes ao conjunto dos Ns pares. Sepor exemplo 80% dos pares s~ao convenientes, para determinar a qualidade daTLTS �e melhor somar o 80% dos residuais quadrados menores que considerarapenas a mediana desses residuais. A pesar que o valor estimado do n�umerode pares inconvenientes depende de um limiar heur��stico, a id�eia �e diferentee representa uma contribui�c~ao.

A determina�c~ao do conjunto de Ns pares de pontos �e feito mais consisten-temente pois s~ao elegidos a partir de um registro 2D das imagens coloridase n~ao randomicamente como Masuda e Yokota [10] prop~oem. De fato os Ns

pares de pontos tem mais chance de ser convenientes, que os apenas escolhi-dos aleatoriamente.

Quanto ao tempo, considerando que os pares de pontos s~ao na sua maioriapares convenientes devido �a escolha e o re�namento, tem-se um algoritmo queconverge mais rapidamente que LMS. Segundo os experimentos de Pulli, LTSconverge em 3 ou 5 iteracoes, enquanto LMS converge em aproximadamente50.

Por�em cabe salientar que a determina�c~ao de pares convenientes dependefortemente das imagens coloridas ter boa qualidade e do registro 2D sercon��avel, e sem essas condi�c~oes pouco ser�a garantido.

A.10 Dorai et.al. [7]

Eles tentam aprimorar o trabalho de Chen e Medioni [5] introduzindo um pr�e-procesamento para eliminar ru��do e um novo esquema de rejei�c~ao de prov�aveispares de pontos inconvenientes baseado no princ��pio de rigidez: Uma trans-forma�c~ao r��gida preserva distancias. Seguindo este princ��pio de�ne-se o con-ceito de compatibilidade entre pontos. Dois pares (pi; qi) e (pj; qj) s~ao com-pat��veis se a distancia kpi�pjk e aproximadamente igual �a distancia kqi�qjk.

34

Na sua implementa�c~ao �e usado o seguinte teste de compatibilidade

�0:1 �kpi � pjk � kqi � qjk

max(kpi � pjk; kqi � qjk)� 0:1

Usando o conceito de compatibilidae, prop~oe-se o seguinte algoritmo quevalida a conveniencia de Ns pares de pontos

1. Para cada i; j 2 f1; 2; :::; Nsg e i 6= j veri�que se os pares de pontos(pi; qi) e (pj; qj) s~ao compat��veis

2. Remova-se o par de pontos correspondentes que n~ao s~ao compat��veiscom a maioria de pares

3. Itere passos (1) e (2) at�e

(a) Todos os pares de pontos sejam compat��veis uns com outros

(b) Acima de um pr�e-de�nido limiar m�aximo (50% de Ns) seja re-movido

(c) O n�umero de pares de pontos restantes seja menor que um pr�e-de�nido limiar

An�alise

� Quanto ao teste de conveniencia proposto pelos autores, devido a estarbaseado no princ��pio de rigidez parece ser o mais consistente do queos at�e o momento mencionados, fornecendo pares mais con��aveis. Noentanto �e exaustivo (veri�ca�c~ao de um par de pontos com todos osoutros pares).

A.11 Rusinkiewicz e Levoy [15]

Eles classi�cam e comparam diversas variantes do algoritmo ICP, se preocu-pando na velocidade de convergencia. Baseados na sua an�alise, constroemum algoritmo ICP altamente veloz combinando algumas das variantes ana-lisadas. Quanto �a sele�c~ao de pontos, eles por economia de tempo prop~oemsele�c~ao rand�omica, por�em n~ao deixam de enfatizar que este tipo de escolhapode levar ao ICP a n~ao convergir no alinhamento correto quando as amostrassigni�cativas s~ao desconsideradas (Figura 12). Para resolver este problemaeles prop~oem escolher os pontos de controle tal que a distribui�c~ao dos vetoresnormais entre as amostras selecionadas seja t~ao espa�cada como poss��vel. AFigura 14 apresenta uma ilustra�c~ao comparativa da escolha randomica e a

35

Figura 9: (a) Escolha randomica (b) Escolha no espa�co dos normais

escolha de pontos com boa distribui�c~ao de vetores normais numa se�c~ao 2Dda imagem da Figura 12.

O fato de escolher os pontos de controle no espa�co do vetores normais fazque o ICP atinja a convergencia na solu�c~ao exata no caso apresentado, ondea sele�c~ao randomica fracassa.

Em rela�c~ao �a determina�c~ao do ponto correspondente, sempre preocupadoscom o custo de tempo optam pelo m�etodo de proje�c~ao usado por Blais eLevine [3] e Neugebauer [11]. Como j�a mencionado o custo de tempo paraprocura do correspondente neste caso �e constante.

Para rejeitar prov�aveis pares inconvenientes eles optam pelo crit�erio dolimiar proposto por Turk e Levoy [22] por ser menos custoso de implementarque as op�c~oes LMS, LTS e o esquema de rejei�c~ao de Dorai e outros [7] baseadono princ��pio de rigidez.

Quanto �a m�etrica usada para avaliar o erro da transforma�c~ao eles esco-lhem a m�etrica ponto-plano por ter demonstrado converger mais rapidamenteque a m�etrica ponto-ponto.

An�alise

� O m�etodo proposto pelos autores �e uma combina�c~ao de algumas dasvariantes j�a apresentadas da t�ecnica ICP com a diferencia na estrat�egiade sele�c~ao.

� Quanto �a sele�c~ao de pontos de controleEmbora a id�eia de sele�c~ao com boa distribui�c~ao de normais repre-sente uma boa contribui�c~ao �a pesquisa sobre aprimoramento da escolha,podemos distinguir a seguinte restri�c~ao: J�a que a informa�c~ao espacialn~ao �e levada em conta, esta estrat�egia de escolha pode deixar de consi-derar caracter��sticas signi�cativas em outras regi~oes da superf��cie, comopodemos observar na Figura 15

� Quanto �a distancia ponto-planoAt�e aqui todas as variantes de ICP que usam minimiza�c~ao ponto-ponto

36

Pode ser ignorado

Figura 10: Escolha de pontos de controle no espa�co de vetores normais

utilizam a distancia euclideana para avaliar o erro da transforma�c~ao,e s�o apenas aquelas que usam a minimiza�c~ao ponto-plano como Chene Medioni [5] e Neugebauer [11] usam a distancia ponto-plano paraesta avalia�c~ao. A proposta dos autores �e uma tentativa de conside-rar n~ao apenas um ponto no espa�co mas uma representa�c~ao continuada superf��cie para calcular a distancia. Desta forma, devido a envolverinforma�c~ao da superf��cie, temos con�rmado com experimentos que con-verge mais rapidamente.

A.12 Chu-Song e outros [4]

Prop~oem um novo m�etodo chamado DARCES (data-aligned rigidity-constraintexhaustive search - Busca exaustiva restrita a rigidez de dados alinhados).Este m�etodo baseia-se no princ��pio de rigidez que a�rma que sob trans-forma�c~oes r��gidas as distancias s~ao preservadas.

A partir de tres pontos de controle em R1 (triplo de controle tc) comdistancias entre os seus v�ertices d1; d2; d3, realiza-se uma busca exaustiva detodos os poss��veis triplos em R2 que possuam a mesma distancia d1; d2; d3entre seus v�ertices. Em outras palavras determina-se um triplo de controlecom o qual �e feita uma varredura completa na amostragem da imagem R2 emtodas as poss��veis dire�c~oes procurando um encaixe (triplo correspondente) omais exato poss��vel.

Neste varredura muito triplos ser~ao encontrados. Para cada cada triploti encontrado, computa-se a tranforma�c~ao que leva o triplo de controle tcem alinhamento com ti. Entre todas essas possibilidades determina-se atransforma�c~ao que menor erro de ajuste reporte. O algoritmo �e o seguinte:

1. Selecione um conjunto de pontos de referencia em R1

2. Selecione entre esse conjunto, tres pontos de controle (triplo de con-trole)

37

3. Determine todos os poss��veis triplos em R2 que satisfa�cam o princ��piode rigidez

4. Para cada triplo ti em R2

5 Encontre a transforma�c~ao Ti de registro entre o triplo de controletc e o triplo ti

6 Transforme os pontos de referencia aplicando Ti

7 Conte o n�umero (nTi) de pontos su�cientemente pr�oximos �a ima-gem R2

8 Escolha T = Ti com maior n�umero de pontos nTi

A procura do triplo correspondente �e feita da seguinte forma: SejamSp; Ss; Sa os pontos do triplo de controle, e Mp;Ms;Ma os pontos correspon-dentes a ser determinados em R2. Devido a que nenhum conhecimento se temda transforma�c~ao, o ponto Mp pode ser qualquer ponto em R2, no entantousando o princ��pio de rigidez uma procura numa �area mais restrita pode serfeita para encontrar Ms e Ma. Assumindo que a distancia entre Sp e Ss �edps, entre Sp e Sa �e dpa e entre Ss e Sa �e dsa, o ponto Ms se encontrar�a nasuperf��cie da esfera Cps centrada em Mp e com raio dps. Da mesma forma, oponto Ma pode ser encontrado na interse�c~ao das superf��cies das esferas Cpa

com centro em Mp e raio dpa e Csa com centro em Ms e raio dsa. Na imple-menta�c~ao os pontos sobre a superf��cie de uma esfera podem ser procuradosno menor quadril�atero que cont�em a regi~ao circular resultante de projetar aesfera sobre o plano da imagem R2.

O algoritmo para a determina�c~ao dos triplos em R2 (passo (3) do algo-ritmo anterior) �e

1. Escolha os tres pontos do triplo de controle (Sp; Ss; Sa)

2. Para (Mp=cada ponto contido em R2)

(a) Para (Ms = cada ponto no quadril�ateroQ correspondente �a proje�c~aoda esfera Cps)

i. Se a distancia entre Mp eMs �e aproximadamente dps

A. Para (Ma = cada ponto na interse�c~ao dos quadril�ateroscorrespondentes �a proje�c~ao das esferas Cpa e Csa)

� Se a distancia entre Mp e Ma �e aproximadamente dpa ea distancia entre Ms e Ma �e aproximadamente dsaDe�ne-se o triplo candidato de pontos Mp;Ms;Ma

38

J�a que a busca �e exaustiva apenas um triplo de controle seria su�ciente paraachar a solu�c~ao, mas para isso acontecer o triplo precisaria estar na regi~aode sobreposi�c~ao. Como esta regi~ao �e desconhecida os autores prop~oem umaescolha aleat�oria dos pontos do triplo esperando que ap�os nt tentativas oalgoritmo determine os pontos do triplo na regi~ao de sobreposi�c~ao. O mesmopode ser dito ao respeito da escolha dos pontos de referencia. Como elesdeterminar~ao a qualidade da transforma�c~ao devem tamb�em fazer parte daregi~ao de sobreposi�c~ao, caso contr�ario n~ao ser~ao uma boa referencia para amedi�c~ao do erro. Tendo em conta isso, prop~oe-se que o algoritmo inicialapresente as seguintes modi�ca�c~oes nos passos 1, 2 e 8.

1. Os pontos de referencia s~ao randomicamente escolhidos

2. Entre eles escolhe-se os tres pontos do triplo de controle

8 Se o n�umero de pontos nTi �e maior que um pr�e-de�nido limiar , ent~aoa sa��da �e T = Ti, caso contr�ario tente outro conjunto de pontos dereferencia (V�a a 1.)

O limiar ser�a uma estimativa da raz~ao de sobreposi�c~ao m��nima permi-tida dos dois conjuntos parcialmente sobrepostos e deve ser pr�e-de�nida pelousu�ario.

An�alise

N~ao havendo nenhum conhecimento pr�evio da transforma�c~ao, os autoresoptam por um m�etodo intuitivo, a constru�c~ao de um espa�co das poss��veistransforma�c~oes do ponto de controle, entre as quais encontra-se a trans-forma�c~ao T . V�arios pontos de esta proposta merecem ser analisados. Antesdisso de�nimos alguma terminologia coerente com a j�a existente. Chamamosde triplo correspondente ideal do triplo de controle tc ao triplo cujos pontoss~ao correspondentes ideais dos pontos de controle do triplo tc. Chama-se detriplo conveniente ao triplo cujos pontos ocupam aproximadamente a mesmalocaliza�c~ao da superf��cie amostrada, que os pontos de tc.

� Quanto �a correspondenciaEm principio se temos que tc pertence �a regiao de sobreposi�c~ao deR1 podemos a�rmar que o triplo ideal de tc pode ser obtido atrav�esda transforma�c~ao T aplicada em tc. No caso de ru��dos ou erros deaquisi�c~ao, a mesma a�rma�c~ao �e valida para um triplo conveniente.Analisando o m�etodo vemos que a busca do triplo correspondente con-veniente �e feita exaustivamente no espa�co de todas as poss��veis trans-forma�c~oes do triplo de controle, portanto pelo dito pelo par�agrafo ante-

39

rior a determina�c~ao de um triplo correspondente conveniente �e perfeita-mente vi�avel. Por�em a principal desvantagem desta procura �e o customuito grande de constru�c~ao de todos os poss��veis correspondentes, ocomputo da transforma�c~ao que alinha o triplo de controle com cadacandidato e a avalia�c~ao de erro de cada transforma�c~ao candidata.

� Quanto �a escolha do triplo de controleFoi dito na an�alise anterior que o resultado mais exato pode ser garan-tido quando o triplo de controle pertencer �a regi~ao de sobreposi�c~ao eru��dos ou erros de aquisi�c~ao da amostragem n~ao distorcem signi�cati-vamente o triplo correspondente ideal. O desconhecimento da regi~aode sobreposi�c~ao pode em principio orientar a propor todas as poss��veiscombina�c~oes de tres pontos como triplos de controle, por�em a preo-cupa�c~ao dos autores de n~ao onerar mais o tempo os levou a proporuma escolha randomica. No entanto nada garante que ap�os um n�umeropequeno de tentativas o triplo seja escolhido na regi~ao de sobreposi�c~ao.No pior dos casos (regi~ao de sobreposi�c~ao muito pequena) todas asposs��veis combina�c~oes ncde tres pontos ser~ao consideradas, e neste casoo grande custo de tempo de processamento faria o algoritmo muitoimpratico. O mesmo pode se dizer em rela�c~ao �a escolha dos pontosde referencia, nada garante que ap�os nt < nc tentativas eles ser~ao es-colhidos na regi~ao de sobreposi�c~ao. Se eles n~ao �zerem parte dela aavalia�c~ao do erro da transforma�c~ao candidata n~ao �e con��avel.

A.13 Gerhard Roth [14]

Ele usa como entrada al�em das imagens de profundidade R1 e R2, as suascorrespondentes imagens de intensidade I1 e I2. A id�eia b�asica �e construirum espa�co de poss��veis transforma�c~oes de onde a transforma�c~ao procuradaT possa ser extra��da. As poss��veis transforma�c~oes s~ao determinadas con-siderando pares de triangulos da triangula�c~ao Delaunay de pontos de intensi-dade relevante nas imagens. Para calcular os pontos de interesse determinam-se primeiro os m�aximos locais do gradiente da intensidade, sendo considera-dos aqueles acima de um determinado limiar s~ao classi�cados como pontos deinteresse, com estes pontos realiza-se uma triangula�c~ao Delaunay dos pontos3D correspondentes aos pontos de interesse em ambas as imagens. Antes departir para a constru�c~ao do espa�co de transforma�c~oes tenta-se aliminar ospares de triangulos (t1i; t2i) onde t1i 2 R1 e t2i 2 R2 que n~ao tem chancesde gerar a transforma�c~ao T , ou seja um proceso de �ltragem baseado noprinc��pio de rigidez �e feito para determinar apenas os poss��veis pares de

40

triangulos convenientes. Para saber a correspondencia entre v�ertices dospares de triangulos, um teste �e feito sobre os v�ertices baseado nos seguintesprinc��pios derivados do princ��pio de rigidez.

� A diferen�ca angular entre os vetores normais de cada par de v�erticesdeve ser invariante sob transforma�c~ao r��gida

� As distancias de um ponto de interesse at�e os outros pontos de interesse(se eles estiverem na regi~ao de sobreposi�c~ao) deve ser aproximadamentea mesma.

Depois de que Ns pares de triangulos forem �ltrados, calcula-se a trans-forma�c~ao que leva um triangulo do par em alinhamento com o outro edetermina-se a transforma�c~ao que alinha o maior n�umero de pontos de inter-esse.

An�aliseEste �e outro m�etodo de busca no espa�co de transforma�c~oes, por�em a dife-rencia da t�ecnica anterior, os triangulos de controle e o seu correpondenteforam determinados usando a informa�c~ao de intensidade. Identi�camos doisproblemas que o m�etodo enfrenta

1. Dependencia forte da determina�c~ao precisa das caracter��sticas rele-vantes de luminancia, as quais devem ser id�enticas em ambas as ima-gens.

2. Falha do registro se nenhuma informa�c~ao de luminancia relevante existena regi~ao de sobreposi�c~ao.

B T�ecnicas de Integra�c~ao

Uma vez que as imagens s~ao alinhadas num �unico sistema de referencia opasso seguinte �e a fus~ao delas fazendo um devido tratamento nas regi~oesredundantes e gerando �nalmente uma �unica representa�c~ao n~ao amb��gua.(Figura 11).

M�etodos para integrar imagens de profundidade podem ser classi�cados emduas abordagens. A primeira �e a abordagem baseada na representa�c~ao malhatriangular, e a segunda �e a abordagem volum�etrica. Estes pela sua vezpodem ser subdivididos em m�etodos dinamicos ou est�aticos, os primeirospermitindo a incorpora�c~ao incremental de uma imagem num modelo con-stitu��do por uma ou v�arias imagens j�a integradas. E os est�aticos que re-querem apriori a informa�c~ao de todas as imagens a serem integradas. Cabe

41

��

��

��

��

��

��

��

��

��

��

R1

R2

Região de sobreposição ou região redundante R1 e R2 integradas

sem ambiguidades

Figura 11: Integra�c~ao de duas imagens

mencionar tamb�em que usualmente trabalha-se com a malha triangular re-presentando a imagem de profundidade, ao inv�es de simplesmente com asamostras no espa�co. No processo de triangula�c~ao, por simplicidade a maio-ria das vezes usa-se a t�ecnica de triangula�c~ao restringida �a descontinuidadeno passo [22, 16, 20, 18, 21, 6] que gera os triangulos aproveitando a estrutura2D da imagem. Malhas adaptativas �a geometria dos dados podem tamb�emser usadas [17].

A abordagem malha triangular �e chamada assim por que o processo completode integra�c~ao �e feito considerando uma representa�c~ao de bordo trianguladodas vistas do objeto amostrado a serem integradas.

Na abordagem volum�etrica o modelo inicial (malha triangular) passa numest�agio intermedi�ario a se tornar um modelo volum�etrico, aonde a cada voxel�e atribu��do um valor que representa a distancia de um raio a saindo doponto de vista da imagem Ri, atravesando o voxel e chegando at�e a malharepresentando Ri. A fun�c~ao distancia de�ne uma fun�c~ao impl��cita e umalgoritmo de poligoniza�c~ao �e usado para obter a malha �nal.

A seguir apresentamos sete t�ecnicas de integra�c~ao, as seis primeiras corre-spondentes �a abordagemmalha triangular e a �ultima �a abordagem volum�etrica.

B.1 Turk e Levoy [22]

Usam uma t�ecnica incremental de eros~ao parcial na qual os triangulos naregi~ao de sobreposi�c~ao s~ao eliminados a partir das bordas das malhas M1

e M2 at�e que elas �quem apenas \ligeiramente" sobrepostas (Figura 12a).Ent~ao os pontos de interse�c~ao entre arestas da malha M1 e a borda de M2

s~ao calculados e inseridos na borda de M2 (Figura 12b). Ap�os isso, as �areasde triangulos redundantes de M1 s~ao eliminadas (Figura 12c) e uma retrian-gula�c~ao considerando os novos v�ertices �e realizada obtendo uma �unica malha(Figura 12d). Posterior processamento �e necess�ario para remover triangulospequenos e �nos.

Depois de todas as malhas forem seq�uencialmente integradas, a posi�c~ao

42

M1 M2

(a) (b) (c) (d)

Figura 12: Integra�c~ao de duas imagens segundo Turk e Levoy

de�nitiva de um v�ertice �e considerada como a m�edia das posi�c~oes em cadaimagem de profundidade em que ele foi amostrado.

A determina�c~ao dos triangulos redundantes �e feita da seguinte maneira:Um triangulo em M1 �e redundante se os seus v�ertices se encontram a umadistancia menor que um limiar d em rela�c~ao a M2. O triangulo redundante�e removido se pelo menos dois dos seus v�ertices tem menor grau de certezaque os seus correspondentes em M2.

B.2 Soucy e Laurendeau [19, 20]

Apresentam um m�etodo est�atico de integra�c~ao que permite a entrada den imagens de profundidade registradas, e consiste em modelar (identi�car,triangular e conectar) conjuntos de informa�c~ao redundante entre vistas (sub-conjunto canonico do diagrama de Venn).

Um subconjunto canonico consiste de um conjunto de elementos que per-tencem exclusivamente a k imagens de profundidade, e a uni~ao dos subcon-juntos canonicos representa o diagrama de Venn (Figura 13). Para obtero conte�udo de todos os subconjuntos canonicos, deve-se determinar a in-forma�c~ao comum entre pares de imagens, atrav�es dos dois seguintes testes:

� Teste de Vizinhan�ca espacial.- Um ponto p em Mi pertence �a regi~aode sobreposi�c~ao se ele est�a su�cientemente pr�oximo �a uma regi~ao espa-cial em Mj de�nida pelos tres vizinhos do ponto p projetado na gradeparam�etrica de Rj.

� Teste de Visibilidade.- p �e vis��vel a partir de Mj se o angulo entre onormal em p e o vetor orienta�c~ao de Mj �e menor que 90

o.

43

V2V1

V3

V1

V1

U

V2 V2

U

V3

V1

U

V2

V1

U

V2 V3

U

V3

V2

Figura 13: Subconjuntos canonicos do Diagrama de Venn de tres imagens

A modelagem ou triangula�c~ao de um subconjunto canonico redundanteCk �e feita em duas etapas:

� Reparametriza�c~ao das k malhas redundantes.- O objetivo �e construiruma representa�c~ao que fusione a contribui�c~ao das k malhas.

Uma grade param�etrica planar G �e de�nida para Ck com um vetorde orienta�c~ao igual a m�edia dos vetores de orienta�c~ao das k imagens.Os triangulos que tem um v�ertice k vezes redundante s~ao projetadossobre G e os valores de profundidade da grade G s~ao ent~ao interpolados(Figura 14). Esses k valores s~ao integrados usando uma m�edia pon-

Grade do subconjunto canónico redundante

Grade da imagem Ri

Triangulação da imagem Ri

Figura 14: Reparametriza�c~ao da um conjunto canonico redundante

derada onde os pesos s~ao estimativas do grau de incerteza do dispositivode adquisi�c~ao.

44

� Triangula�c~ao restringida do subconjunto canonico reparametrizado.

A etapa de costura de modelos parciais consiste em tres passos:

� Imp~oe-se uma dist~ancia param�etrica m��nima entre as triangula�c~oes dossubconjuntos canonicos. Esta distancia tem como objetivo separar astriangula�c~oes para que a costura seja mais e�ciente.

� Triangula-se o espa�co vazio resultante, usando triangula�c~ao Delaunay.

� Elimina-se os triangulos �nos e longo que tem seu angulo interior menorque um certo limiar.

B.3 Pito [12]

Na sua proposta de integra�c~ao de duas malhas M1 e M2, Pito determina ostriangulos redundantes a partir de informa�c~oes de posi�c~ao e orienta�c~ao do es-caneador. Uma vez que os triangulos redundantes s~ao detectados, aquele demaior grau de incerteza �e retirado. O resultado �e um conjunto de malhas de-sconexas que cobrem as �areas amostradas do objeto. Rela�c~oes de vizinhan�cados pontos da borda de cada malha desconexa s~ao usadas para costurar asbrechas entre elas, tomando cuidado de que cada triangulo novo n~ao causeautointerse�c~ao na malha (Figura 15).

Figura 15: Triangulos adicionados n~ao devem causar autointerse�c~ao

O processo de costura pode ser realizado em duas formas

� A brecha �e prenchida come�cando com duas arestas sementes em opostasdire�c~oes, para ent~ao criar dois novos triangulos entre elas (Figura 16ae b). As arestas que unem ambos lados da costura s~ao chamadas dearestas-fronteira. A costura prossegue escolhendo o melhor entre os doistriangulos que podem ser criados a partir da aresta-fronteira e o pontoda sua aresta adjacente, de qualquer dos lados da costura (Figura 16c).O melhor triangulo �e aquele com menor raz~ao de propor�c~ao entre ocomprimento de suas arestas. A aresta fronteira �e atualizada e o pro-cesso repetido.

45

(a) (b) (c)

Figura 16: Costura segundo Pito

� Quando o algoritmo de costura (a) n~ao pode ser usado, adicionam-se pontos vizinhos �as arestas de borda, criando novos triangulos daseguinte maneira:

1. Escolhe-se a malha M1 como modelo inicial M0

2. Inicia com uma aresta pertencente �a borda deM0 (chamada aresta-semente)

3. Obt�em os k pontos mais pr�oximos �a aresta-semente.

4. Determine entre os k pontos, �aquele p0 que enxerga a aresta-semente sob o angulo maior

5. Se o triangulo formado com a inser�c~ao de p0 forma com o trianguloadjacente que compartilha a aresta-semente, um angulo menor que90o, ent~ao rejeita p0 e repita 4.

6. Teste se o triangulo n~ao sobrep~oe o modelo, se assim repita 4.

7. Adicione o triangulo v�alido ao modelo e atualize a sua borda.

8. Escolhe a pr�oxima aresta-semente

9. Repita 3-9 at�e que novos triangulos n~ao possam ser mais acres-centados no modelo.

B.4 Shutz e outros. [18]

Prop~oem uma t�ecnica de integra�c~ao incremental de novas vistas. Na dete�c~aodas redundancias, eles usam os pares de pontos de controle (p; q) onde p 2M1

e q 2 M2 obtidos no processo de registro (um algoritmo ICP) com limiar dpara rejeitar pontos muito afastados. Eliminam-se os pontos correspondentesem M2 aos pontos de controle pertencentes a M1 obtendo uma brecha detamanho aproximado d entre as malhas M1 e M2. O costura sobre a brecha�e feita com um algoritmo similar ao de Pito [12].

46

B.5 Sappa [17]

Prop~oe uma t�ecnica de integra�c~ao que similarmente �a proposta de Soucy eLaurendeau, realiza a proje�c~ao planar da regi~ao redundante para reduzir otratamento dessa regi~ao numa dimens~ao.

O seu trabalho consiste dos seguintes est�agios: Primeiro ele remove asregi~oes de sobreposi�c~ao (Figura 17a) e tomando em considera�c~ao essas regi~oes

Região redundante Bordas de integração Triangulação 2D Costura

(a) (b) (d)(c)

Figura 17: Algoritmo de integra�c~ao incremental segundo Sappa

de�ne as bordas de integra�c~ao (Figura 17b) as quais s~ao projetadas num planode integra�c~ao. Os pontos pertencentes a estas bordas s~ao ent~ao trianguladosno espa�co 2D (Figura 17c) e �nalmente a triangula�c~ao obtida �e levada aoespa�co 3D. As bordas trianguladas ao serem levadas ao espa�co \costuram"as malhas (Figura 17d).

No algoritmo de dete�c~ao de triangulos redundantes Sappa considera queum triangulo t de M2 �e redundante (a) se os seus v�ertices se sobrep~oem comalgum dos seus triangulos vizinhos em M1, e (b) o vetor normal tem umaorienta�c~ao pr�oxima a do vetor normal do triangulo sobreposto em M1.

Uma vez que os triangulos vizinhos a t emM1 s~ao determinados, procede-se a veri�car se os v�ertices de t se sobrep~oem a algum deles.

Um v�ertice de t �e considerado a ser sobreposto com o triangulo T sepertence ao politopo de sobreposi�c~ao superior ou inferior de T . O politoposuperior de sobreposi�c~ao de um triangulo �e a interse�c~ao entre o half-spacepositivo do plano de T e tres planos superiores de sobreposi�c~ao associadoscom as arestas de T . Dada uma aresta E de T , o plano superior de so-breposi�c~ao associado a E �e o plano que cont�em E e �e ortogonal ao planodo triangulo T 0 adjacente a T ao longo de E, se T 0 existir, ou ortogonal aoplano que cont�em T se T 0 n~ao existir ou se os triangulos T e T 0 formam umasuperf��cie c�oncava.

Por outro lado o politopo inferior de sobreposi�c~ao �e o sim�etrico ao politoposuperior em rela�c~ao ao plano que cont�em T .

Na Figura 18 observa-se uma se�c~ao 2D de tres triangulos com o politopo

47

politopo superior de sobreposição

politopo inferior de sobreposição

.a .b

.c.d

Figura 18: Politopos superior e inferior de sobreposi�c~ao

superior e inferior de sobreposi�c~ao do triangulo central. Neste exemplo pode-se ver que os pontos a e b s~ao considerados sobrepostos por estar contidos nopolitopo superior, enquanto c e d n~ao o s~ao.

Antes que os triangulos redundantes emM2 sejam retirados determina-sea borda de integra�c~ao deM1 pelo conjunto orientado de arestas que conectamv�ertices da borda de M1 que s~ao sobrepostos por triangulos em M2. Depoisde remover a informa�c~ao redundante, a borda de integra�c~ao de M2 ser�a de-terminada pelas arestas que ligam os v�ertices que passam a ser da nova bordade M2. Estas bordas de integra�c~ao s~ao ent~ao projetadas sobre o plano dereferencia cujo vetor normal �e a m�edia dos vetores normais associados comoos triangulos de M1 que tem alguma das suas arestas pertencentes �as bordasde integra�c~ao.

O conjunto de pontos que de�ne as bordas de integra�c~ao s~ao trianguladosatrav�es de uma triangula�c~ao Delaunay 2D. Logo, as arestas de borda datriangula�c~ao 2D s~ao removidas, levando �nalmente os triangulos ao espa�co3D.

B.6 Yiyong e outros [21]

Apresentam um m�etodo de integra�c~ao, resultando num trabalho similar aode Pito [12] com diferen�cas no algoritmo de dete�c~ao de ambig�uidades e commais simplicidade no algoritmo de costura.

Na dete�c~ao de sobreposi�c~ao cada triangulo t de M1 �e projetado sobreo plano de referencia PM2 de M2, e se ele �car contido dentro de PM2 eestiver \de frente" a PM2 (teste de visibilidade) veri�ca-se a possibilidade desobreposi�c~ao da seguinte maneira:

� Calcula-se a caixa limitante da sua proje�c~ao em PM2,

� Determina-se os triangulos pertencentes aM2 que est~ao dentro da caixalimitante

48

� Veri�ca-se a interse�c~ao com cada um deles.

H�a dois casos de interse�c~ao entre triangulos como ilustra a Figura 19.

(a) (b)

Figura 19: Casos de interse�c~ao de dois triangulos

Uma vez que todos os triangulos da caixa limitante s~ao veri�cados, procede-se a elimina�c~ao do(s) triangulos de maior incerteza. Para isso calcula-se am�edia do grau de incerteza dos triangulos sobrepostos em M2, se ela formenor que o grau de incerteza de t, elimina-se t, caso contr�ario eliminam-seos triangulos sobrepostos pertencentes a M2.

Para garantir maior precis~ao no processo de dete�c~ao, a sobreposi�c~ao �etamb�em veri�cada projetando os triangulos da caixa limitante no plano dereferencia de t.

Uma vez que os triangulos redundantes de menor con�dencia s~ao reti-rados, um algoritmo de costura preenche a brecha entre as malhas. Paraisso rotula-se triangulos candidatos chamados triangulos ativos cujas arestascombinadas com outros pontos possam originar novos triangulos. Essestriangulos encontram-se sobre as bordas da malha e podem ter uma, duasou ainda tres arestas que devem encontrar um ponto para construir um novotriangulo. Para cada uma destas \arestas ativas", encontram-se os k pontosmais pr�oximos como candidatos. Escolhe-se o ponto que enxerga a aresta sobo maior angulo e veri�ca-se se n~ao interceptar�a os triangulos j�a existentes. Oponto validado ser�a usado para criar o novo triangulo. O processo �e repetidoat�e esgotar as arestas ativas.

B.7 Curless e Levoy [6]

Apresentam um m�etodo de integra�c~ao incremental. Cada imagem de profun-didade �e triangulada e um peso �e atribu��do a cada um dos v�ertices em rela�c~aoao grau de incerteza. Ent~ao uma fun�c~ao distancia com sinal Di+1 de�nidapara cada v�ertice v �e atualizada na integra�c~ao da (i+1)-�esima imagem deprofundidade da seguinte forma:

Di+1(v) =Wi(v)Di(v) + wi+1(v)di+1(v)

Wi(v) + wi+1(v)

49

onde wi+1(v) e di+1(v) s~ao respectivamente o peso e a distancia do ponto v at�ea (i+1)-�esima imagem de profundidade (representada pela malha triangular)e Wi(v) e Di(v) s~ao a fun�c~ao peso e a fun�c~ao distancia acumuladas ap�os aintegra�c~ao da i-�esima imagem. E

Wi+1(v) = Wi(v) + wi+1(v)

|||||||||||{ ||||||||||||{

Wu Shin-Ting Mercedes Gonzales M�arquezOrientadora Bolsista

50

Referencias

[1] M. Berg and et.al. Computational Geometry: Algorithms and Applica-tions. Springer-Verlag, 2 edition, 2000.

[2] P.J. Besl and N.D. McKay. A method for registration of 3-Dshapes. IEEE Transaction on Pattern Analysis and Machine Intelli-gence, 14(2):239{256, 1992.

[3] G. Blais and M.D.Levine. Registering multiview range data to create 3dcomputer objects. IEEE Transactions on Pattern Analysis and MachineIntelligence, 17(8):820{824, 1995.

[4] Chu-Song Chen and et.al. Ransac-based darces:a new approach to fastautomatic registration of partially overlapping range images. Technicalreport, Institute of Information Science, Taiwan, 1998.

[5] Y. Chen and G. Medioni. Object modeling by registration of multiplerange images. Image and Vision Computing, pages 145{155, 1992.

[6] B. Curless and M. Levoy. A volumetric method for building complexmodels from range images. In Computer Graphics Proceedings, pages303{312, New Orleans, Louisiana, August 1996. SIGGRAPH 96.

[7] C. Dorai, G. Wang, A.K. Jain, and C. Mercer. Registration and in-tegration of multiple object views for 3D model construction. IEEETransaction on Pattern Analysis and Machine Intelligence, 20(1):83{89,1998.

[8] H. Gagnon and et.al. Registration of multiple range views for automatic3-d model building. In IEEE Conf. on Vision and Pattern Recognition,pages 581{586, New York, USA, 1994.

[9] B.K.P. Horn. Closed-form solution of absolute orientation using unitquaternios. Jornal of the Optical Society A, 4(4):629{642, 1987.

[10] T. Masuda and N. Yokota. Robust method for registration and segmen-tation of multiple range images. Computer Vision and Image Under-standing, 61(3):295{307, 1995.

[11] Peter Neugebauer. Geometrical cloning of 3d objects via simultaneousregistration of multiple range imagens. In International Conference onShape Modeling and Applications (SMA '97), Aizu-Wakamatsu, JAPAN,1997.

51

[12] R. Pito. Mesh integration based on co-measurements. In Proceedings ofICIP, volume 2, pages 397{400, Laussane, Switzerland, 1996.

[13] K. Pulli. Surface Reconstruction and Display from Range and ColorData. PhD thesis, University of Washington, 1997.

[14] Gerhard Roth. Registering two overlapping range images. In SecondInternational Conference on Recent Advances in 3-D Digital Imagingand Modeling, pages 191{200, Ottawa, 1999.

[15] S. Rusinkiewicz and M. Levoy. EÆcient variants of the ICP algorithm.In Third International Conference on 3D Digital Imaging and Modeling,pages 145{152, 2001.

[16] M. Rutishauser, M. Stricker, and M. Trobina. Merging range imagesof arbitrarily shaped objects. In Proceedings of IEEE Computer SocietyConference on Computer Vision and Patter Recognition, pages 573{580,Seattle, WA, 1994.

[17] A. Sappa. Automatic generator of 3D geometric model from RangeImages. Tese de Doutorado, Universidade de Catalunha, Catalunha,Barcelona, Espanha, 1999.

[18] C. Sch�ultz, T. Jost, and H. H�ugli. Semi automatic 3D object digitizingsystem using range images. In Proceedings Lecture Notes in ComputerScience, Computer Vision - ECCV'98, volume pp. 490-497. Springer-Verlag, 1998.

[19] M. Soucy and D.Laurendeau. Multi-resolution surface modelling frommultiple range images. In IEEE Conference on Computer Vision andPattern Recognition, pages 348{353, 1992.

[20] M. Soucy and D. Laurendeau. General surface approach to the integra-tion of a set of range views. IEEE Transaction on Pattern Analysis andMachine Intelligence, 17(4):334{358, 1995.

[21] Yiyong Sun, C. Dumont, and M. Abidi. Mesh-based integration of rangeand color images. In Proceedings SPIE Aerosense, the InternationalSociety for Optical Enginnering, volume 4051, pages 110{117, 2000.

[22] G. Turk and M. Levoy. Zippered polygon meshes from range images. InComputer Graphics Proceedings, pp. 311-318. Orlando, Florida, Julho1994. Siggraph 94.

52

[23] S. Weik. Registration of 3d partial surface models using luminance anddepth information. In Proceedings of the International Conference onRecent Advances in 3-D Imaging and Modeling, Ottawa - Canada, 1997.

relat - unicamppro jeto de p esquisa 4 3 etapas j a realizadas 5 4 m eto do de fluxo radial 5 4.1 pr...

Documents