Sincronização de seqüências de vídeo baseada em correspondência de pontos de interesse

Autor: André Lima Gaspar Ruas

Professor: Mário Fernando de Montenegro Campos.

Porque Sincronizar

Reconstrução estéreo requer imagens obtidas no mesmo instante de tempo.

Sincronização por hardware muitas vezes não é possível.

Sincronizar manualmente gasta tempo.

Definição do problema

Dado duas seqüências S1 = [ f11,f1

2, ..., f1n ]

, S2 = [ f21,f2

2, ..., f2m ].

Encontrar uma relação (f1i ) = (f2

j).

Definição do problema

Suposição: as duas seqüências tem taxas de quadros constante.

(f1i ) = (f1

0 ) + i . T1 , (f2j ) = (f2

0 ) + j . T2.

Sincronização

Suposição: a projeção dos pontos pode ser aproximada por uma projeção afim.

[uci vc

i]T = Pc [Xi Yi Zi] T.

Pc matriz de projeção afim 2 × 3

Sincronização

Sob Condições ideais W possui posto 3. Ruídos nas correspondências fazem com que W

possua posto 4. O último valor singular depende apenas do ruído.

Sincronização

Menor valor singular = 144.57

Sincronização

Menor valor singular = 353.27

SURF

Semelhante ao corners[Harris]. Retorna alem do ponto um descritor

para cada ponto. Descritor Invariante a escala e a

rotação. Retorna também a informação do sinal

do laplaciano.

Correspondência

Simplesmente descritor mais próximo funciona bem.

Pode levar em consideração outros fatores como a localização dos pontos.

Correspondência baseada em SURF

Como foi feito

Seqüência referencia Sref e alvo Stg

Matriz de Medição W(F,f)

Como foi feito

Para cada F em Sref encontrar f em Stg que minimiza o quarto valor singular.

regressão para F = f + Regressão feita iterativamente para

cada F Busca o melhor f em uma janela em torno do valor esperado.

Resultados

Gráfico para uma janela de busca de f de largura 91 com uma janela de comparação de largura 7

Resultados

Regressão F = f +

Considerações Finais

O algoritmo é robusto a ruído e false matchings

Pode encontrar mínimos locais quando a cena possuir movimentos periódicos.

Perguntas