pontifícia universidade católica do rio de janeiro fluxo Óptico allan carlos avelino rocha...
TRANSCRIPT
![Page 1: Pontifícia Universidade Católica do Rio de Janeiro Fluxo Óptico Allan Carlos Avelino Rocha Disciplina: Visão Computacional e Realidade Aumentada Professor:](https://reader035.vdocuments.com.br/reader035/viewer/2022070311/552fc104497959413d8bf39c/html5/thumbnails/1.jpg)
Pontifícia Universidade Católicado Rio de Janeiro
Fluxo Óptico
Allan Carlos Avelino Rocha
Disciplina: Visão Computacional e Realidade Aumentada
Professor: Marcelo Gattass
![Page 2: Pontifícia Universidade Católica do Rio de Janeiro Fluxo Óptico Allan Carlos Avelino Rocha Disciplina: Visão Computacional e Realidade Aumentada Professor:](https://reader035.vdocuments.com.br/reader035/viewer/2022070311/552fc104497959413d8bf39c/html5/thumbnails/2.jpg)
Pontifícia Universidade Católicado Rio de Janeiro
Sumário
Introdução Fluxo Óptico Técnicas diferencias Método de Horn-Schunck Resultados Conclusão Trabalhos Futuros Referências
![Page 3: Pontifícia Universidade Católica do Rio de Janeiro Fluxo Óptico Allan Carlos Avelino Rocha Disciplina: Visão Computacional e Realidade Aumentada Professor:](https://reader035.vdocuments.com.br/reader035/viewer/2022070311/552fc104497959413d8bf39c/html5/thumbnails/3.jpg)
Pontifícia Universidade Católicado Rio de Janeiro
Introdução
Problema em Visão Computacional
Análise de movimento
Importância:
Forte sugestão visual para da estrutura e movimento 3D.
Utilização do movimento visual para inferir/tirar propriedadesdo mundo real 3D com um pequeno conhecimento prévio do mesmo.
Inferir propriedades de uma cena 2D que nos ajudea reconstruir a cena original, 3D.
![Page 4: Pontifícia Universidade Católica do Rio de Janeiro Fluxo Óptico Allan Carlos Avelino Rocha Disciplina: Visão Computacional e Realidade Aumentada Professor:](https://reader035.vdocuments.com.br/reader035/viewer/2022070311/552fc104497959413d8bf39c/html5/thumbnails/4.jpg)
Pontifícia Universidade Católicado Rio de Janeiro
Fluxo Óptico
Distribuição da velocidade aparente do movimento dospadrões de intensidade em uma imagem.
Problema: Dada uma sequência de imagens variando no tempo, é possível obter, para cada pixel, um vetor de velocidade?
![Page 5: Pontifícia Universidade Católica do Rio de Janeiro Fluxo Óptico Allan Carlos Avelino Rocha Disciplina: Visão Computacional e Realidade Aumentada Professor:](https://reader035.vdocuments.com.br/reader035/viewer/2022070311/552fc104497959413d8bf39c/html5/thumbnails/5.jpg)
Pontifícia Universidade Católicado Rio de Janeiro
Fluxo Óptico
Utilidade e Aplicações
Informação importante sobre os arranjos dos objetos e ataxa de mudança destes arranjos. Descontinuidade do fluxo pode ajudar em segmentaçãode imagens. Rastreamento de objetos. Navegação de Robôs.
Mas como estimar o fluxo óptico?
![Page 6: Pontifícia Universidade Católica do Rio de Janeiro Fluxo Óptico Allan Carlos Avelino Rocha Disciplina: Visão Computacional e Realidade Aumentada Professor:](https://reader035.vdocuments.com.br/reader035/viewer/2022070311/552fc104497959413d8bf39c/html5/thumbnails/6.jpg)
Pontifícia Universidade Católicado Rio de Janeiro
Técnicas diferenciaisTécnicas de correlação (block matching)Técnicas de freqüência e energia
Fluxo Óptico
Técnicas Utilizadas
Técnicas diferenciais assumem por hipótese que a
intensidade entre uma imagem e outra em um intervalo
pequeno é aproximadamente constante, ou seja
),,(),,( dttdyydxxItyxI
![Page 7: Pontifícia Universidade Católica do Rio de Janeiro Fluxo Óptico Allan Carlos Avelino Rocha Disciplina: Visão Computacional e Realidade Aumentada Professor:](https://reader035.vdocuments.com.br/reader035/viewer/2022070311/552fc104497959413d8bf39c/html5/thumbnails/7.jpg)
Pontifícia Universidade Católicado Rio de Janeiro
Técnicas diferenciais (baseada em gradiente)
),,(),,( dttdyydxxItyxI
Mudanças de brilho modeladas por equações diferenciais parciaisChamadas de equações de restrição.
O campo de vetores obtidos pela solução dessas equações é ofluxo óptico ou fluxo da imagem.
tt
Iy
y
Ix
x
ItyxItyxI
),,(),,(
tt
Iy
y
Ix
x
I
0 0
t
I
t
y
y
I
t
x
x
I
![Page 8: Pontifícia Universidade Católica do Rio de Janeiro Fluxo Óptico Allan Carlos Avelino Rocha Disciplina: Visão Computacional e Realidade Aumentada Professor:](https://reader035.vdocuments.com.br/reader035/viewer/2022070311/552fc104497959413d8bf39c/html5/thumbnails/8.jpg)
Pontifícia Universidade Católicado Rio de Janeiro
Técnicas diferenciais (baseada em gradiente)
Assim temos, 0. tIvI
y
I
x
II
t
y
t
xv ,,,onde,
Somente a equação anterior não é suficiente para determinar
as componentes de velocidade
Técnicas de estimativa : Horn-Shunck, Lucas e Kanade
Abordagem densa X esparsa.
![Page 9: Pontifícia Universidade Católica do Rio de Janeiro Fluxo Óptico Allan Carlos Avelino Rocha Disciplina: Visão Computacional e Realidade Aumentada Professor:](https://reader035.vdocuments.com.br/reader035/viewer/2022070311/552fc104497959413d8bf39c/html5/thumbnails/9.jpg)
Pontifícia Universidade Católicado Rio de Janeiro
Método de Horn-Shunck
Restrição de iluminação constante
Iluminação em (x,y) é descrita por E(x,y,t): 0dt
dE
0
t
E
dt
dy
y
E
dt
dx
x
E
0 tyx EvEuE dt
dyve
dt
dxu
![Page 10: Pontifícia Universidade Católica do Rio de Janeiro Fluxo Óptico Allan Carlos Avelino Rocha Disciplina: Visão Computacional e Realidade Aumentada Professor:](https://reader035.vdocuments.com.br/reader035/viewer/2022070311/552fc104497959413d8bf39c/html5/thumbnails/10.jpg)
Pontifícia Universidade Católicado Rio de Janeiro
Método de Horn-Shunck
Restrição de suavização
Se cada ponto se movesse de forma independente, seria quase impossível recuperar o campo de movimento.
Pontos vizinhos têm velocidades semelhantes e a velocidade varia suavemente na maior parte do campo
Uma maneira de expressar esta restrição é:
2222
y
y
x
ye
y
u
x
u
![Page 11: Pontifícia Universidade Católica do Rio de Janeiro Fluxo Óptico Allan Carlos Avelino Rocha Disciplina: Visão Computacional e Realidade Aumentada Professor:](https://reader035.vdocuments.com.br/reader035/viewer/2022070311/552fc104497959413d8bf39c/html5/thumbnails/11.jpg)
Pontifícia Universidade Católicado Rio de Janeiro
Método de Horn-Shunck
Outra restrição de suavidade é soma dos quadrados de Laplace dos componentes de x e y do fluxo.
Estimativa das derivadas parciais
Calcular a média das quatro primeiras diferenças em duas regiões adjacentes da imagem.
![Page 12: Pontifícia Universidade Católica do Rio de Janeiro Fluxo Óptico Allan Carlos Avelino Rocha Disciplina: Visão Computacional e Realidade Aumentada Professor:](https://reader035.vdocuments.com.br/reader035/viewer/2022070311/552fc104497959413d8bf39c/html5/thumbnails/12.jpg)
Pontifícia Universidade Católicado Rio de Janeiro
Método de Horn-Shunck
Avaliando
Ex, Ey, Et
![Page 13: Pontifícia Universidade Católica do Rio de Janeiro Fluxo Óptico Allan Carlos Avelino Rocha Disciplina: Visão Computacional e Realidade Aumentada Professor:](https://reader035.vdocuments.com.br/reader035/viewer/2022070311/552fc104497959413d8bf39c/html5/thumbnails/13.jpg)
Pontifícia Universidade Católicado Rio de Janeiro
Método de Horn-Shunck
Estimando o Laplaciano do Fluxo de Velocidade:
Onde são médias locais dos vetores de velocidade.
A estimativa é feita pela subtração do valor em um ponto e a media ponderada dos seus vizinhos.
![Page 14: Pontifícia Universidade Católica do Rio de Janeiro Fluxo Óptico Allan Carlos Avelino Rocha Disciplina: Visão Computacional e Realidade Aumentada Professor:](https://reader035.vdocuments.com.br/reader035/viewer/2022070311/552fc104497959413d8bf39c/html5/thumbnails/14.jpg)
Pontifícia Universidade Católicado Rio de Janeiro
Método de Horn-Shunck
Minimização
O problema então é minimizar a soma dos erros nas Equações para a taxa de mudança da iluminação da imagem.
E as medidas das saídas de suavização na velocidade do fluxo.
![Page 15: Pontifícia Universidade Católica do Rio de Janeiro Fluxo Óptico Allan Carlos Avelino Rocha Disciplina: Visão Computacional e Realidade Aumentada Professor:](https://reader035.vdocuments.com.br/reader035/viewer/2022070311/552fc104497959413d8bf39c/html5/thumbnails/15.jpg)
Pontifícia Universidade Católicado Rio de Janeiro
Assim a minimização a ser alcançada achando os valoressatisfatórios para a velocidade do fluxo (u,v). Usando o cálculo de variação temos:
Método de Horn-Shunck
Usando a aproximação de Laplace:
![Page 16: Pontifícia Universidade Católica do Rio de Janeiro Fluxo Óptico Allan Carlos Avelino Rocha Disciplina: Visão Computacional e Realidade Aumentada Professor:](https://reader035.vdocuments.com.br/reader035/viewer/2022070311/552fc104497959413d8bf39c/html5/thumbnails/16.jpg)
Pontifícia Universidade Católicado Rio de Janeiro
Método de Horn-Shunck
Resolvendo para u e para v encontra-se :
Solução interativa: Método de Gauss-Seidel
222
1
yx
tyxx
nn
EE
EvEuEEuu
222
1
yx
tyxy
nn
EE
EvEuEEvv
![Page 17: Pontifícia Universidade Católica do Rio de Janeiro Fluxo Óptico Allan Carlos Avelino Rocha Disciplina: Visão Computacional e Realidade Aumentada Professor:](https://reader035.vdocuments.com.br/reader035/viewer/2022070311/552fc104497959413d8bf39c/html5/thumbnails/17.jpg)
Pontifícia Universidade Católicado Rio de Janeiro
Resultados Horn-Shunck
![Page 18: Pontifícia Universidade Católica do Rio de Janeiro Fluxo Óptico Allan Carlos Avelino Rocha Disciplina: Visão Computacional e Realidade Aumentada Professor:](https://reader035.vdocuments.com.br/reader035/viewer/2022070311/552fc104497959413d8bf39c/html5/thumbnails/18.jpg)
Pontifícia Universidade Católicado Rio de Janeiro
Limitação de Horn e Shunck
![Page 19: Pontifícia Universidade Católica do Rio de Janeiro Fluxo Óptico Allan Carlos Avelino Rocha Disciplina: Visão Computacional e Realidade Aumentada Professor:](https://reader035.vdocuments.com.br/reader035/viewer/2022070311/552fc104497959413d8bf39c/html5/thumbnails/19.jpg)
Pontifícia Universidade Católicado Rio de Janeiro
Conclusão
O estudo do fluxo óptico é de extrema importância na Análise de movimentos, e conseqüentemente em visão computacional.
Foram estudados os métodos de Horn-Shunck, Lucas-Kanade,Lucas-Kanade PK
Trabalhos Futuros
Estudar melhor o embasamento matemático por trás da formulação do problema e das equações de restrição.
Estudar um método proposto na tese do Andrés Brunch(Complementary Optic Flow)
![Page 20: Pontifícia Universidade Católica do Rio de Janeiro Fluxo Óptico Allan Carlos Avelino Rocha Disciplina: Visão Computacional e Realidade Aumentada Professor:](https://reader035.vdocuments.com.br/reader035/viewer/2022070311/552fc104497959413d8bf39c/html5/thumbnails/20.jpg)
Pontifícia Universidade Católicado Rio de Janeiro
Exemplo:
Play
![Page 21: Pontifícia Universidade Católica do Rio de Janeiro Fluxo Óptico Allan Carlos Avelino Rocha Disciplina: Visão Computacional e Realidade Aumentada Professor:](https://reader035.vdocuments.com.br/reader035/viewer/2022070311/552fc104497959413d8bf39c/html5/thumbnails/21.jpg)
Pontifícia Universidade Católicado Rio de Janeiro
![Page 22: Pontifícia Universidade Católica do Rio de Janeiro Fluxo Óptico Allan Carlos Avelino Rocha Disciplina: Visão Computacional e Realidade Aumentada Professor:](https://reader035.vdocuments.com.br/reader035/viewer/2022070311/552fc104497959413d8bf39c/html5/thumbnails/22.jpg)
Pontifícia Universidade Católicado Rio de Janeiro
Referências
A. Faria, Fluxo Óptico, UFMG. Berthold K.P Horn and Brian G. Shunck, DeterminingOptical Flow. David Stavens, Introduction to OpenCV. Richard Szeliski, Computer Vision: Algorithms and Applications. Gary Bradski, Adrian Kaebler, Learning OpenCV. B. Lucas and T. Kanade. An iterative image registration techniquewith an application to stereo vision.