correspondência entre pontos no seguimento de movimento em imagens raquel ramos pinho, joão manuel...
TRANSCRIPT
![Page 1: Correspondência entre Pontos no Seguimento de Movimento em Imagens Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel Velhote Correia Laboratório de](https://reader035.vdocuments.com.br/reader035/viewer/2022062512/552fc131497959413d8d5815/html5/thumbnails/1.jpg)
Correspondência entre Pontosno Seguimento de Movimento em Imagens
Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel Velhote Correia
Laboratório de Óptica e Mecânica Experimental
Correspondência
![Page 2: Correspondência entre Pontos no Seguimento de Movimento em Imagens Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel Velhote Correia Laboratório de](https://reader035.vdocuments.com.br/reader035/viewer/2022062512/552fc131497959413d8d5815/html5/thumbnails/2.jpg)
Correspondência entre Pontos no Seguimento de Movimento em Imagens
ConclusõesResultadosOptimizaçãoMét. EstocásticosIntrodução
Raquel R. Pinho, João Manuel R. S. Tavares, Miguel V. Correia 2
Índice
• Introdução;• Métodos Estocásticos:
– Filtro de Kalman;– Alternativas ao Filtro de Kalman;
• Optimização das Correspondências na Medição:– Algoritmo Simplex;– Distância de Mahalanobis;
• Resultados Experimentais;• Conclusões e Perspectivas de Trabalho Futuro.
Introdução
![Page 3: Correspondência entre Pontos no Seguimento de Movimento em Imagens Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel Velhote Correia Laboratório de](https://reader035.vdocuments.com.br/reader035/viewer/2022062512/552fc131497959413d8d5815/html5/thumbnails/3.jpg)
Correspondência entre Pontos no Seguimento de Movimento em Imagens
ConclusõesResultadosOptimizaçãoMét. EstocásticosIntrodução
Raquel R. Pinho, João Manuel R. S. Tavares, Miguel V. Correia 3
Introdução• É usual a análise de movimento ser dividida em:
– Detecção;– Seguimento;– Reconhecimento.
• O seguimento, geralmente, envolve o emparelhamento de características/entidades como pixels, pontos, áreas... • Aplicações práticas do seguimento:
– análise do tráfego automóvel;– previsão das condições atmosféricas através do movimento das
nuvens;– estudo do movimento dos lábios para permitir a sua leitura;– análise das deformações de objectos devido a forças; etc.
Introdução
![Page 4: Correspondência entre Pontos no Seguimento de Movimento em Imagens Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel Velhote Correia Laboratório de](https://reader035.vdocuments.com.br/reader035/viewer/2022062512/552fc131497959413d8d5815/html5/thumbnails/4.jpg)
Correspondência entre Pontos no Seguimento de Movimento em Imagens
ConclusõesResultadosOptimizaçãoMét. EstocásticosIntrodução
Raquel R. Pinho, João Manuel R. S. Tavares, Miguel V. Correia 4
Introdução• Dificuldades comuns:
– Complexidade dos objectos seguidos e das cenas:• Múltiplos objectos;• Variação topológica (divisão/fusão das entidades seguidas);• Aparecimento/Desaparecimento dos objectos seguidos;• Fundos complexos;• Variações de iluminação; etc.
– A inexistência de modelos computacionais perfeitos:• Construídos considerando aproximações;• Existência de perturbações incontroláveis não modeláveis
deterministicamente.
Utilização de Métodos Estocásticos
Introdução
![Page 5: Correspondência entre Pontos no Seguimento de Movimento em Imagens Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel Velhote Correia Laboratório de](https://reader035.vdocuments.com.br/reader035/viewer/2022062512/552fc131497959413d8d5815/html5/thumbnails/5.jpg)
Correspondência entre Pontos no Seguimento de Movimento em Imagens
ConclusõesResultadosOptimizaçãoMét. EstocásticosIntrodução
Raquel R. Pinho, João Manuel R. S. Tavares, Miguel V. Correia 5
Métodos Estocásticos
• Adequados para dados multivariados;• Geralmente, obtêm melhores resultados dos que as metodologias baseadas em séries temporais;• Definidos por espaços de estados.
• Neste trabalho:– Entidades: pontos;– Método Estocástico: Filtro de Kalman;– Vectores de Estados:
• Posição;• Velocidade;• Aceleração.
Mét. Estocásticos
![Page 6: Correspondência entre Pontos no Seguimento de Movimento em Imagens Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel Velhote Correia Laboratório de](https://reader035.vdocuments.com.br/reader035/viewer/2022062512/552fc131497959413d8d5815/html5/thumbnails/6.jpg)
Correspondência entre Pontos no Seguimento de Movimento em Imagens
ConclusõesResultadosOptimizaçãoMét. EstocásticosIntrodução
Raquel R. Pinho, João Manuel R. S. Tavares, Miguel V. Correia 6
Métodos Estocásticos • Seguimento, consiste no cálculo recursivo de grau de certeza associado a cada estado em determinado instante, tendo em consideração os dados obtidos até esse momento. Para tal utiliza:
– modelo do sistema;– modelo de medição.
• São consideradas três fases:– Previsão - utiliza o sistema do modelo para prever a função de
densidade de probabilidade do estado no instante seguinte;– Medição - fortemente dependente da aplicação;– Correcção - utiliza a medição de forma a modificar a função
densidade de probabilidade prevista.
Mét. Estocásticos
![Page 7: Correspondência entre Pontos no Seguimento de Movimento em Imagens Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel Velhote Correia Laboratório de](https://reader035.vdocuments.com.br/reader035/viewer/2022062512/552fc131497959413d8d5815/html5/thumbnails/7.jpg)
Correspondência entre Pontos no Seguimento de Movimento em Imagens
ConclusõesResultadosOptimizaçãoMét. EstocásticosIntrodução
Raquel R. Pinho, João Manuel R. S. Tavares, Miguel V. Correia 7
Filtro de Kalman
• Permite a estimativa do estado de um sistema de forma óptima caso:
– a transição entre estados seja linear;– a função de probabilidade seja normal.
Mét. Estocásticos
![Page 8: Correspondência entre Pontos no Seguimento de Movimento em Imagens Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel Velhote Correia Laboratório de](https://reader035.vdocuments.com.br/reader035/viewer/2022062512/552fc131497959413d8d5815/html5/thumbnails/8.jpg)
Correspondência entre Pontos no Seguimento de Movimento em Imagens
ConclusõesResultadosOptimizaçãoMét. EstocásticosIntrodução
Raquel R. Pinho, João Manuel R. S. Tavares, Miguel V. Correia 8
Alternativas ao filtro de Kalman (exemplos)• Filtro de Kalman Estendido:
– Permite o seguimento de movimento não linear;– Aplicação complexa.
• Filtro de Condensação: – Utiliza a amostragem factorizada com um modelo estocástico de
movimento dos objectos;– Propaga as amostras com pesos associados para formar o
instante seguinte;– Requer a utilização de um número relativamente elevado de
amostras (porque não é paramétrico);– Possibilidade de degeneração das partículas.
Mét. Estocásticos
![Page 9: Correspondência entre Pontos no Seguimento de Movimento em Imagens Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel Velhote Correia Laboratório de](https://reader035.vdocuments.com.br/reader035/viewer/2022062512/552fc131497959413d8d5815/html5/thumbnails/9.jpg)
Correspondência entre Pontos no Seguimento de Movimento em Imagens
ConclusõesResultadosOptimizaçãoMét. EstocásticosIntrodução
Raquel R. Pinho, João Manuel R. S. Tavares, Miguel V. Correia 9
Optimização das Correspondências• A fase de correcção requer o estabelecimento de correspondências (matching) entre as entidades estimadas e as reais (medidas).• No filtro de Kalman para a posição 2D, a área de pesquisa para o estabelecimento de correspondências é uma elipse:
– Dificuldades:• Nenhuma ou múltiplas entidades no interior da elipse;• Usando um emparelhamento local, não há garantia de que
se tenha obtido em termos globais o melhor emparelhamento para o conjunto de entidades seguidas.
Optimização
Técnica de Optimização Global + Distância de Mahalanobis
![Page 10: Correspondência entre Pontos no Seguimento de Movimento em Imagens Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel Velhote Correia Laboratório de](https://reader035.vdocuments.com.br/reader035/viewer/2022062512/552fc131497959413d8d5815/html5/thumbnails/10.jpg)
Correspondência entre Pontos no Seguimento de Movimento em Imagens
ConclusõesResultadosOptimizaçãoMét. EstocásticosIntrodução
Raquel R. Pinho, João Manuel R. S. Tavares, Miguel V. Correia 10
Optimização das Correspondências• Com a consideração da optimização global pretende-se assegurar a obtenção do melhor conjunto de correspondências para todas as entidades seguidas;• O custo de cada emparelhamento é calculado usando a distância de Mahalanobis;• A distância de Mahalanobis é uma distância euclidiana ponderada pela covariância;• O método Simplex é utilizado para minimizar o custo global do emparelhamento.
Optimização
![Page 11: Correspondência entre Pontos no Seguimento de Movimento em Imagens Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel Velhote Correia Laboratório de](https://reader035.vdocuments.com.br/reader035/viewer/2022062512/552fc131497959413d8d5815/html5/thumbnails/11.jpg)
Correspondência entre Pontos no Seguimento de Movimento em Imagens
ConclusõesResultadosOptimizaçãoMét. EstocásticosIntrodução
Raquel R. Pinho, João Manuel R. S. Tavares, Miguel V. Correia 11
Resultados Experimentais• Exemplos sintéticos:
– Translação horizontal de 3 “blobs”:
Legenda:
Resultados
Previsões Área de Incerteza Medições Correspondências Resultados
![Page 12: Correspondência entre Pontos no Seguimento de Movimento em Imagens Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel Velhote Correia Laboratório de](https://reader035.vdocuments.com.br/reader035/viewer/2022062512/552fc131497959413d8d5815/html5/thumbnails/12.jpg)
Correspondência entre Pontos no Seguimento de Movimento em Imagens
ConclusõesResultadosOptimizaçãoMét. EstocásticosIntrodução
Raquel R. Pinho, João Manuel R. S. Tavares, Miguel V. Correia 12
• Translação horizontal de 2 “blobs” (A e B) e rotação de 8º (C e D):
Resultados Experimentais Sintéticos (Cont.)
Previsões Área de Incerteza Medições Correspondências Resultados
A
B
C
D
Resultados
![Page 13: Correspondência entre Pontos no Seguimento de Movimento em Imagens Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel Velhote Correia Laboratório de](https://reader035.vdocuments.com.br/reader035/viewer/2022062512/552fc131497959413d8d5815/html5/thumbnails/13.jpg)
Correspondência entre Pontos no Seguimento de Movimento em Imagens
ConclusõesResultadosOptimizaçãoMét. EstocásticosIntrodução
Raquel R. Pinho, João Manuel R. S. Tavares, Miguel V. Correia 13
• Continuação ...Pontos C e D invertem sentido de rotação:
Resultados Experimentais Sintéticos (Cont.)
Previsões Área de Incerteza Medições Correspondências Resultados
A
B
C
D
Resultados
![Page 14: Correspondência entre Pontos no Seguimento de Movimento em Imagens Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel Velhote Correia Laboratório de](https://reader035.vdocuments.com.br/reader035/viewer/2022062512/552fc131497959413d8d5815/html5/thumbnails/14.jpg)
Correspondência entre Pontos no Seguimento de Movimento em Imagens
ConclusõesResultadosOptimizaçãoMét. EstocásticosIntrodução
Raquel R. Pinho, João Manuel R. S. Tavares, Miguel V. Correia 14
• Sobreposição de pontos (Oclusão):
Resultados Experimentais Sintéticos (Cont.)
Previsões Área de Incerteza Medições Correspondências Resultados
E
F
Resultados
![Page 15: Correspondência entre Pontos no Seguimento de Movimento em Imagens Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel Velhote Correia Laboratório de](https://reader035.vdocuments.com.br/reader035/viewer/2022062512/552fc131497959413d8d5815/html5/thumbnails/15.jpg)
Correspondência entre Pontos no Seguimento de Movimento em Imagens
ConclusõesResultadosOptimizaçãoMét. EstocásticosIntrodução
Raquel R. Pinho, João Manuel R. S. Tavares, Miguel V. Correia 15
- Análise da Marcha I:
Resultados Experimentais Reais
Previsões Área de Incerteza Medições Correspondências Resultados
Resultados
![Page 16: Correspondência entre Pontos no Seguimento de Movimento em Imagens Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel Velhote Correia Laboratório de](https://reader035.vdocuments.com.br/reader035/viewer/2022062512/552fc131497959413d8d5815/html5/thumbnails/16.jpg)
Correspondência entre Pontos no Seguimento de Movimento em Imagens
ConclusõesResultadosOptimizaçãoMét. EstocásticosIntrodução
Raquel R. Pinho, João Manuel R. S. Tavares, Miguel V. Correia 16
- Análise da Marcha II:
Resultados Experimentais Reais (Cont.)
Resultados
Previsões Área de Incerteza Medições Correspondências Resultados
It.
Erro Médio (Previsão/Medição) (pixels)
1 2.26
2 1.41
3 1.23
4 0.75
5 0.55
6 0.93
![Page 17: Correspondência entre Pontos no Seguimento de Movimento em Imagens Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel Velhote Correia Laboratório de](https://reader035.vdocuments.com.br/reader035/viewer/2022062512/552fc131497959413d8d5815/html5/thumbnails/17.jpg)
Correspondência entre Pontos no Seguimento de Movimento em Imagens
ConclusõesResultadosOptimizaçãoMét. EstocásticosIntrodução
Raquel R. Pinho, João Manuel R. S. Tavares, Miguel V. Correia 17
Conclusões e Trabalho Futuro
• Na metodologia proposta para o seguimento de objectos, é utilizado:– filtro de Kalman;– um método de optimização global;– Distância de Mahalanobis.
• Usando a optimização global no emparelhamento obtêm-se as melhores correspondências para o conjunto de entidades seguidas.
• Abordagem apresentada revelou-se robusta (mesmo em casos de oclusão e com movimento “não-linear”).
Conclusões
![Page 18: Correspondência entre Pontos no Seguimento de Movimento em Imagens Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel Velhote Correia Laboratório de](https://reader035.vdocuments.com.br/reader035/viewer/2022062512/552fc131497959413d8d5815/html5/thumbnails/18.jpg)
Correspondência entre Pontos no Seguimento de Movimento em Imagens
ConclusõesResultadosOptimizaçãoMét. EstocásticosIntrodução
Raquel R. Pinho, João Manuel R. S. Tavares, Miguel V. Correia 18
Conclusões e Trabalho Futuro
• Este trabalho será considerado no desenvolvimento de uma aplicação de análise de movimento para o diagnóstico clínico da marcha e a análise do movimento em actividades desportivas.
• No futuro será interessante comparar os resultados obtidos pela metodologia proposta com os obtidos por métodos estocásticos adequados para movimento não-linear.
Conclusões
![Page 19: Correspondência entre Pontos no Seguimento de Movimento em Imagens Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel Velhote Correia Laboratório de](https://reader035.vdocuments.com.br/reader035/viewer/2022062512/552fc131497959413d8d5815/html5/thumbnails/19.jpg)
Correspondência entre Pontos no Seguimento de Movimento em Imagens
ConclusõesResultadosOptimizaçãoMét. EstocásticosIntrodução
Raquel R. Pinho, João Manuel R. S. Tavares, Miguel V. Correia 19
Agradecimentos• O primeiro autor, agradece a Bolsa de Doutoramento
concedida pela FCT - Fundação para a Ciência e a Tecnologia, no âmbito do projecto POSI, sob a referência SFRH/BD/12834/2003.
• Este trabalho foi parcialmente realizado no âmbito do projecto “Segmentação, Seguimento e Análise de Movimento de Objectos Deformáveis (2D/3D) usando Princípios Físicos”, financiado pela FCT com a referência POSC/EEA-SRI/55386/2004.
União Europeia FEDER
Governo da República Portuguesa