análise computacional do movimento de objectos em...

Análise Computacional do Movimento de Objectos em Sequências de Imagem: Métodos e Aplicaçõesem Sequências de Imagem: Métodos e Aplicações

João Manuel R. S. Tavares, Fernando J. S. Carvalho, Francisco P. M. Oliveira, Maria J. M. Vasconcelos, Patrícia C. T. Gonçalves, Raquel R. Pinho

[email protected] www.fe.up.pt/~tavares@ p p p p

DSM 2007 - Conferência Nacional deDinâmica de Sistemas Multicorpo6 7 Dezembro 2007 Universidade do Minho6-7 Dezembro 2007, Universidade do Minho

Conteúdo

• Apresentação• Visão Computacionalp

– Operações e Aplicações• Segmentação de Objectos em Imagens

– Métodos (protótipos deformáveis, modelos estatísticos, modelos deformáveis) e Aplicações

• Seguimento de Objectos em Sequências de Imagem• Seguimento de Objectos em Sequências de Imagem– Métodos (estocásticos) e Aplicações

• Emparelhamento de Objectos e Morphing entre ObjectosEmparelhamento de Objectos e Morphing entre Objectos– Métodos (geométricos, físicos, técnicas de optimização) e

AplicaçõesE t P bli õ• Eventos e Publicações

• EquipaC l õ P ti F t• Conclusões e Perspectivas Futuras

João Tavares et al. 2Análise Computacional do Movimento de Objectos em Sequências de Imagem: Métodos e Aplicações

Apresentação

Apresentação

• Prof. Auxiliar no Dep. de Engenharia Mecânica e Gestão Industrial (DEMEGI) da Faculdade de Engenharia da Universidade do Porto (FEUP)

• Investigador Sénior e Coordenador de Projecto no Lab. de ÓÓptica e Mecânica Experimental (LOME) do Instituto de Engenharia Mecânica e Gestão Industrial (INEGI)D t d M t E El t té i d C t d• Doutorado e Mestre em Eng. Electrotécnica e de Computadores (FEUP) (com Tese e Dissertação na área da Visão Computacional)

• Licenciado em Eng Mecânica (FEUP)• Licenciado em Eng. Mecânica (FEUP)• Áreas de Investigação: Visão Computacional (segmentação,

seguimento e reconstrução 3D de objectos) Interfacesseguimento e reconstrução 3D de objectos), Interfaces Homem/Máquina (visualização de dados e percepção humana), Desenvolvimento de Produto (sistemas protótipos biomédicos)


Visão Computacional


• O sistema sensorial da visão tem elevada importância para os seres vivospara os seres vivos– Podendo disponibilizar informações de índole mais básica, como

a existência ou não de obstáculos, ou de cariz mais complexo, como a análise do movimento de objectos

– Operações comuns envolvendo a visão são: a identificação de bj t ( t ã ) i t d i t ( dobjectos (segmentação), o seguimento do movimento (ou da

deformação) de objectos (seguimento e análise), a correspondência e o alinhamento de objectos (emparelhamentocorrespondência e o alinhamento de objectos (emparelhamento e alinhamento), a obtenção da forma 3D de objectos visualizados (reconstrução 3D)



• Os investigadores da área da Visão Computacional tentam desenvolver métodos e técnicas computacionaistentam desenvolver métodos e técnicas computacionais para realizar de forma automática, ou semi-automática, operações e tarefas desenvolvidas pelos (complexos) p ç p ( p )sistemas de visão dos seres vivos

Imagensoriginais

Modelo 3D obtidovoxelizado

Modelo 3D obtido poligonizado

A d t l 2007 3D V l t i R t ti d Ch t i ti f Obj t f

João Tavares et al. 7Análise Computacional do Movimento de Objectos em Sequências de Imagem: Métodos e Aplicações 7

Azevedo et al. 2007, 3D Volumetric Reconstruction and Characterization of Objects from Uncalibrated Images, VIIP 2007, Palma de Mallorca, Spain


• Exemplos de tarefas mais comuns usando metodologias e técnicas de Visão Computacional são: remoção dee técnicas de Visão Computacional são: remoção de ruído, correcção geométrica, compressão, segmentação (2D/3D), seguimento e análise de movimento (2D/3D), ( ), g ( ),emparelhamento e alinhamento (2D/3D), reconstrução da forma 3D, etc. ,

• Domínios em que são comuns metodologias e técnicas de Visão Computacional: Medicina, Industria,de Visão Computacional: Medicina, Industria, Engenharia, Biomecânica, Realidade Virtual, etc.



• Análise Computacional do Movimento de Objectos em Sequencias de ImagemSequencias de Imagem– Uma das tarefas mais usuais do domínio da Visão Computacional– Esta tarefa de alto nível, geralmente, envolve subtarefas deEsta tarefa de alto nível, geralmente, envolve subtarefas de

identificação dos objectos em cada imagem da sequência (segmentação), seguimento do movimento ao longo do tempo ( i t ) lh t d bj t t i(seguimento), emparelhamento de objectos entre imagens (emparelhamento), gestão das entidades seguidas ao longo do tempo (gestão), estimativa da deformação existente entretempo (gestão), estimativa da deformação existente entre objectos em imagens (morphing)



• Análise Computacional do Movimento de Objectos em Sequencias de ImagemSequencias de Imagem– Existem vários problemas complexos associados: elevado

número de objectos, objectos com movimento não linear, aparecimento ou oclusão (parcial ou total) de objectos, divisão ou fusão de objectos, distorções geométricas, ruído, alteração das condições de aquisição etcdas condições de aquisição, etc.

– Sistemas de análise computacional do movimento de objectos em sequências de imagem são usuais em: sistemas de análiseem sequências de imagem são usuais em: sistemas de análise do movimento biomecânico, controlo de tráfego, análise de deformações, vigilância, análise comportamental, reconstrução 3D d f d bj t t3D da forma de objectos, etc.


Segmentação de ObjectosIem Imagens

Segmentação de Objectos em Imagens

• Pretende-se identificar de forma automática, ou semi-automática, os objectos presentes numa dada imagemautomática, os objectos presentes numa dada imagem

• As metodologias mais comuns são baseadas em emparelhamento de protótipos modelações estatísticasemparelhamento de protótipos, modelações estatísticas, protótipos deformáveis e modelos deformáveis

• É uma das operações mais usuais em Visão• É uma das operações mais usuais em Visão Computacional, sendo muitas vezes a primeira “grande” tarefa considerada como por exemplo notarefa considerada, como, por exemplo, no reconhecimento de objectos em imagens

• Pode ser executada em 2D mas também em 3D• Pode ser executada em 2D mas também em 3D



• Exemplo: segmentação dos contornos em imagens de pedobarografia dinâmicapedobarografia dinâmica

Imagens originais Após segmentaçãoImagens originais Após segmentação

Tavares & Bastos 2005, Improvement of Modal Matching Image Objects in Dynamic P d b h i O ti i ti T h i El t i L tt C t Vi i d

João Tavares et al. Análise Computacional do Movimento de Objectos em Sequências de Imagem: Métodos e Aplicações 13

Pedobarography using Optimization Techniques, Electronic Letters on Computer Vision and Image Analysis, Vol. 5, No. 3


• Exemplo: utilização de (imagem) protótipo para segmentar característicassegmentar características

Protótipo (imagem do olho)Protótipo (imagem do olho)

Carvalho & Tavares 2005 Metodologias para identificação de faces em imagens:

Objecto determinado


Carvalho & Tavares 2005, Metodologias para identificação de faces em imagens: Introdução e exemplos de resultados, CMNI 2005, Granada, España


• Exemplo: detecção de tumor em imagens de mamografia usando detector de formas circularesmamografia usando detector de formas circulares

Chagas et al 2007 An Application of Hough Transform to Identify Breast Cancer inImagem original Segmentação obtida


Chagas et al. 2007, An Application of Hough Transform to Identify Breast Cancer in Images, VIPimage 2007, Porto, Portugal


• Exemplo: identificação de faces em imagens usando modelos estatísticos construídos para a pelemodelos estatísticos construídos para a pele

Amostras usadas para construir o modelos estatístico

(zonas de pele)

Objectodeterminado (face)

Carvalho & Tavares 2005 Metodologias para identificação de faces em imagens:


Carvalho & Tavares 2005, Metodologias para identificação de faces em imagens: Introdução e exemplos de resultados, CMNI 2005, Granada, España


• Exemplo: segmentação de objectos em imagens usando modelos pontuais de distribuição (1/4)modelos pontuais de distribuição (1/4)

Identificação e amostragem (pontual) automática dos objectos a modelar

Vasconcelos & Tavares 2005 Automatic Modelling Image Represented Objects


Vasconcelos & Tavares 2005, Automatic Modelling Image Represented Objects using a Statistic based Approach, EUROSIS 2005, Porto, Portugal



Imagens de treino usadas na construção dos modelos

Vasconcelos & Tavares 2005, Automatic Modelling Image Represented Objects


& , g g p jusing a Statistic based Approach, EUROSIS 2005, Porto, Portugal



Etapas da segmentação numa nova imagem (usando modelo geométrico)


Vasconcelos & Tavares 2005, Introdução aos modelos pontuais de distribuição e sua utilização na segmentação e reconhecimento de objectos em imagens, CMNI 2005, Granada, España



Etapas da segmentação numa nova imagem(usando modelo geométrico + aparência)

Vasconcelos & Tavares 2006 Methodologies to Build Automatic Point Distribution


Vasconcelos & Tavares 2006, Methodologies to Build Automatic Point Distribution Models for Faces Represented in Images, CompIMAGE 2006, Coimbra, Portugal


• Exemplo: utilização de protótipo deformável para segmentar característicassegmentar características

Imagem original e de camposde forças considerados

Determinação iterativa do objecto (íris)usando um protótipo deformável (círculo)

Carvalho & Tavares 2006, Two Methodologies for Iris Detection and Location in Face


& , gImages, CompIMAGE 2006, Coimbra, Portugal


• Exemplo: utilização de protótipo deformável para segmentar característicassegmentar características

Imagem original e de camposde forças considerados

Protótipo deformável usado para o olho

Carvalho & Tavares 2007, Eye detection using a deformable

Determinação iterativa doobjecto (olho) usando um

protótipo deformável


& , y gtemplate in static images, VipIMAGE 2007, Porto, Portugal

protótipo deformável (círculo e 2 parábolas)


• Exemplo: segmentação de estruturas usando modelos deformáveis (contornos activos - snakes)deformáveis (contornos activos snakes)

Imagem original econtorno inicial

Contorno finalobtido

Tavares et al 2002 Apresentação de um Banco de Desenvolvimento e Ensaio para


Tavares et al. 2002, Apresentação de um Banco de Desenvolvimento e Ensaio para Objectos Deformáveis, RESI – Revista Electrónica de Sistemas de Informação, Vol. 1, No. 1


• Exemplo: segmentação de estruturas usando modelos deformáveis segundo princípios físicosdeformáveis segundo princípios físicos

Imagem original econtorno inicial

Contorno finalobtido

Gonçalves et al. 2007, Segmentation of objects in images using physical

i i l Vi IMAGE 2007 P t


principles, VipIMAGE 2007, Porto, Portugal


• Exemplo: segmentação de estruturas usando modelos deformáveis segundo princípios físicosdeformáveis segundo princípios físicos

Contorno inicial Contorno final obtido

G l t l 2007 S t ti f bj t i i i h i l i i l


Gonçalves et al. 2007, Segmentation of objects in images using physical principles, VipIMAGE 2007, Porto, Portugal


• Exemplo: segmentação de objectos em imagens médicas usando level-setsmédicas usando level sets

Imagem original Segmentação inicial Segmentação final obtida

P di ã t l 2005 G ã d d l d lh d l t fi it ti d


Perdigão et al. 2005, Geração de modelos de malhas de elementos finitos a partir de imagens médicas 2D, Encontro_1_Biomecânica, Abrantes, Portugal

Seguimento de Objectos em S ê i d ISequências de Imagem

Seguimento de Objectos em Sequências de Imagem

• Pretende-se seguir o movimento (e/ou a deformação) de objectos ao longo do tempoobjectos ao longo do tempo

• Nesta área, destacam-se as metodologias baseadas em emparelhamento de blocos e em métodos estocásticosemparelhamento de blocos e em métodos estocásticos

• Usualmente, envolve a estimativa do movimentoenvolvido a gestão das entidades seguidas a análiseenvolvido, a gestão das entidades seguidas, a análise do movimento seguido bem como a sua quantificação



• Exemplo: seguimento de contornos em imagens de pedobarografia dinâmicapedobarografia dinâmica

Seguimento de contornos


Seguimento de contornos




• Exemplo: seguimento usando filtragem de Kalman e técnicas de optimizaçãotécnicas de optimização

Prediction Uncertainty Area Measurement Correspondence Result

Pi h t l 2005 H M t T ki d A l i ith K l Filt i d


Pinho et al. 2005, Human Movement Tracking and Analysis with Kalman Filtering and Global Optimization Techniques, ICCB 2005, Lisboa, Portugal


• Exemplo: seguimento usando filtragem de Kalman e técnicas de optimização

ItErro Médio

(Previsão/Medição) (pixels)It. ( ç ) (p )

1 2.26

2 1.41

3 1.233 1.23

4 0.75

5 0.55

6 0.93Pi h t l 2005 C dê i t P t S i t d


Pinho et al. 2005, Correspondência entre Pontos no Seguimento de Movimento em Imagens, 6APAET 2005, Açores, Portugal


• Exemplo: seguimento de entidades usando filtragem de Kalman, técnicas de optimização e modelo de gestãoKalman, técnicas de optimização e modelo de gestão

(5 frames interval)

Pi h t l 2005 A M t T ki M t M d l ith K l Filt i Gl b l


Pinho et al. 2005, A Movement Tracking Management Model with Kalman Filtering, Global Optimization Techniques and Mahalanobis Distance, LSCCS, Vol. 4A



Pinho et al 2007 Efficient Approximation of the Mahalanobis Distance for Tracking with

(547 frames)


Pinho et al. 2007, Efficient Approximation of the Mahalanobis Distance for Tracking with the Kalman Filter, International Journal of Simulation Modelling, Vol. 6, No. 2



Pi h t l 2006 A Effi i t d R b t T ki S t i K l Filt VIP


Pinho et al. 2006, An Efficient and Robust Tracking System using Kalman Filter, VIP Symposia on Internet related research with elements of M+I+T++, Venice, Italy

Emparelhamento de Objectos M hi t Obj te Morphing entre Objectos

Emparelhamento de Objectos e Morphing entre Objectos

• Emparelhamento de Objectos– É uma das tarefas mais usuais em Visão Computacional porÉ uma das tarefas mais usuais em Visão Computacional, por

exemplo, para alinhar objectos, reconhecer objectos, obter informação 3D, analisar movimento, etc.

– Geralmente é conseguida através da consideração de características invariantes, como a curvatura, ou de deslocamentos em espaços globais como no espaço modaldeslocamentos em espaços globais, como no espaço modal

– Dificuldades comuns são relativas a situações de oclusão, deformações não rígidas, variações elevadas na forma dosdeformações não rígidas, variações elevadas na forma dos objectos, etc.


Emparelhamento de Objectos e Morphing entre Objectos

• Morphing entre Objectos– É uma tarefa muita usada em Computação Gráfica mas tambémÉ uma tarefa muita usada em Computação Gráfica mas também

muito útil em Visão Computacional, por exemplo, para estimar a deformação existente entre dois objectos distintos ou entre dois instantes de um mesmo objecto, estimar formas intermédias entre duas formas adquiridas com espaçamento temporal elevado, etc.Geralmente é conseguida através da consideração de– Geralmente é conseguida através da consideração de transformações geométricas

– No entanto, quando se deve considerar o comportamento físicoNo entanto, quando se deve considerar o comportamento físico dos objectos envolvidos, então devem ser usadas metodologias e modelações físicas, por exemplo usando FEM

• Dificuldades comuns são relativas à estimativas das forças envolvidas e das propriedades adoptadas para os materiais (virtuais)

• Fase de emparelhamento dos objectos é muito importante


Fase de emparelhamento dos objectos é muito importante

Emparelhamento de Objectos em Imagens

• Exemplo: emparelhamento de objectos usando informação de curvatura e técnicas de optimizaçãoinformação de curvatura e técnicas de optimização

Contornosoriginais

Contornos emparelhados(2 vistas)originais (2 vistas)

Oliveira & Tavares 2007, Matching contours in images using curvature information, VipIMAGE 2007, Porto, Contornos

C t lh d


o a o , p G 00 , o o,Portugal originais Contornos emparelhados

(2 vistas)


• Exemplo: emparelhamento de objectos usando modelação geométrica, análise modal e optimizaçãoç g , p ç

Emparelhamentos obtidos Emparelhamentos obtidos

Bastos & Tavares 2004 Objects Matching Improvement using Optimization Techniques

Emparelhamentos obtidosentre 2 contornos reais

Emparelhamentos obtidosentre 2 contornos sintéticos


Bastos & Tavares 2004, Objects Matching Improvement using Optimization Techniques in a Geometric Modal Methodology, WSCG'2004, Plzen, Czech Republic


• Exemplo: emparelhamento de objectos usando modelação física, análise modal e optimizaçãomodelação física, análise modal e optimização

Imagem de

Objecto Inicial Objecto Final Emparelhamento obtido

gpedobarografia

dinâmica






Emparelhamentos obtidosentre iso-contornos

Emparelhamentos obtidos entre contornos

Bastos & Tavares 2006, Matching of Objects Nodal Points Improvement using Optimization, Inverse Problems in Science and Engineering, Vol. 14, No. 5Tavares & Bastos 2005, Improvement of Modal Matching Image Objects in Dynamic P d b h i O ti i ti T h i El t i L tt C t Vi i d





Emparelhamentos obtidos Emparelhamentos obtidos entre entre iso-contornos


superficies



Morphing entre Objectos em Imagens

• Exemplo: estimativa da deformação entre objectos usando modelação física e emparelhamento modalusando modelação física e emparelhamento modal

Emparelhamentos Deformações estimadas

T & Pi h 2005 E ti ã T l d D f ã t Obj t tili d


Tavares & Pinho 2005, Estimação Temporal da Deformação entre Objectos utilizando uma Metodologia Física, InfoComp, Vol. 4, No. 1


• Exemplo: estimativa da deformação entre objectos usando modelação física e emparelhamento modal

Emparelhamentos Deformações estimadasImagens originais

Gonçalves et al 2007 Aplicação de Princípios Físicos na Simulação da Deformação de


Gonçalves et al. 2007, Aplicação de Princípios Físicos na Simulação da Deformação de Objectos em Imagens, CIBEM8, Cusco, Perú




Gonçalves et al 2007 Simulação da Deformação de Objectos em Imagens segundo


Gonçalves et al. 2007, Simulação da Deformação de Objectos em Imagens segundo Princípios Físicos, 2º Encontro Nacional de Biomecânica, Évora, Portugal




Gonçalves et al 2006 Physical Simulation using FEM Modal Analysis and the Dynamic


Gonçalves et al. 2006, Physical Simulation using FEM, Modal Analysis and the Dynamic Equilibrium Equation, CompIMAGE 2006, Coimbra, Portugal

Eventos e Publicações


• Conferências e Mini-Simpósios Organizados


Informações em www.fe.up.pt/~tavares


• Conferências e Mini-Simpósios Organizados




• Publicações de Edições Especiais, Livros e Revista



Equipa(Vi ã C t i l)(Visão Computacional)

Equipa (Visão Computacional)

• Alunos de Doutoramento (9):– Em curso: Raquel Pinho Patrícia Gonçalves MariaEm curso: Raquel Pinho, Patrícia Gonçalves, Maria

Vasconcelos, Ilda Reis, Teresa Azevedo, Daniel Moura (INEB), Zhen Ma, Elza Chagas (PUC - Minas Gerais, Brasil), Victor Albuquerque

• Alunos de Mestrado (11):– Em curso: Fernando Carvalho, Daniela Sousa, Mauro Trindade,

Francisco Oliveira, Lara Quintela, Fi li d T A d M i V l R l Pi h– Finalizados: Teresa Azevedo, Maria Vasconcelos, Raquel Pinho, Luísa Bastos, Cândida Coelho, Jorge Gonçalves (INEB)

• Alunos de Licenciatura (2)• Alunos de Licenciatura (2)– Finalizados: Ricardo Ferreira, Soraia Pimenta

• …


Equipa (Visão Computacional)

• Colaboradores/Supervisores:– Renato Natal Jorge, Joaquim Gabriel (IDMEC/FEUP)Renato Natal Jorge, Joaquim Gabriel (IDMEC/FEUP)– Mário Vaz (LOME/FEUP)– Luís Durão (ISEP)( )– Miguel Velhote, Jorge Barbosa (INEB/FEUP)– Francisco Freitas (INEGI/FEUP)( )– Emília Mendes (CRPG)– Denilson Rodrigues (PUC - Minas Gerais, Brasil)– Diana Miranda, Georgeta Oliveira, Ricardo Duarte (HPH)– Ana Mafalda Reis, Manuel Laranjeira (ICBAS/INC)– Manuel Paulo (FMDUP)– Adelino Leite-Moreira (FMUP)– …


Conclusõese

Perspectivas FuturasPerspectivas Futuras

Conclusões e Perspectivas Futuras

• A análise computacional do movimento de objectos em sequências de imagem é uma tarefa complexa, mas desequências de imagem é uma tarefa complexa, mas de aplicação elevada em vários domínios

• Existem inúmeros desafios associados como porExistem inúmeros desafios associados, como por exemplo, movimentos complexos, objectos com variações topológicas condições adversas na aquisição dastopológicas, condições adversas na aquisição das imagens, etc.

• Muito trabalho já foi desenvolvido nesta área da Visão• Muito trabalho já foi desenvolvido nesta área da Visão Computacional, mas muito há ainda a fazer

• Métodos e metodologias de outras áreas como da• Métodos e metodologias de outras áreas, como da Matemática e da Mecânica Computacional, podem contribuir significativamente para o seu desenvolvimentocontribuir significativamente para o seu desenvolvimento


Muito Obrigado pelaMuito Obrigado pelaVossa Atenção!Vossa Atenção!

Análise Computacional do Movimento de ObjectosAnálise Computacional do Movimento de Objectos em Sequências de Imagem: Métodos e Aplicações

João Manuel R. S. [email protected] www.fe.up.pt/~tavares

Colaborações sãoColaborações são

DSM 2007 - Conferência Nacional deDinâmica de Sistemas Multicorpo6 7 Dezembro 2007 Universidade do Minho Colaborações sãoColaborações são

BemBem--Vindas!Vindas!6-7 Dezembro 2007, Universidade do Minho

análise computacional do movimento de objectos em...

Documents