análise de imagem: exemplos de métodos e …tavares/downloads/publications/comunicacoes/... ·...
TRANSCRIPT
Análise de Imagem: Exemplos de Métodos
e Aplicações em Engenharia e Medicina
João Manuel R. S. Tavares
[email protected] www.fe.up.pt/~tavares
Maio, 2011
Sumário
1. Apresentação
2. Análise Imagem
I. Introdução
II. Segmentação
III. Seguimento de Movimento
IV. Emparelhamento, Alinhamento e Simulação
V. Reconstrução 3D
3. Equipa
4. Eventos & Publicações
2 Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina João Manuel R. S. Tavares
Apresentação
• Prof. Auxiliar no Dep. de Eng. Mecânica (DEMec) da Fac.
de Eng. da Universidade do Porto (FEUP)
• Investigador Sénior e Coordenador de Projecto no Lab. de
Óptica e Mecânica Experimental (LOME) do Instituto de
Eng. Mecânica e Gestão Industrial (INEGI)
• Doutorado e Mestre em Eng. Electrotécnica e de
Computadores (FEUP) (com Tese e Dissertação na área do
Processamento e Análise de Imagem)
• Licenciado em Eng. Mecânica (FEUP)
• Áreas de Investigação: Processamento e Análise de
Imagem (segmentação, seguimento, emparelhamento, alinhamento e
reconstrução 3D), Interfaces Homem/Máquina (visualização de
dados e percepção humana), Desenvolvimento de Produto (sistemas protótipos biomédicos)
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 4
Introdução
• O sistema sensorial de visão tem elevada importância
para grande parte dos seres vivos
– Podendo disponibilizar informações de índole básica, como
verificar a existência ou não de obstáculos, ou complexa, como o
seguimento e a análise de movimento
– Operações comuns: identificação (segmentação), seguimento e
reconhecimento de movimento (seguimento e análise),
correspondência e alinhamento (emparelhamento e
alinhamento), interpolação de formas (simulação), obtenção da
forma/informação 3D (reconstrução 3D)
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 6
Introdução
• Os investigadores da área da Análise de Imagem tentam
desenvolver algoritmos computacionais para realizar de
forma automática, ou semi-automática, operações e
tarefas desenvolvidas pelos (complexos) sistemas de
visão dos seres vivos
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 7
Imagens
originais
Azevedo et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(3):359-369
Modelo computacional 3D
voxalizado e poligonizado
Introdução
• Algoritmos de Análise de Imagem são de elevado
interesse para a Sociedade, sendo frequentemente
usados, por exemplo, em:
– Medicina, Biologia
– Ciências naturais, Desporto
– Engenharia, Indústria
• Exemplos de tarefas comuns envolvendo algoritmos de
Análise de Imagem:
– Segmentação, Reconhecimento (2D-4D)
– Seguimento e análise de movimento, incluindo emparelhamento,
alinhamento e simulação (2D-4D)
– Reconstrução 3D
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 8
Introdução: Análise de Imagem – Operações e Aplicações
Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 9
Melhoramento
de imagem Segmentação de imagem /
extracção de características
seguimento
emparelhamento
simulação
Imagem /
imagens
Análise de
movimento alinhamento
Processamento
de Imagem
Análise de Imagem /
Visão Computacional
João Manuel R. S. Tavares
Visão 3D
Visão por
Computador
Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 10 João Manuel R. S. Tavares
Introdução
• (Pré-)Processamento de Imagem: suavização de ruído
por difusão anisotrópica
Segmentação
• Pretende-se identificar de forma automática, ou semi-
automática, os objectos (2D/3D) presentes em imagens
estáticas ou em sequências de imagem
• As técnicas mais comuns são baseadas em
emparelhamento de protótipos, modelações
geométricas, estatísticas e físicas, e redes neuronais
• É uma das operações mais usuais em Análise de
Imagem, sendo frequentemente a primeira “grande”
tarefa considerada
• Problemas envolvidos: ruído, baixa resolução, reduzido
contraste, formas não conhecidas, oclusões parciais,
múltiplos objectos presentes, etc.
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 12
• Segmentação de contornos em pedobarografia dinâmica:
método de Otsu, operadores morfológicos
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 13
Imagens originais Após segmentação
Bastos & Tavares (2004) LNCS 3179:39-50
Segmentação
camada de contacto
+ vidro
câmara espelho
luz reflectida vidro
pressão camada opaca
lâmpada
lâmpada camada
transparente
Segmentação
• Análise do dano em materiais: binarização e análise de
regiões
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 14
Imagem original Após segmentação
Região do dano Medidas obtidas
Marques et al. (2009) Composites Science and Technology 69(14):2376-2382
Albuquerque et al. (2010) Journal of Composite Materials 44(9):1139-1159
Segmentação
• Medição de dureza de materiais: método de Johannsen
and Bille, crescimento de regiões
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 15
Dureza Vickers Dureza Brinell
Filho et al. (2010) Journal of Testing and Evaluation 38(1):88-94
Region Growing, x=215; y=254
Segmentação
• Segmentação de estruturas do ouvido: método de
crescimento de regiões
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 16
Imagem original Segmentação obtida
(labirinto ósseo)
Barroso et al. (2011) CNME
X: 254 Y: 214
Index: 116.7
RGB: 0.459, 0.459, 0.459
Segmentação
• Análise de microestruturas em materiais: rede neuronal
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 17
Imagens originais Após segmentação
Albuquerque et al. (2008) Nondestructive Testing and Evaluation 23(4):273-283
Albuquerque et al. (2009) NDT & E International 42(7):644-651
Segmentação
• Análise das fases secundárias em materiais em imagens
de microscopia electrónica de varrimento: rede neuronal
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 18
Imagem original Imagem segmentada
Albuquerque et al. (2011) Microscopy Research and Technique 74(1):36-46
Segmentação
• Análise de porosidade de materiais a partir de imagens
de microscopia óptica: rede neuronal
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 19
Imagem original e pixels de treino Imagem segmentada
Albuquerque et al. (2010) Journal of Microscopy 240(1):50-59
Segmentação
• Controlo de um sistema por
linguagem gestual: histogramas de
orientação
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 20
Tavares et al. (2005) International Journal of Advanced Robotic Systems 2(1):39-44
Modo de Execução
Modo de Aprendizagem
Conversão para 256
níveis de cinzento
Cálculo e registo
dos histogramas de
orientação de
cada ordem
1 2
3 4
Aquisição de imagens
de ordem (uma a uma)
Working
g
Aquisição de
imagem de ordem
Conversão para 256
níveis de cinzento
Comparação do histograma
da nova imagem com os
histogramas das imagens de
ordem treinadas
Execução da
ordem
reconhecida
1 3 4
1 2 4
1 2 3
2 3 4
4
2
1
Working
g
Segmentação
• Detecção de tumores na mama a partir de imagens de
mamografia: transformada de Hough
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 21
Chagas et al. (2007) VIPimage 2007, 363-368
Imagem original Após segmentação
Segmentação
• Reconhecimento de objectos em imagens:
emparelhamento de imagem protótipo
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 22
Carvalho & Tavares (2005) CMNI 2005
fft fft
ift
3ift D CC 2ift D CC
max CC
Imagem original
Imagem protótipo
Segmentação
• Segmentação de características: protótipos
deformáveis geométricos
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 23
Carvalho & Tavares (2006) CompIMAGE 2006, 129-134
Carvalho & Tavares (2007) VipIMAGE 2007, 209-215
Exemplo de um
protótipo deformável
Segmentação
• Segmentação de características faciais:
protótipos deformáveis geométricos
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 24
Carvalho & Tavares (2006) CompIMAGE 2006, 129-134
Carvalho & Tavares (2007) VipIMAGE 2007, 209-215
Imagem original e imagens
de campos de energia (força)
Segmentação da íris usando um
protótipo deformável (circulo)
Segmentação do
olho usando um
protótipo deformável
Segmentação
• Segmentação de regiões de pele em imagens: modelos
estatísticos
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 25
Amostras de pele usadas
para construir o modelo
Imagem original e
segmentação obtida
Carvalho & Tavares (2005) CMNI 2005
Carvalho & Tavares (2008) Tékhne VI(9):245-266
Função de probablidade
usada
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 26
Segmentação
• Segmentação do fundo da cena/objecto em sequências
de imagens: modelos estatísticos
Subtracção do
fundo
Detecção do objecto
em movimento
Vasconcelos & Tavares (2008) WCCM8 / ECCOMAS 2008
Imagens
originais
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 27
Segmentação
• Segmentação do fundo da cena/objecto em sequências
de imagens: modelos estatísticos
Subtracção do
fundo
Detecção do objecto
em movimento
Vasconcelos & Tavares (2008) WCCM8 / ECCOMAS 2008
Vasconcelos & Tavares (2011) EUROMECH Colloquium 511
Imagens originais (www.nada.kth.se/cvap/actions)
Segmentação
• Segmentação de objectos em imagens: modelos de
distribuição pontual (i. e. modelos de forma)
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 28
Vasconcelos & Tavares (2008) Computer Modeling in Engineering & Sciences 36(3):213-241
Segmentação
• Segmentação de objectos em imagens: modelos
activos de forma
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 29
Vasconcelos & Tavares (2008) Computer Modeling in Engineering & Sciences 36(3):213-241
Segmentação
• Segmentação de mãos e faces em imagens: modelos
activos de forma
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 30
Segmentações obtidas (inicial, intermédias e final)
Vasconcelos & Tavares (2008) Computer Modeling in Engineering & Sciences 36(3):213-241
Segmentação
• Segmentação de objectos em imagens: modelos
activos de aparência
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 31
Vasconcelos & Tavares (2008) Computer Modeling in Engineering & Sciences 36(3):213-241
Segmentação
• Segmentação de faces em imagens: modelos activos de
aparência
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 32
Vasconcelos & Tavares (2008) Computer Modeling in Engineering & Sciences 36(3):213-241
Imagem original e segmentações obtidas (inicial, intermédia e final)
Segmentação
• Análise do tracto vocal durante a fala partir de imagens
de ressonância magnética: modelos activos de forma
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 33
Vasconcelos et al. (2010) Journal of Voice, doi:10.1016/j.jvoice.2010.05.002 (in press)
Segmentação
internmédia II
Imagem
original +
modelo médio
Segmentação
final
Segmentação
intermédia I
Segmentação
• Análise do tracto vocal durante a fala partir de imagens de
ressonância magnética: modelos activos de aparência
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 34
Vasconcelos et al. (2010) Journal of Voice, doi:10.1016/j.jvoice.2010.05.002 (in press)
Vasconcelos et al. (2011) Journal of Engineering in Medicine 225(1):68-76
Segmentações
intermédias
Segmentação
inicial
Segmentação
final
Segmentações
intermédias
Segmentação
• Segmentação de objectos em imagens: contornos
activos (i.e. snakes)
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 35
Tavares et al. (2009) International Journal for Computational Vision and Biomechanics 2(2):209-220
Segmentação
• Segmentação de objectos em imagens: contornos
activos (i.e. snakes)
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 36
Imagem original e
contorno inicial
Contorno final
Tavares et al. (2009) International Journal for Computational Vision and Biomechanics 2(2):209-220
Segmentação
• Segmentação de objectos em imagens: contorno
deformável, FEM, equação de Lagrange
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 37
Gonçalves et al. (2008) Computer Modeling in Engineering & Sciences 32(1):45-55
Segmentação
• Segmentação de objectos em imagens: contorno
deformável, FEM, equação de Lagrange
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 38
Imagens originais e contornos iniciais Contornos finais
Gonçalves et al. (2008) Computer Modeling in Engineering & Sciences 32(1):45-55
borracha
k = 200N/m
14s
Segmentação
• Segmentação de objectos em imagens: métodos de
level set
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 39
Ma et al. (2010) Medical Engineering & Physics 32(7):766-774
Ma et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(2):235-246
Segmentação
• Segmentação de objectos em imagens médicas: método
de level set
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 40
Imagem original Segmentação inicial Segmentação final
Perdigão et al. (2005) Encontro_1_Biomecânica, 81-85
Segmentação
• Segmentação do pavimento pélvico a partir de imagens
de ressonância magnética: método de level set,
conhecimento prévio
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 41
Ma et al. (2010) Medical Engineering & Physics 32(7):766-774
• Segmentação do pavimento pélvico feminino a partir de
imagens de ressonância magnética: método de level set,
conhecimento prévio
Segmentação
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 42
Ma et al. (2010) Medical Engineering & Physics 32(7):766-774
Segmentação do pavimento pélvico
Segmentação
• Segmentação de órgãos da cavidade pélvica feminina a
partir de imagens de ressonância magnética: modelos de
level set, conhecimento prévio
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 43
Ma et al. (2011) Computers in Biology and Medicine (submitted)
Segmentação em simultâneo de órgãos (bexiga, pavimento pélvico, ânus) da
cavidade pélvica (3 exemplos)
Segmentação
• Segmentação da bexiga a partir de imagens de
ressonância magnética: modelos de level set,
conhecimento prévio
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 44
Ma et al. (2011) Annals of Biomedical Engineering, DOI: 10.1007/s10439-011-0324-3 (in press)
Segmentação das paredes internas e externas da bexiga (3 exemplos)
Segmentação
• Nova plataforma para segmentação de imagens
médicas (VC++, OpenCV, ITK)
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 45
Interface da plataforma
Ma et al. (2008) CMBBE 2008
Ma et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(2):235-246
Segmentação
• Segmentação de órgãos da cavidade pélvica da mulher
a partir de imagens de ressonância magnética: nova
plataforma
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 46
Ma et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(2):235-246
Crescimento de regiões Watershed
Método de Malladi Contorno activo geodesico Level-set framework
Seguimento
• Pretende-se seguir o movimento e/ou a deformação de
objectos em sequências de imagem (2D/3D)
• Nesta área, destacam-se as técnicas baseadas em fluxo
óptico, emparelhamento de blocos e em métodos
estocásticos
• Usualmente, envolve a estimativa do movimento
envolvido, a gestão das entidades seguidas, a análise
do movimento seguido bem como a sua quantificação
• Problemas envolvidos: movimento não rígido, distorção
geométrica, condições de iluminação variáveis,
oclusão, ruído, múltiplas estruturas, etc.
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 48
Seguimento
• Análise da propagação de fendas em materiais:
detecção da fenda em cada imagem por fluxo óptico
Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 49
Richter-Trummer (2009) ESMC2009, 223-224
Richter-Trummer (2011) Materialwissenschaft und Werkstofftechnik 42(5):452-459
João Manuel R. S. Tavares
Setup experimental Detecção da propagação de uma fenda ao
longo de uma sequencia de imagens
Seguimento
• Plataforma desenvolvida para
seguimento de entidades (pontos
/ rectas) em sequências de
imagem: filtro de Kalman ou
filtro Unscented Kalman,
optimização, distância de
Mahalanobis, modelo de
gestão
Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 50
Pinho et al. (2007) Int. Journal of Simulation Modelling 6(2):84-92
Pinho & Tavares (2009) VipIMAGE 2009, 299-304
Pinho & Tavares (2009) Computer Modeling in Engineering &
Sciences 46(1):51-75
João Manuel R. S. Tavares
Seguimento
• Seguimento de marcas em análise da marcha: filtro de
Kalman, distância de Mahalanobis, optimização, modelo
de gestão
Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 51
Previsão Incerteza Medição Correspondência Resultado
Pinho et al. (2005) ICCB 2005, 915-926
Pinho & Tavares (2009) Computer Modeling in Engineering & Sciences 46(1):51-75
(5 frames)
João Manuel R. S. Tavares
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 52
Sousa et al. (2007) ISHF2007, 331-340
Sousa et al. (2007) ICCB2007, 291-296
Seguimento
• Análise da marcha com detecção de
eventos: filtro de Kalman, distância
de Mahalanobis, optimização
53 Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina
Pinho et al. (2005) LSCCS, Vol. 4A:463-466
Pinho et al. (2007) International Journal of Simulation Modelling 6(2):84-92
(547 frames)
Seguimento
• Seguimento de ratos em sequências longas de imagem:
filtro de Kalman, distância de Mahalanobis,
optimização, modelo de gestão
João Manuel R. S. Tavares
Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 54
Seguimento
• Seguimento de ratos numa sequência de imagem real:
filtro de Kalman (KF) e filtro Unscented Kalman (UKF)
#15 #16 #17
KF
UKF
(22 frames)
João Manuel R. S. Tavares
+ previsão
x medição
x correcção
Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 55
Seguimento
• Seguimento de ratos numa sequência de imagem real:
filtro de Kalman (KF) e filtro Unscented Kalman (UKF) –
cont.
Resultados do filtro de
Kalman
Resultados do filtro Unscented
Kalman
João Manuel R. S. Tavares
(22 frames)
Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 56
Seguimento
• Seguimento de ratos numa sequência de imagem real:
filtro de Kalman (KF) e filtro Unscented Kalman (UKF) –
cont.
João Manuel R. S. Tavares
(22 frames)
Erro de seguimento (previsão/estado real)
Análise de Objectos
• Emparelhamento
– É uma das tarefas mais usuais em Análise de Imagem, por
exemplo, para alinhar estruturas, reconhecer estruturas, obter
informação 3D, analisar movimento, etc.
– Geralmente é conseguido através da consideração de
características invariantes, como a curvatura, ou de
deslocamentos (assinaturas) em espaços globais/próprios,
como no espaço modal ou de Fourier
– Problemas envolvidos: oclusão, deformações não rígidas,
variações elevadas de forma, etc.
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 58
Análise de Objectos
• Alinhamento
– É uma tarefa habitualmente necessária para comparar objectos
representados em imagens adquiridas em instantes de tempo
distintos ou segundo diferentes condições/técnicas
– O alinhamento é essencial, por exemplo, em medicina para
analisar a evolução de patologias a partir de imagens
– Geralmente é conseguido através da consideração de
características invariantes, como pontos de curvatura máxima,
emparelhamento e estimativa da transformação envolvida
– Problemas envolvidos: características não determinadas
facilmente, deformações não rígidas, variações elevadas de
forma, etc.
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 59
Análise de Objectos
• Simulação
– É uma tarefa muito usada em Computação Gráfica (morphing)
mas também muito útil em Análise de Imagem, por exemplo, para
estimar a deformação existente entre dois objectos distintos
ou entre dois instantes de um mesmo objecto, estimar as
transições entre duas formas adquiridas com espaçamento
temporal elevado, etc.
– Geralmente é conseguida através da consideração de
transformações geométricas
– No entanto, quando se deve considerar o comportamento físico
dos objectos envolvidos, devem ser usadas metodologias e
modelações físicas (por exemplo, usando FEM)
• Dificuldades comuns são relativas à estimativas das forças
envolvidas e das propriedades adoptadas para os materiais
• Fase de emparelhamento dos objectos torna-se crucial
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 60
Emparelhamento
• Emparelhamento de contornos em imagens: modelação
física/geométrica, análise modal, optimização
Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 61
Bastos & Tavares (2006) Inverse Problems in Science and Engineering 14(5):529-541
Tavares & Bastos (2010) Progress in Computer Vision and Image Analysis, 339-368
João Manuel R. S. Tavares
• Emparelhamento de contornos em pedobarografia
dinâmica: FEM, análise modal, optimização
Emparelhamento
Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 62
Imagens originais Contornos
emparelhados
Bastos & Tavares (2004) LNCS 3179:39-50
Tavares & Bastos (2010) Progress in Computer Vision and Image Analysis, 339-368
João Manuel R. S. Tavares
camada de contacto
+ vidro
câmara espelho
luz reflectida vidro
pressão camada opaca
lâmpada
lâmpada camada
transparente
Emparelhamento
• Emparelhamento de contornos e superfícies em
pedobarografia dinâmica: FEM, análise modal,
optimização
Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 63
Imagem de
pedobarografia
dinâmica
Tavares & Bastos (2005) Electronic Letters on Computer Vision and Image Analysis 5(3):1-20
Emparelhamento de
dois contornos
Emparelhamento entre duas superfícies de intensidade (pressão) (2 vistas)
Emparelhamento entre iso-contornos (2 vistas)
João Manuel R. S. Tavares
• Emparelhamento de contornos e superfícies em
pedobarografia dinâmica: FEM, análise modal,
optimização
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 64
Emparelhamentos obtidos
entre iso-contornos
Emparelhamentos obtidos
entre superfícies
Bastos & Tavares (2004) LNCS 3179:39-50
Tavares & Bastos (2005) Electronic Letters on Computer Vision and Image Analysis 5(3):1-20
Emparelhamento
Alinhamento
• Alinhamento de contornos em imagens: modelação
geométrica/física, optimização, programação dinâmica
Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 65
Oliveira & Tavares (2008) Computer Modeling in Engineering & Sciences 31(11):1-11
João Manuel R. S. Tavares
Alinhamento
• Alinhamento de contornos em imagens: modelação
geométrica, optimização, programação dinâmica
Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 66
Imagens originais e
contornos extraidos
Contornos
emparelhados antes
do alinhamento
Contornos após
alinhamento
Oliveira & Tavares (2008) Computer Modeling in Engineering & Sciences 31(11):1-11
Oliveira & Tavares (2009) Computer Modeling in Engineering & Sciences 43(1):91-110
João Manuel R. S. Tavares
Alinhamento
• Alinhamento de imagens de pedobarografia: modelação
geométrica, optimização, programação dinâmica
Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 67
Imagens originais e contornos
extraídos Contornos emparelhados e imagens
antes e após alinhamento
Oliveira et al. (2009) Journal of Biomechanics 42(15):2620-2623
João Manuel R. S. Tavares
Alinhamento
• Alinhamento de imagens de pedobarografia:
transformada de Fourier
Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 68
Imagens originais Imagens antes e após
alinhamento
Oliveira et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(6):731-740
João Manuel R. S. Tavares
Alinhamento
• Alinhamento de imagens de pedobarografia: método
híbrido: Alinhamento de Contornos ou Alinhamento
baseado na transformada de Fourier + Optimização de
semelhança
– MSE/MI/XOR
Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 69
Imagens originais Imagens antes e após
alinhamento
Oliveira & Tavares 2011 Medical & Biological
Engineering & Computing 49(3):313-323
João Manuel R. S. Tavares
Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 70 João Manuel R. S. Tavares
Alinhamento
• Alinhamento de imagens de pedobarografia para
identificação (esq. / direito), extracção de medidas e
índices
Imagens originais, após normalização,
contornos e áreas identificadas
Oliveira et al. 2011 Computer Methods in
Biomechanics and Biomedical Engineering,
DOI: 10.1080/10255842.2011.581239 (in
press)
Alinhamento
• Alinhamento de sequências de imagem de
pedobarografia dinâmica: alinhamento espacial e
temporal
Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 71 João Manuel R. S. Tavares
Oliveira et al. 2011 Medical &
Biological Engineering &
Computing, DOI: 10.1007/s11517-
011-0771-x (in press)
Alinhamento
• Alinhamento de sequências de imagem de
pedobarografia dinâmica: alinhamento espacial e
temporal
Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina
72
João Manuel R. S. Tavares
Sequências originais
antes do alinhamento
Sequências pré-
processadas
Sequências de
imagem originais
Sequências após
alinhamento
72
Oliveira et al. 2011 Medical &
Biological Engineering &
Computing, DOI: 10.1007/s11517-
011-0771-x (in press)
camada de contacto
+ vidro
câmara espelho
Alinhamento
• Alinhamento de sequências de imagem de
pedobarografia dinâmica: alinhamento espacial e
temporal
Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina
73
João Manuel R. S. Tavares
Sequências originais
antes do alinhamento
Sequências pré-
processadas
Sequências de
imagem originais
Sequências após
alinhamento
73
Oliveira et al. 2011 Medical &
Biological Engineering &
Computing, DOI: 10.1007/s11517-
011-0771-x (in press)
Alinhamento
• Alinhamento de imagens de uma mesma modalidade:
alinhamento de contornos
Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina João Manuel R. S. Tavares 74
Suavização
Extracção do contorno
Extracção
do
contorno
Binarização
74
Alinhamento
• Alinhamento de imagens de uma mesma modalidade:
alinhamento de contornos - cont.
Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina João Manuel R. S. Tavares
Imagens
a alinhar
Contornos antes/após
emparelhamento
75
Oliveira & Tavares (2008) Computer Modeling in Engineering & Sciences 31(11):1-11
Oliveira & Tavares (2009) Computer Modeling in Engineering & Sciences 43(1):91-110
75
Alinhamento
• Alinhamento de imagens de uma mesma modalidade:
alinhamento de contornos - cont.
Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina
76
João Manuel R. S. Tavares
Imagens
Alinhadas
Imagem
originais
76
Soma
Soma Diferença
Oliveira & Tavares (2008) Computer Modeling in Engineering & Sciences 31(11):1-11
Oliveira & Tavares (2009) Computer Modeling in Engineering & Sciences 43(1):91-110
Alinhamento
• Alinhamento de imagens de uma mesma modalidade:
maximização directa da correlação cruzada
Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina
77
João Manuel R. S. Tavares
Imagens
Alinhadas
Imagem originais
(RM - proton density)
77
Soma
Soma Diferença
Oliveira et al. (2010) Computer Methods in
Biomechanics and Biomedical
Engineering 13(6):731-740
Alinhamento
• Alinhamento de imagens de uma mesma modalidade:
optimização pelo Método de Powell de medida de
semelhança (MSE)
Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina
78
João Manuel R. S. Tavares
Imagens
Alinhadas
Imagem
originais (RX)
78
Soma
Soma Diferença
Oliveira et al. 2011 Medical &
Biological Engineering &
Computing 49(3):313-323
Alinhamento
• Alinhamento intermodal (CT/RM): optimização pelo
Método de Powell de medida de semelhança (MI)
Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina
79
João Manuel R. S. Tavares
Imagens
Alinhadas
Imagem
originais
79
CT RM CT+RM
CT+RM Diferença CT+RM
Oliveira et al. 2011 Medical &
Biological Engineering &
Computing 49(3):313-323
Simulação
Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 80
• Simulação (morphing) física de contornos em imagens:
FEM, análise modal, optimização, eq. de Lagrange
João Manuel R. S. Tavares
• Simulação de contornos em imagens: FEM, análise
modal, optimização,
equação de Lagrange
Emparelhamento
obtido
Deformações
simuladas
Simulação
Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 81
Tavares & Pinho (2005) Journal of Computer Science 4(1):9-18
Gonçalves et al. (2008) Computer Modeling in Engineering & Sciences 32(1):45-55
Imagens originais
João Manuel R. S. Tavares
• Simulação de contornos em imagens: FEM, análise
modal, optimização, equação de Lagrange
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 82
Emparelhamentos
obtidos
Deformações
simuladas
Emparelhamentos
obtidos Deformações
simuladas
Imagens originais
Simulação
Tavares & Pinho (2005) Journal of Computer Science 4(1):9-18
Gonçalves et al. (2008) Computer Modeling in Engineering & Sciences 32(1):45-55
Reconstrução 3D
• Pretende-se obter a forma 3D de objectos ou a
informação 3D de cenas a partir de imagens 2D
• Nesta área, destacam-se: 1) formas exteriores: técnicas
activas (com projecção de energia ou movimento relativo),
passivas (sem projecção de energia ou movimento relativo)
e de escavação espacial; 2) formas interiores:
segmentação 2D (i.e. contornos) e interpolação, e
segmentação 3D
• Usualmente, envolve tarefas de calibração,
segmentação, emparelhamento, triangulação e
interpolação
• Problemas envolvidos: distorção geométrica, iluminação
variável, oclusão, ruído, formas complexas, etc.
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 84
Reconstrução 3D
• Reconstrução 3D de objectos a partir de slices:
segmentação 2D, Delaunay, marching cubes
Perdigão et al. (2005) CMNI 2005
Pimenta et al. (2006) CompIMAGE 2006, 343-348
Alexandre et al. (2007) VipIMAGE 2007, 359-362
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 85
Reconstrução 3D
• Reconstrução 3D de órgãos a partir de imagens
médicas: segmentação 2D, Delaunay, marching cubes
Segmentação realizada num
slice e reconstrução 3D obtida
Orgãos do braço reconstruidos 3D Perdigão et al. (2005) CMNI 2005
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 86
Reconstrução 3D
• Reconstrução 3D de órgãos da cavidade pélvica
feminina partir de imagens de ressonância magnética:
segmentação 2D, loft, suavização
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 87
Segmentação 2D
realizada num slice Pavimento pélvico
reconstruído 3D
Órgãos da cavidade
pélvica reconstruídos 3D
Pimenta et al. (2006) CompIMAGE 2006, 343-348
Alexandre et al. (2007) VipIMAGE 2007, 359-362
slices
Reconstrução 3D
• Reconstrução 3D de cenas a partir de sequências de
imagem: visão estéreo densa
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 88
Azevedo et al. (2006) VISAPP 2006, 383-388
Reconstrução 3D
• Reconstrução 3D de uma cena a partir de par de
imagens: visão estéreo densa
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 89
Mapa de disparidade
obtido Par de imagens original
Azevedo et al. (2006) VISAPP 2006, 383-388
Reconstrução 3D
• Reconstrução 3D de objectos a partir de sequências de
imagem: escavação espacial
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 90
Azevedo et al. (2008) Advances in Computational Vision and Medical Image Processing: Methods and
Applications, 117-136
Reconstrução 3D
• Reconstrução 3D de objectos a partir de sequências de
imagem: escavação espacial
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 91
Azevedo et al. (2008) Advances in Computational Vision and Medical Image Processing: Methods and
Applications, 117-136
Azevedo et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(3):359-369
Imagens originais Modelo computacional 3D obtido
voxalizado e poligonizado
Reconstrução 3D
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 92
Azevedo et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(3):359-369
• Reconstrução 3D de objectos a partir de sequências de
imagem: escavação espacial
Imagens originais Modelo computacional 3D obtido
voxalizado e poligonizado
• Reconstrução 3D da coluna a partir de duas
radiografias 2D e usando um modelo deformável
Reconstrução 3D
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 93
Moura et al. (2010) Computer Modeling in Engineering & Sciences 60(2):115-138
Moura et al. (2011) Medical Engineering & Physics, DOI: 10.1016/j.medengphy.2011.03.007 (in press)
Interface desenvolvida Modelo ajustado (duas vistas) e
reconstrução obtida
• Reconstrução 3D a partir de radiografias 2D: calibração
Reconstrução 3D
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 94
Moura et al. (2010) Computer Modeling in Engineering & Sciences 60(2):115-138
Moura et al. (2011) Medical Engineering & Physics, DOI: 10.1016/j.medengphy.2011.03.007 (in press)
Método
desenvolvido
Calibração de um sistema
de Raio-X
• Reconstrução 3D a partir de radiografias 2D: calibração
Reconstrução 3D
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 95
Moura et al. (2010) Computer Modeling in Engineering & Sciences 60(2):115-138
Moura et al. (2011) Medical Engineering & Physics, DOI: 10.1016/j.medengphy.2011.03.007 (in press)
Estimativa da distância entre a
fonte de Raio-X e a mesa
Duas radiografias de uma coluna seca usada para
validar a calibração e reconstrução 3D obtida
Sumário
• A área da Análise de Imagem é complexa e exigente, mas
de elevado interesse em muitos domínios
• Vários desafios existem, como, por exemplo, condições
de aquisição difíceis, oclusão, formas e topologias
complexas, movimentos complicados
• Trabalho considerável já foi desenvolvido, mas existem
ainda muitos desafios importantes e difíceis a resolver
• Métodos e metodologias de outras áreas do
conhecimento, como da Matemática, Mecânica
Computacional, Medicina e Biologia, podem contribuir para
a resolução de tais desafios
• Para tal, Colaborações são Necessárias e Bem-vindas
97 Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina João Manuel R. S. Tavares
Equipa (Análise de Imagem)
• Estudantes de Doutoramento (13):
– Concluído: Daniel Moura
– Em curso: Raquel Pinho, Patrícia Gonçalves, Maria Vasconcelos,
Ilda Reis, Teresa Azevedo, Zhen Ma, Elza Chagas, Francisco
Oliveira, António Gomes, João Nunes, Alex Araújo, Sandra Rua
• Estudantes de Mestrado (17):
– Em curso: Elisa Barroso, Ana Jesus, Jorge Pereira, Carolina
Tabuas, Gabriela Queiros, Célia Cruz, Priscila Alves, Diana Cidre
– Concluídos: Frederico Jacob, Daniela Sousa, Francisco Oliveira,
Teresa Azevedo, Maria Vasconcelos, Raquel Pinho, Luísa Bastos,
Cândida Coelho, Jorge Gonçalves
• Estudantes de pré-Graduação (2)
– Concluídos: Ricardo Ferreira, Soraia Pimenta
99 Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina João Manuel R. S. Tavares
Webpage (www.fe.up.pt/~tavares)
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 101
Agradecimentos
• Os trabalhos apresentados têm vindo a ser realizados
parcialmente com o apoio da Fundação para a Ciência e a
Tecnologia (FCT) em Portugal, nomeadamente, através
dos projectos:
– PTDC/SAU-BEB/102547/2008
– PTDC/SAU-BEB/104992/2008
– PTDC/EEA-CRO/103320/2008
– UTAustin/CA/0047/2008
– UTAustin/MAT/0009/2008
– PDTC/EME-PME/81229/2006
– PDTC/SAU-BEB/71459/2006
– POSC/EEA-SRI/55386/2004
João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 102
Análise de Imagem: Exemplos de Métodos e
Aplicações em Engenharia e Medicina
João Manuel R. S. Tavares
[email protected] www.fe.up.pt/~tavares