imagiologia em biomecânicatavares/downloads/... · intermédia ii imagem original + modelo médio...

86
Imagiologia em Biomecânica João Manuel R. S. Tavares [email protected] www.fe.up.pt/~tavares Curso de Doutoramento em Fisioterapia - CIAFEL Porto, 22 Março 2013

Upload: others

Post on 07-Aug-2020

1 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Imagiologia em Biomecânica

João Manuel R. S. Tavares

[email protected] www.fe.up.pt/~tavares

Curso de Doutoramento em Fisioterapia - CIAFEL

Porto, 22 Março 2013

Page 2: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Sumário

1. Apresentação

2. Imagiologia em Biomecânica

i. Introdução

ii. Segmentação

iii. Seguimento

iv. Emparelhamento

v. Alinhamento

vi. Simulação

vii. Visão 3D

3. Equipa

4. Eventos & Publicações

2 Imagiologia em Biomecânica 2013@João Manuel R. S. Tavares

Page 3: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Apresentação

Page 4: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Apresentação • Prof. Associado no Dep. de Eng. Mecânica (DEMec) da

FEUP • Investigador Sénior e Coordenador de Projecto no Lab. de

Óptica e Mecânica Experimental (LOME) do INEGI • Doutorado e Mestre em Eng. Electrotécnica e de

Computadores (FEUP) (com Tese e Dissertação na área do Processamento e Análise de Imagem)

• Licenciado em Eng. Mecânica (FEUP) • Áreas de Investigação: Processamento e Análise de

Imagem (segmentação, seguimento, emparelhamento, alinhamento e visão 3D), Interfaces Homem/Máquina (visualização de dados e percepção humana), Desenvolvimento de Produto (dispositivos biomédicos), Biomecânica, Movimento e Postura Humana

2013@João Manuel R. S. Tavares Imagiologia em Biomecânica 4

Page 5: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Processamento e Análise de Imagem: Introdução

Page 6: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Introdução • O sistema sensorial de visão tem elevada importância

para grande parte dos seres vivos

– Podendo disponibilizar informações de índole básica, como verificar a existência ou não de obstáculos, ou complexa, como o seguimento e a análise de movimento e/ou deformação

– Operações comuns: identificação (segmentação), seguimento e reconhecimento de movimento ou deformação (seguimento e análise de movimento/deformação), correspondência e alinhamento (emparelhamento e alinhamento), interpolação de formas (simulação), obtenção da forma/informação 3D (Visão 3D)

2013@João Manuel R. S. Tavares Imagiologia em Biomecânica 6

Page 7: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Introdução • Os investigadores da área do Processamento e Análise

de Imagem tentam desenvolver algoritmos computacionais para realizar de forma automática, ou semi-automática, operações e tarefas desenvolvidas pelos (complexos) sistemas de visão dos seres vivos

2013@João Manuel R. S. Tavares Imagiologia em Biomecânica 7

Imagens originais

Azevedo et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(3):359-369

Modelo computacional 3D voxalizado e poligonizado

Page 8: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Introdução • Algoritmos de Processamento e Análise de Imagem

são de elevado interesse para a Sociedade, sendo frequentemente usados, por exemplo, em: – Ciências naturais, Desporto – Engenharia, Indústria – Medicina, Biologia

• Exemplos de tarefas comuns envolvendo algoritmos de Processamento e Análise de Imagem: – Remoção de ruído, Correcção geométrica – Segmentação, Reconhecimento (2D-4D) – Seguimento e análise de movimento e/ou deformação,

incluindo emparelhamento, alinhamento e simulação (2D-4D) – Visão 3D

2013@João Manuel R. S. Tavares Imagiologia em Biomecânica 8

Page 9: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Introdução: Processamento e Análise de Imagem – Operações e Objectivos

Imagiologia em Biomecânica 9

Melhoramento de imagem

Segmentação de imagem / extração de características

seguimento

emparelhamento

simulação

Imagem / imagens

Análise de movimento alinhamento

Processamento de Imagem

Análise de Imagem / Visão Computacional

2013@João Manuel R. S. Tavares

Visão 3D

Visão por Computador

Page 10: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Introdução • (Pré-)Processamento de Imagem: suavização de ruído

por difusão anisotrópica

10 2013@João Manuel R. S. Tavares Imagiologia em Biomecânica

Page 11: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Imagiologia em Biomecânica: Segmentação

Page 12: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Segmentação • Pretende-se identificar de forma automática, ou semi-

automática, os objetos (2D/3D) presentes em imagens estáticas ou em sequências de imagem

• As técnicas mais comuns são baseadas em emparelhamento de protótipos, modelações geométricas, estatísticas e físicas, e redes neuronais

• É uma das operações mais usuais em Visão Computacional, sendo frequentemente a primeira “grande” tarefa considerada

• Problemas envolvidos: ruído, baixa resolução, reduzido contraste, formas não conhecidas, oclusões parciais, múltiplas estruturas presentes, etc.

12 2013@João Manuel R. S. Tavares Imagiologia em Biomecânica

Page 13: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

• Segmentação de contornos em pedobarografia dinâmica: método de Otsu, operadores morfológicos, XOR

Imagens originais Após segmentação

Bastos & Tavares (2004) LNCS 3179:39-50

Segmentação

camada de contacto + vidro

câmara espelho

luz reflectida vidro

pressão camada opaca

lâmpada

lâmpada camada transparente

2013@João Manuel R. S. Tavares Imagiologia em Biomecânica 13

Page 14: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Segmentação • Segmentação do fundo da cena/objeto em sequências

de imagens: modelos estatísticos

Subtracção do fundo

Detecção do objecto em movimento

Vasconcelos & Tavares (2008) WCCM8 / ECCOMAS 2008

Imagens originais

14 2013@João Manuel R. S. Tavares Imagiologia em Biomecânica

Page 15: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Segmentação • Segmentação do fundo da cena/objeto em sequências

de imagens: modelos estatísticos

Subtracção do fundo

Detecção do objecto em movimento

Vasconcelos & Tavares (2008) WCCM8 / ECCOMAS 2008 Vasconcelos & Tavares (2011) EUROMECH Colloquium 511

Imagens originais (www.nada.kth.se/cvap/actions)

15 2013@João Manuel R. S. Tavares Imagiologia em Biomecânica

Page 16: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Segmentação • Análise do tracto vocal durante a fala partir de imagens

de ressonância magnética: modelos ativos de forma

Vasconcelos et al. (2011) Journal of Voice 25(6):732-742

Segmentação intermédia II

Imagem original +

modelo médio

Segmentação final

Segmentação intermédia I

16 2013@João Manuel R. S. Tavares Imagiologia em Biomecânica

Page 17: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Segmentação • Análise do tracto vocal durante a fala partir de imagens de

ressonância magnética: modelos ativos de aparência

Vasconcelos et al. (2011) Journal of Engineering in Medicine 225(1):68-76 Vasconcelos et al. (2012) Journal of Engineering in Medicine 226(3):185-196

Segmentações intermédias

Segmentação inicial

Segmentação final

Segmentações intermédias

17 2013@João Manuel R. S. Tavares Imagiologia em Biomecânica

Page 18: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Segmentação • Segmentação de objetos em imagens médicas: método

de level set

Imagem original Segmentação inicial Segmentação final

Perdigão et al. (2005) Encontro_1_Biomecânica, 81-85 18 2013@João Manuel R. S. Tavares Imagiologia em Biomecânica

Page 19: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Segmentação • Segmentação de bifurcação da carótida em imagens de

Doppler: métodos de contornos ativos e de level set

Segmentação usando um modelo de contornos ativos (Yessi)

Silva et al. (2011) VipIMAGE 2011, 117-122

Segmentação usando um modelo de level set (Chan-Vese)

19 2013@João Manuel R. S. Tavares Imagiologia em Biomecânica

Page 20: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Segmentação • Segmentação de órgãos da cavidade pélvica feminina a

partir de imagens de ressonância magnética: modelos de level set, conhecimento prévio

Ma et al. (2013) Computers in Biology and Medicine 43(4):248-258 Ma et al. (2012) The Int. Journal for Numerical Methods in Biomedical Engineering 28(6-7):714-726

Segmentação de órgãos (bexiga, vagina, ânus) da cavidade pélvica (3 exemplos)

20 2013@João Manuel R. S. Tavares Imagiologia em Biomecânica

Page 21: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Segmentação • Segmentação da bexiga a partir de imagens de

ressonância magnética: modelos de level set, conhecimento prévio

Ma et al. (2011) Annals of Biomedical Engineering 39(8):2287-2297

Segmentação das paredes internas e externas da bexiga (3 exemplos)

21 2013@João Manuel R. S. Tavares Imagiologia em Biomecânica

Page 22: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Imagiologia em Biomecânica: Seguimento

Page 23: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Seguimento • Pretende-se seguir o movimento e/ou a deformação de

estruturas em sequências de imagem (2D/3D)

• Nesta área, destacam-se as técnicas baseadas em fluxo óptico, emparelhamento de blocos e em métodos estocásticos

• Usualmente, envolve a estimativa do movimento envolvido, a gestão das entidades seguidas, a análise do movimento seguido bem como a sua quantificação

• Problemas envolvidos: movimento não rígido, distorção geométrica, condições de iluminação variáveis, oclusão, ruído, múltiplas estruturas, etc.

Imagiologia em Biomecânica 23 2013@João Manuel R. S. Tavares

Page 24: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Seguimento • Plataforma desenvolvida para

seguimento de entidades (pontos / rectas) em sequências de imagem: filtro de Kalman ou filtro Unscented Kalman, otimização, distância de Mahalanobis, modelo de gestão

Pinho et al. (2007) Int. Journal of Simulation Modelling 6(2):84-92 Pinho & Tavares (2009) VipIMAGE 2009, 299-304 Pinho & Tavares (2009) Computer Modeling in Engineering & Sciences 46(1):51-75

Imagiologia em Biomecânica 24 2013@João Manuel R. S. Tavares

Page 25: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Seguimento • Seguimento de marcas em análise da marcha: filtro de

Kalman, distância de Mahalanobis, otimização, modelo de gestão

Previsão Incerteza Medição Correspondência Resultado

Pinho et al. (2005) ICCB 2005, 915-926 Pinho & Tavares (2009) Computer Modeling in Engineering & Sciences 46(1):51-75

(5 frames)

Imagiologia em Biomecânica 25 2013@João Manuel R. S. Tavares

Page 26: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Sousa et al. (2007) ISHF2007, 331-340 Sousa et al. (2007) ICCB2007, 291-296

Seguimento • Análise da marcha com deteção de

eventos: filtro de Kalman, distância de Mahalanobis, otimização

Imagiologia em Biomecânica 26 2013@João Manuel R. S. Tavares

Page 27: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Pinho et al. (2005) LSCCS, Vol. 4A:463-466 Pinho et al. (2007) International Journal of Simulation Modelling 6(2):84-92

(547 frames)

Seguimento • Seguimento de ratos em sequências longas de imagem:

filtro de Kalman, distância de Mahalanobis, otimização, modelo de gestão

Imagiologia em Biomecânica 27 2013@João Manuel R. S. Tavares

Page 28: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Imagiologia em Biomecânica: Emparelhamento

Page 29: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Emparelhamento • É uma das tarefas mais usuais em Visão Computacional,

por exemplo, para alinhar estruturas, reconhecer estruturas, obter informação 3D, analisar movimento, etc.

• Geralmente é conseguido através da consideração de características invariantes, como a curvatura, ou de deslocamentos (assinaturas) em espaços globais/próprios, como no espaço modal ou de Fourier

• Problemas envolvidos: oclusão, deformações não rígidas, variações elevadas de forma, etc.

2013@João Manuel R. S. Tavares Imagiologia em Biomecânica 29

Page 30: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Emparelhamento • Emparelhamento de contornos em imagens: modelação

física/geométrica, análise modal, otimização

Imagiologia em Biomecânica 30

Bastos & Tavares (2006) Inverse Problems in Science and Engineering 14(5):529-541 Tavares & Bastos (2010) Progress in Computer Vision and Image Analysis 339-368

2013@João Manuel R. S. Tavares

Page 31: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

• Emparelhamento de contornos em pedobarografia dinâmica: FEM, análise modal, otimização

Emparelhamento

Imagiologia em Biomecânica 31

Imagens originais Contornos emparelhados

Bastos & Tavares (2004) LNCS 3179:39-50 Tavares & Bastos (2010) Progress in Computer Vision and Image Analysis, 339-368

2013@João Manuel R. S. Tavares

camada de contacto + vidro

câmara espelho

luz reflectida vidro

pressão camada opaca

lâmpada

lâmpada camada transparente

Page 32: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Emparelhamento • Emparelhamento de contornos e superfícies em

pedobarografia dinâmica: FEM, análise modal, otimização

Imagiologia em Biomecânica 32

Imagem de pedobarografia

dinâmica

Tavares & Bastos (2005) Electronic Letters on Computer Vision and Image Analysis 5(3):1-20

Emparelhamento de dois contornos

Emparelhamento entre duas superfícies de intensidade (pressão) (2 vistas)

Emparelhamento entre iso-contornos (2 vistas)

2013@João Manuel R. S. Tavares

Page 33: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Imagiologia em Biomecânica: Alinhamento

Page 34: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Alinhamento • Tarefa habitualmente necessária para comparar estruturas

representados em imagens adquiridas em instantes de tempo distintos ou segundo diferentes condições/técnicas

• É útil, por exemplo, em medicina para analisar a evolução de patologias a partir de imagens

• Geralmente é conseguido através da consideração de características invariantes, como pontos de curvatura máxima, emparelhamento e estimativa da transformação envolvida, ou pela minimização de uma medida de semelhança

• Problemas envolvidos: características não determinadas facilmente, deformações não rígidas, variações elevadas de forma, etc.

2013@João Manuel R. S. Tavares Imagiologia em Biomecânica 34

Page 35: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Alinhamento • Alinhamento de contornos em imagens: modelação

geométrica/física, otimização, programação dinâmica

35 2013@João Manuel R. S. Tavares Imagiologia em Biomecânica

Oliveira & Tavares (2008) Computer Modeling in Engineering & Sciences 31(11):1-11 Oliveira & Tavares (2009) Computer Modeling in Engineering & Sciences 43(1):91-110

Page 36: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Alinhamento • Alinhamento de imagens de pedobarografia: modelação

geométrica, otimização, programação dinâmica

Imagens originais e contornos extraídos

Contornos emparelhados e imagens antes e após alinhamento

Oliveira et al. (2009) Journal of Biomechanics 42(15):2620-2623 36 2013@João Manuel R. S. Tavares Imagiologia em Biomecânica

Page 37: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Alinhamento • Alinhamento de imagens de pedobarografia:

transformada de Fourier

Imagens originais Imagens antes e após alinhamento

Oliveira et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(6):731-740

37 2013@João Manuel R. S. Tavares Imagiologia em Biomecânica

Page 38: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Alinhamento • Alinhamento de imagens de pedobarografia: método

híbrido: Alinhamento de Contornos ou Alinhamento baseado na transformada de Fourier + Otimização de medida de semelhança (MSE/MI/XOR)

Imagens originais, antes e após alinhamento

Oliveira & Tavares 2011 Medical & Biological Engineering & Computing 49(3):313-323

38 2013@João Manuel R. S. Tavares Imagiologia em Biomecânica

Page 39: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Alinhamento • Alinhamento de imagens de pedobarografia para

identificação (esq. / direito), extração de medidas e índices

Imagens originais, após normalização, contornos e áreas identificadas

Oliveira et al. 2012 Computer Methods in Biomechanics and Biomedical Engineering 15(11):1181-1188

39 2013@João Manuel R. S. Tavares Imagiologia em Biomecânica

Page 40: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Alinhamento • Alinhamento de imagens de uma mesma modalidade:

alinhamento de contornos – cont.

Imagens a alinhar

Contornos antes e após emparelhamento

Oliveira & Tavares (2008) Computer Modeling in Engineering & Sciences 31(11):1-11 Oliveira & Tavares (2009) Computer Modeling in Engineering & Sciences 43(1):91-110

40 2013@João Manuel R. S. Tavares Imagiologia em Biomecânica

Page 41: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Alinhamento • Alinhamento de imagens de uma mesma modalidade:

alinhamento de contornos – cont.

41

Imagens Alinhadas

Imagem originais

Soma

Soma Diferença

Oliveira & Tavares (2008) Computer Modeling in Engineering & Sciences 31(11):1-11 Oliveira & Tavares (2009) Computer Modeling in Engineering & Sciences 43(1):91-110

41 2013@João Manuel R. S. Tavares Imagiologia em Biomecânica

Page 42: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Alinhamento • Alinhamento de imagens de uma mesma modalidade:

maximização direta da correlação cruzada (transformada de Fourier)

42

Imagens Alinhadas

Imagem originais (RM - proton density)

Soma

Soma Diferença

Oliveira et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(6):731-740

42 2013@João Manuel R. S. Tavares Imagiologia em Biomecânica

Page 43: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Alinhamento • Alinhamento intermodal (CT/RM): otimização pelo

Método de Powell de medida de semelhança (MI)

43

Imagens Alinhadas

Imagem originais

CT RM CT+RM

CT+RM Diferença CT+RM

Oliveira et al. (2011) Medical & Biological Engineering & Computing 49(3):313-323

43 2013@João Manuel R. S. Tavares Imagiologia em Biomecânica

Page 44: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Imagem modelo Imagem a alinhar

Imagem alinhada

Pré-alinhamento usando transformação rígida

Novo pré-alinhamento usando transformação afim

Alinhamento curvo “grosseiro” usando B-splines

Alinhamento “fino” usando B-splines

44 2013@João Manuel R. S. Tavares

Alinhamento • Otimização iterativa e alinhamento 3D curvo usando B-

splines – cont.

44 Imagiologia em Biomecânica

Oliveira & Tavares (2012) Computer Methods in Biomechanics and Biomedical Engineering DOI:10.1080/10255842.2012.670855

Page 45: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

• Alinhamento de imagens 3D: otimização iterativa, alinhamento 3D – cont.

Xadrez das imagens pré-alinhamento (CT, tórax – mesma pessoa, Δt: 8.5 meses)

(xadrez - construído substituindo algumas partes (voxels) da imagem modelo pelas partes da imagem a alinhar que têm as mesmas coordenadas das partes retiradas à imagem modelo)

45 2013@João Manuel R. S. Tavares

Alinhamento

45 Imagiologia em Biomecânica

Page 46: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Xadrez das imagens pós-alinhamento (Semelhança: MI, Transf.: rígida)

46 2013@João Manuel R. S. Tavares

Alinhamento • Alinhamento de imagens 3D: otimização iterativa,

alinhamento 3D – cont.

46 Imagiologia em Biomecânica

Page 47: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Xadrez das imagens pós-alinhamento (Semelhança: MI, Transf.: B-splines cúbicas)

47 2013@João Manuel R. S. Tavares

Alinhamento • Alinhamento de imagens 3D: otimização iterativa,

alinhamento 3D – cont.

47 Imagiologia em Biomecânica

Page 48: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

48 2013@João Manuel R. S. Tavares

• Alinhamento de imagens 3D: otimização iterativa, alinhamento 3D – cont.

Xadrez das imagens pré-alinhamento (CT, cérebro – duas pessoas)

Alinhamento

48 Imagiologia em Biomecânica

Page 49: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

49 2013@João Manuel R. S. Tavares

• Alinhamento de imagens 3D: otimização iterativa, alinhamento 3D – cont.

Xadrez das imagens pós-alinhamento (Semelhança: MI, Transf.: afim)

Alinhamento

49 Imagiologia em Biomecânica

Page 50: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

50 2013@João Manuel R. S. Tavares

• Alinhamento de imagens 3D: otimização iterativa, alinhamento 3D – cont.

Xadrez das imagens pós-alinhamento (Semelhança: MI, Transf.: B-splines cúbicas)

Alinhamento

50

Oliveira & Tavares (2012) Computer Methods in Biomechanics and Biomedical Engineering DOI:10.1080/10255842.2012.670855

Imagiologia em Biomecânica

Page 51: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Aplicação no estudo de imagens DaTSCAN SPECT

51 2013@João Manuel R. S. Tavares

Alinhamento

51 Imagiologia em Biomecânica

Imagens DaTSCAN SPECT são usadas para auxiliar o diagnostico da doença de Parkinson e para a distinguir de outras doenças degenerativas. A solução desenvolvida é capaz de:

– Segmentar as áreas relevantes e realizar análises dimensionais – Quantificar os potenciais de ligação da basal ganglia – Computação automática de dados estatísticos relativamente a uma

população de referência

Normal Alzheimer Parkinsonismo idiopático

Tremor essencial

Page 52: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

52 2013@João Manuel R. S. Tavares

Alinhamento

52 Imagiologia em Biomecânica

Slice médio de uma população usada como referência

Slice correspondente de um paciente

Diferença de intensidades

Mapeamento dos Z-scores no slice (a vermelho valores mais elevados)

(Os retângulos azuis representam as ROIs 3D usadas para calculo dos potenciais de ligação)

Oliveira & Tavares. (2012) The Quarterly Journal of Nuclear Medicine and Molecular Imaging (submitted)

Aplicação no estudo de imagens DaTSCAN SPECT

Page 53: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Alinhamento • Alinhamento de sequências de imagem 2D: alinhamento

espacial e temporal

Oliveira et al. (2011) Medical & Biological Engineering & Computing 49(7):843-850 Oliveira & Tavares (2013) Medical & Biological Engineering & Computing 51(3):267-276

53 2013@João Manuel R. S. Tavares Imagiologia em Biomecânica

Page 54: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Alinhamento • Alinhamento de sequências de imagem 2D de

pedobarografia dinâmica: alinhamento espacial e temporal

54

Sequências originais antes do alinhamento

Sequências pré-processadas

Sequências de imagem originais

Sequências após alinhamento

camada de contacto + vidro

câmara espelho

54 2013@João Manuel R. S. Tavares

Oliveira et al. (2011) Medical & Biological Engineering & Computing 49(7):843-850

Imagiologia em Biomecânica

Page 55: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Alinhamento • Alinhamento de sequências de imagem 2D de

pedobarografia dinâmica: alinhamento espacial e temporal

55

Sequências originais antes do alinhamento

Sequências pré-processadas

Sequências de imagem originais

Sequências após alinhamento

55 2013@João Manuel R. S. Tavares

Oliveira et al. (2011) Medical & Biological Engineering & Computing 49(7):843-850

Imagiologia em Biomecânica

Page 56: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Imagiologia em Biomecânica: Simulação

Page 57: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Simulação • É muito usada em Computação Gráfica (morphing) mas também

muito útil em Visão Computacional, por exemplo, para estimar a deformação existente entre duas estruturas distintas ou entre dois instantes de uma mesma estrutura, estimar as transições entre duas formas adquiridas com espaçamento temporal elevado, etc.

• Geralmente é conseguida através da consideração de transformações geométricas

• No entanto, quando se deve considerar o comportamento físico das estruturas envolvidas, devem ser usadas metodologias e modelações físicas (por exemplo, usando FEM) – Dificuldades comuns são relativas à estimativas das forças

envolvidas e das propriedades adoptadas para os materiais – Fase de emparelhamento das estruturas torna-se crucial

2013@João Manuel R. S. Tavares 57 Imagiologia em Biomecânica

Page 58: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Simulação

Imagiologia em Biomecânica 58

• Simulação (morphing) física de contornos em imagens: FEM, análise modal, otimização, eq. de Lagrange

2013@João Manuel R. S. Tavares

Page 59: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

• Simulação de contornos em imagens: FEM, análise modal, otimização, equação de Lagrange

Emparelhamento obtido

Deformações simuladas

Simulação

Imagiologia em Biomecânica 59

Tavares & Pinho (2005) Journal of Computer Science 4(1):9-18 Gonçalves et al. (2008) Computer Modeling in Engineering & Sciences 32(1):45-55

Imagens originais

2013@João Manuel R. S. Tavares

Page 60: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

• Simulação de contornos em imagens: FEM, análise modal, otimização, equação de Lagrange

2013@João Manuel R. S. Tavares Imagiologia em Biomecânica 60

Emparelhamentos obtidos

Deformações simuladas

Emparelhamentos obtidos

Deformações simuladas

Imagens originais

Simulação

Tavares & Pinho (2005) Journal of Computer Science 4(1):9-18 Gonçalves et al. (2008) Computer Modeling in Engineering & Sciences 32(1):45-55

Page 61: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Imagiologia em Biomecânica: Visão 3D

Page 62: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Visão 3D • Pretende-se obter a forma 3D de estruturas ou a informação

3D de cenas a partir de imagens 2D

• Nesta área, destacam-se: 1) formas exteriores: técnicas ativas (com projecção de energia ou movimento relativo), passivas (sem projecção de energia ou movimento relativo) e de escavação espacial; 2) formas interiores: segmentação 2D (i.e. contornos) e interpolação, marching cubes e segmentação 3D

• Usualmente, envolve tarefas de calibração, segmentação, alinhamento, triangulação e interpolação

• Problemas envolvidos: distorção geométrica, iluminação variável, oclusão, ruído, formas complexas, etc.

2013@João Manuel R. S. Tavares Imagiologia em Biomecânica 62

Page 63: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Visão 3D • Reconstrução 3D de objetos a partir de slices:

segmentação 2D, Delaunay, marching cubes

Perdigão et al. (2005) CMNI 2005 Pimenta et al. (2006) CompIMAGE 2006, 343-348 Alexandre et al. (2007) VipIMAGE 2007, 359-362

2013@João Manuel R. S. Tavares 63 Imagiologia em Biomecânica

Page 64: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Visão 3D • Reconstrução 3D de órgãos da cavidade pélvica

feminina partir de imagens axial e sagital de ressonância magnética: segmentação 2D, marching cubes, fusão – cont.

2013@João Manuel R. S. Tavares Imagiologia em Biomecânica 64

Ma et al. (2012) Medical Engineering & Physics (accepted)

Slices axial e sagital da cavidade pélvica (1 - bexiga, 2 - vagina)

Page 65: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Visão 3D • Reconstrução 3D de órgãos da cavidade pélvica

feminina partir de imagens axial e sagital de ressonância magnética: segmentação 2D, marching cubes, fusão – cont.

2013@João Manuel R. S. Tavares Imagiologia em Biomecânica 65

Bexiga reconstruida usando informação axial e sagital (2 vistas)

Ma et al. (2012) Medical Engineering & Physics (accepted)

Page 66: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Visão 3D • Reconstrução 3D de órgãos a partir de imagens de

diferentes modalidades: alinhamento, marching cubes, fusão

2013@João Manuel R. S. Tavares Imagiologia em Biomecânica 66

Oliveira & Tavares. (2012) Computer Methods in Biomechanics and Biomedical Engineering DOI:10.1080/10255842.2012.670855

slices coronal, sagital e axial, e segmentação obtida Visualização 3D após fusão

TC/SPECT

Page 67: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Visão 3D • Reconstrução 3D de cenas a partir de sequências de

imagem: visão estéreo densa

2013@João Manuel R. S. Tavares Imagiologia em Biomecânica 67

Azevedo et al. (2006) VISAPP 2006, 383-388

Page 68: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Visão 3D • Reconstrução 3D de uma cena a partir de par de

imagens: visão estéreo densa

2013@João Manuel R. S. Tavares Imagiologia em Biomecânica 68

Mapa de disparidade obtido

Par de imagens original

Azevedo et al. (2006) VISAPP 2006, 383-388

Page 69: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Visão 3D • Reconstrução 3D de objetos a partir de sequências de

imagem: escavação espacial

2013@João Manuel R. S. Tavares Imagiologia em Biomecânica 69

Azevedo et al. (2008) Advances in Computational Vision and Medical Image Processing: Methods and Applications, 117-136

Page 70: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Visão 3D • Reconstrução 3D de objetos a partir de sequências de

imagem: escavação espacial

2013@João Manuel R. S. Tavares Imagiologia em Biomecânica 70

Azevedo et al. (2008) Advances in Computational Vision and Medical Image Processing: Methods and Applications, 117-136 Azevedo et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(3):359-369

Imagens originais Modelo computacional 3D obtido voxalizado e poligonizado

Page 71: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Visão 3D

2013@João Manuel R. S. Tavares Imagiologia em Biomecânica 71

Azevedo et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(3):359-369

• Reconstrução 3D de objetos a partir de sequências de imagem: escavação espacial

Imagens originais Modelo computacional 3D obtido voxalizado e poligonizado

Page 72: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

• Reconstrução 3D da coluna a partir de duas radiografias 2D e usando um modelo deformável (atlas)

Visão 3D

Moura et al. (2010) Computer Modeling in Engineering & Sciences 60(2):115-138 Moura et al. (2011) Medical Engineering & Physics 33(8):924-933

Interface desenvolvida Modelo ajustado (duas vistas) e reconstrução obtida

2013@João Manuel R. S. Tavares Imagiologia em Biomecânica 72

Page 73: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

• Reconstrução 3D a partir de radiografias 2D: calibração

Visão 3D

Moura et al. (2010) Computer Modeling in Engineering & Sciences 60(2):115-138 Moura et al. (2011) Medical Engineering & Physics 33(8):924-933

Método desenvolvido

Calibração de um sistema de Raio-X

2013@João Manuel R. S. Tavares Imagiologia em Biomecânica 73

Page 74: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

• Reconstrução 3D a partir de radiografias 2D: calibração

Visão 3D

Moura et al. (2010) Computer Modeling in Engineering & Sciences 60(2):115-138 Moura et al. (2011) Medical Engineering & Physics 33(8):924-933

Estimativa da distância entre a fonte de Raio-X e a mesa

Duas radiografias de uma coluna seca usada para validar a calibração

2013@João Manuel R. S. Tavares Imagiologia em Biomecânica 74

Page 75: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Imagiologia em Biomecânica: Sumário

Page 76: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Sumário

• A área da Visão Computacional é complexa, mas de elevado interesse em muitos domínios, em particular em Medicina

• Vários desafios existem, como, por exemplo, condições de aquisição difíceis, oclusão, formas e topologias complexas, movimentos e deformações complicadas

• Trabalho considerável já foi desenvolvido, mas existem ainda muitos desafios importantes e difíceis a resolver

• Métodos e metodologias de outras áreas do conhecimento, como da Matemática, Mecânica Computacional, Medicina e Biologia, podem contribuir para a resolução de tais desafios

• Para tal, Colaborações são Necessárias e Bem-vindas 76 Imagiologia em Biomecânica 2013@João Manuel R. S. Tavares

Page 77: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Equipa

Page 78: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Equipa (Visão Computacional)

78 Imagiologia em Biomecânica 2013@João Manuel R. S. Tavares

• Estudantes de Pós-Doutoramento (2): – Concluído: Edson Sousa – Em curso: Alexandre Carvalho

• Estudantes de Doutoramento (13): – Concluído: Daniel Moura, Teresa Azevedo, Sandra Rua, Zhen Ma, Francisco

Oliveira – Em curso: Raquel Pinho, Patrícia Gonçalves, Maria Vasconcelos, Ilda Reis,

João Nunes, Alex Araújo, Roberta Oliveira, Ana Ferreira • Estudantes de Mestrado (24):

– Concluídos: Elisa Barroso, Ana Jesus, Célia Cruz, Priscila Alves, Frederico Jacob, Daniela Sousa, Francisco Oliveira, Teresa Azevedo, Maria Vasconcelos, Raquel Pinho, Luísa Bastos, Cândida Coelho, Jorge Pereira, Carolina Tabuas, Diana Cidre, Luís Ferro

– Em curso: Gabriela Queirós, Diogo Faria, Nuno Sousa, Rita Teixeira, Pedro Gomes, Luís Ribeiro, Marlene Siva, Raquel Alves

• Estudantes de Graduação (2) – Concluídos: Ricardo Ferreira, Soraia Pimenta

Page 79: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Agradecimentos

• Os trabalhos apresentados têm vindo a ser realizados parcialmente com o apoio da Fundação para a Ciência e a Tecnologia (FCT) em Portugal, nomeadamente, através dos projetos: – PTDC/SAU-BEB/102547/2008 – PTDC/SAU-BEB/104992/2008 – PTDC/EEA-CRO/103320/2008 – UTAustin/CA/0047/2008 – UTAustin/MAT/0009/2008 – PDTC/EME-PME/81229/2006 – PDTC/SAU-BEB/71459/2006 – POSC/EEA-SRI/55386/2004

79 Imagiologia em Biomecânica 2013@João Manuel R. S. Tavares

Page 80: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Eventos & Publicações

Page 81: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

2013@João Manuel R. S. Tavares Imagiologia em Biomecânica 81

Taylor & Francis journal “Computer Methods in Biomechanics and Biomedical Engineering: Imaging & Visualization”

Page 82: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

2013@João Manuel R. S. Tavares Imagiologia em Biomecânica 82

Taylor & Francis journal “Computer Methods in Biomechanics and Biomedical Engineering: Imaging & Visualization”

http://www.tandfonline.com/tciv

Page 83: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

2013@João Manuel R. S. Tavares Imagiologia em Biomecânica 83

Lecture Notes in Computational Vision and Biomechanics (LNCV&B) Series Editors: João Manuel R. S. Tavares, Renato Natal Jorge ISSN: 2212-9391 Publisher: SPRINGER

http://www.springer.com/series/8910

Page 84: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

2013@João Manuel R. S. Tavares Imagiologia em Biomecânica 84

VipIMAGE2013 - IV ECCOMAS Thematic Conference on Computational Vision and Medical Image Processing

Madeira Island, Portugal, October 2013

http://www.fe.up.pt/vipimage

Page 85: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Webpage (www.fe.up.pt/~tavares)

2013@João Manuel R. S. Tavares Imagiologia em Biomecânica 85

Page 86: Imagiologia em Biomecânicatavares/downloads/... · intermédia II Imagem original + modelo médio Segmentação final Segmentação intermédia I 2013@João Manuel R. S. Tavares

Imagiologia em Biomecânica

João Manuel R. S. Tavares

[email protected] www.fe.up.pt/~tavares