aplicações da visão computacional em biomedicina · sumário 1. apresentação 2. visão...

Aplicações da Visão Computacional

em Biomedicina

João Manuel R. S. Tavares

[email protected] www.fe.up.pt/~tavares

Sumário

1. Apresentação

2. Visão Computacional em Biomedicina

i. Introdução

ii. Segmentação

iii. Seguimento de Movimento

iv. Análise de Objetos: Emparelhamento, Alinhamento e Simulação

v. Reconstrução 3D

3. Equipa

4. Eventos & Publicações

2 Aplicações da Visão Computacional em Biomedicina João Manuel R. S. Tavares

Apresentação

Apresentação

• Prof. Auxiliar no Dep. de Eng. Mecânica (DEMec) da FEUP

• Investigador Sénior e Coordenador de Projecto no Lab. de

Óptica e Mecânica Experimental (LOME) do INEGI

• Doutorado e Mestre em Eng. Electrotécnica e de

Computadores (FEUP) (com Tese e Dissertação na área do

Processamento e Análise de Imagem)

• Licenciado em Eng. Mecânica (FEUP)

• Áreas de Investigação: Processamento e Análise de

Imagem (segmentação, seguimento, emparelhamento, alinhamento e

reconstrução 3D), Interfaces Homem/Máquina (visualização de

dados e percepção humana), Desenvolvimento de Produto

(dispositivos biomédicos), Movimento Humano (Marcha, Postura)

João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 4

Visão Computacional

em Biomedicina: Introdução

Introdução

• O sistema sensorial de visão tem elevada importância

para grande parte dos seres vivos

– Podendo disponibilizar informações de índole básica, como

verificar a existência ou não de obstáculos, ou complexa, como o

seguimento e a análise de movimento

– Operações comuns: identificação (segmentação), seguimento e

reconhecimento de movimento (seguimento e análise),

correspondência e alinhamento (emparelhamento e

alinhamento), interpolação de formas (simulação), obtenção da

forma/informação 3D (reconstrução 3D)


Introdução

• Os investigadores da área do Processamento e Análise

de Imagem tentam desenvolver algoritmos

computacionais para realizar de forma automática, ou

semi-automática, operações e tarefas desenvolvidas

pelos (complexos) sistemas de visão dos seres vivos


Imagens

originais

Azevedo et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(3):359-369

Modelo computacional 3D

voxalizado e poligonizado

Introdução

• Algoritmos de Processamento e Análise de Imagem

são de elevado interesse para a Sociedade, sendo

frequentemente usados, por exemplo, em:

– Medicina, Biologia

– Ciências naturais, Desporto

– Engenharia, Indústria

• Exemplos de tarefas comuns envolvendo algoritmos de

Processamento e Análise de Imagem:

– Remoção de ruído, Correcção geométrica

– Segmentação, Reconhecimento (2D-4D)

– Seguimento e análise de movimento, incluindo emparelhamento,

alinhamento e simulação (2D-4D)

– Reconstrução 3D


Introdução: Processamento e Análise de Imagem – Operações e Objectivos

Aplicações da Visão Computacional em Biomedicina 9

Melhoramento

de imagem Segmentação de imagem /

extração de características

seguimento

emparelhamento

simulação

Imagem /

imagens

Análise de

movimento alinhamento

Processamento

de Imagem

Análise de Imagem /

Visão Computacional


Visão 3D

Visão por

Computador

Introdução

• (Pré-)Processamento de Imagem: suavização de ruído

por difusão anisotrópica

Aplicações da Visão Computacional em Biomedicina 10 João Manuel R. S. Tavares

Visão Computacional em

Biomedicina: Segmentação

Segmentação

• Pretende-se identificar de forma automática, ou semi-

automática, os objetos (2D/3D) presentes em imagens

estáticas ou em sequências de imagem

• As técnicas mais comuns são baseadas em

emparelhamento de protótipos, modelações

geométricas, estatísticas e físicas, e redes neuronais

• É uma das operações mais usuais em Visão

Computacional, sendo frequentemente a primeira

“grande” tarefa considerada

• Problemas envolvidos: ruído, baixa resolução, reduzido

contraste, formas não conhecidas, oclusões parciais,

múltiplas estruturas presentes, etc.


• Segmentação de contornos em pedobarografia dinâmica:

método de Otsu, operadores morfológicos, XOR


Imagens originais Após segmentação

Bastos & Tavares (2004) LNCS 3179:39-50

Segmentação

camada de contacto

+ vidro

câmara espelho

luz reflectida vidro

pressão camada opaca

lâmpada

lâmpada camada

transparente

Region Growing, x=215; y=254

Segmentação

• Segmentação de estruturas do ouvido: método de

crescimento de regiões

Imagem original Segmentação obtida

(labirinto ósseo)

Barroso et al. (2011) CNME 2011

X: 254 Y: 214

Index: 116.7

RGB: 0.459, 0.459, 0.459


Segmentação

• Segmentação do lumen da carotida em imagens B-

mode: detetor de orlas, operadores morfologicos,

seguimento de orlas

Segmentação obtida em imagens de Doppler - B-mode (3 exemplos)

Pereira & Tavares (2011) RecPad 2011, 40-41


Segmentação

• Deteção de tumores na mama a partir de imagens de

mamografia: transformada de Hough


Chagas et al. (2007) VipIMAGE 2007, 363-368

Imagem original Após segmentação

Segmentação

• Reconhecimento de objetos em imagens:

emparelhamento de imagem protótipo


Carvalho & Tavares (2005) CMNI 2005

fft fft

ift

3ift D CC 2ift D CC

max CC

Imagem original

Imagem protótipo

Segmentação

• Segmentação de caraterísticas: protótipos deformáveis

geométricos


Carvalho & Tavares (2006) CompIMAGE 2006, 129-134

Carvalho & Tavares (2007) VipIMAGE 2007, 209-215

Exemplo de um

protótipo deformável

Segmentação

• Segmentação de caraterísticas faciais:

protótipos deformáveis geométricos


Carvalho & Tavares (2006) CompIMAGE 2006, 129-134

Carvalho & Tavares (2007) VipIMAGE 2007, 209-215

Imagem original e imagens

de campos de energia (força)

Segmentação da íris usando um

protótipo deformável (circulo)

Segmentação do

olho usando um

protótipo deformável

Segmentação

• Segmentação de regiões de pele em imagens: modelos

estatísticos


Amostras de pele usadas

para construir o modelo

Imagem original e

segmentação obtida

Carvalho & Tavares (2005) CMNI 2005

Carvalho & Tavares (2008) Tékhne VI(9):245-266

Função de probabilidade

usada


Segmentação

• Segmentação do fundo da cena/objeto em sequências

de imagens: modelos estatísticos

Subtracção do

fundo

Detecção do objecto

em movimento

Vasconcelos & Tavares (2008) WCCM8 / ECCOMAS 2008

Imagens

originais


Segmentação

• Segmentação do fundo da cena/objeto em sequências

de imagens: modelos estatísticos

Subtracção do

fundo

Detecção do objecto

em movimento

Vasconcelos & Tavares (2008) WCCM8 / ECCOMAS 2008

Vasconcelos & Tavares (2011) EUROMECH Colloquium 511

Imagens originais (www.nada.kth.se/cvap/actions)

Segmentação

• Segmentação de objetos em imagens: modelos de

distribuição pontual (i. e. modelos de forma)


Vasconcelos & Tavares (2008) Computer Modeling in Engineering & Sciences 36(3):213-241

Segmentação

• Segmentação de objetos em imagens: modelos ativos

de forma



Segmentação

• Segmentação de mãos e faces em imagens: modelos

ativos de forma


Segmentações obtidas (inicial, intermédias e final)


Segmentação

• Segmentação de objectos em imagens: modelos ativos

de aparência



Segmentação

• Segmentação de faces em imagens: modelos ativos de

aparência



Imagem original e segmentações obtidas (inicial, intermédia e final)

Segmentação

• Análise do tracto vocal durante a fala partir de imagens

de ressonância magnética: modelos ativos de forma


Vasconcelos et al. (2011) Journal of Voice 25(6):732-742

Segmentação

intermédia II

Imagem

original +

modelo médio

Segmentação

final

Segmentação

intermédia I

Segmentação

• Análise do tracto vocal durante a fala partir de imagens de

ressonância magnética: modelos ativos de aparência


Vasconcelos et al. (2011) Journal of Engineering in Medicine 225(1):68-76

Vasconcelos et al. (2011) Journal of Engineering in Medicine, DOI:10.1177/0954411911431664 (in press)

Segmentações

intermédias

Segmentação

inicial

Segmentação

final

Segmentações

intermédias

Segmentação

• Segmentação de objetos em imagens: contornos ativos

(i.e. snakes)


Tavares et al. (2009) International Journal for Computational Vision and Biomechanics 2(2):209-220

Segmentação

• Segmentação de objetos em imagens: contornos ativos

(i.e. snakes)


Imagem original e

contorno inicial

Contorno final

Tavares et al. (2009) International Journal for Computational Vision and Biomechanics 2(2):209-220

Segmentação

• Segmentação de objetos em imagens: contorno

deformável, FEM, equação de Lagrange


Gonçalves et al. (2008) Computer Modeling in Engineering & Sciences 32(1):45-55

Segmentação

• Segmentação de objetos em imagens: contorno

deformável, FEM, equação de Lagrange


Imagens originais e contornos iniciais Contornos finais


borracha

k = 200N/m

14s

Segmentação

• Segmentação de objetos em imagens: métodos de level

set


Ma et al. (2010) Medical Engineering & Physics 32(7):766-774

Ma et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(2):235-246

Segmentação

• Segmentação de objetos em imagens médicas: método

de level set


Imagem original Segmentação inicial Segmentação final

Perdigão et al. (2005) Encontro_1_Biomecânica, 81-85

Segmentação

• Segmentação de bifurcação da carótida em imagens de

Doppler: métodos de contornos ativos e de level set


Segmentação usando um modelo de

contornos ativos (Yessi)

Silva et al. (2011) VipIMAGE 2011, 117-122

Segmentação usando um modelo de

level set (Chan-Vese)

Segmentação

• Segmentação de objetos em imagens: métodos de level

set, conhecimento prévio



Segmentação

• Segmentação do pavimento pélvico feminino a partir de

imagens de ressonância magnética: método de level set,

conhecimento prévio



Segmentação do pavimento pélvico

Segmentação

• Segmentação de órgãos da cavidade pélvica feminina a

partir de imagens de ressonância magnética: modelos de

level set, conhecimento prévio


Ma et al. (2011) Computers in Biology and Medicine (submitted)

Ma et al. (2011) The International Journal for Numerical Methods in Biomedical Engineering (accepted)

Segmentação de órgãos (bexiga, pavimento pélvico, ânus) da cavidade pélvica

(3 exemplos)

Segmentação

• Segmentação da bexiga a partir de imagens de

ressonância magnética: modelos de level set,

conhecimento prévio

Ma et al. (2011) Annals of Biomedical Engineering 39(8):2287-2297

Segmentação das paredes internas e externas da bexiga (3 exemplos)


Segmentação

• Nova plataforma para segmentação de imagens

médicas (VC++, OpenCV, ITK)


Interface da plataforma

Ma et al. (2008) CMBBE 2008


Segmentação

• Segmentação de órgãos da cavidade pélvica da mulher

a partir de imagens de ressonância magnética: nova

plataforma



Crescimento de regiões Watershed

Método de Malladi Contorno ativo geodésico Level-set framework


Biomedicina: Seguimento

Seguimento

• Pretende-se seguir o movimento e/ou a deformação de

estruturas em sequências de imagem (2D/3D)

• Nesta área, destacam-se as técnicas baseadas em fluxo

óptico, emparelhamento de blocos e em métodos

estocásticos

• Usualmente, envolve a estimativa do movimento

envolvido, a gestão das entidades seguidas, a análise

do movimento seguido bem como a sua quantificação

• Problemas envolvidos: movimento não rígido, distorção

geométrica, condições de iluminação variáveis,

oclusão, ruído, múltiplas estruturas, etc.


Seguimento

• Plataforma desenvolvida para

seguimento de entidades (pontos

/ rectas) em sequências de

imagem: filtro de Kalman ou

filtro Unscented Kalman,

otimização, distância de

Mahalanobis, modelo de

gestão


Pinho et al. (2007) Int. Journal of Simulation Modelling 6(2):84-92

Pinho & Tavares (2009) VipIMAGE 2009, 299-304

Pinho & Tavares (2009) Computer Modeling in Engineering &

Sciences 46(1):51-75


Seguimento

• Seguimento de marcas em análise da marcha: filtro de

Kalman, distância de Mahalanobis, otimização, modelo

de gestão


Previsão Incerteza Medição Correspondência Resultado

Pinho et al. (2005) ICCB 2005, 915-926

Pinho & Tavares (2009) Computer Modeling in Engineering & Sciences 46(1):51-75

(5 frames)



Sousa et al. (2007) ISHF2007, 331-340

Sousa et al. (2007) ICCB2007, 291-296

Seguimento

• Análise da marcha com deteção de

eventos: filtro de Kalman, distância

de Mahalanobis, otimização

48 Aplicações da Visão Computacional em Biomedicina

Pinho et al. (2005) LSCCS, Vol. 4A:463-466

Pinho et al. (2007) International Journal of Simulation Modelling 6(2):84-92

(547 frames)

Seguimento

• Seguimento de ratos em sequências longas de imagem:

filtro de Kalman, distância de Mahalanobis, otimização,

modelo de gestão



Seguimento

• Seguimento de ratos numa sequência de imagem real:

filtro de Kalman (KF) e filtro Unscented Kalman (UKF)

#15 #16 #17

KF

UKF

(22 frames)


+ previsão

x medição

x correcção


Seguimento


filtro de Kalman (KF) e filtro Unscented Kalman (UKF) –

cont.

Resultados do filtro de

Kalman

Resultados do filtro Unscented

Kalman


(22 frames)


Seguimento


filtro de Kalman (KF) e filtro Unscented Kalman (UKF) –

cont.


(22 frames)

Erro de seguimento (previsão/estado real)


Biomedicina: Emparelhamento,

Alinhamento e Simulação –

Análise de Objetos

Análise de Objetos

• Emparelhamento

– É uma das tarefas mais usuais em Visão Computacional, por

exemplo, para alinhar estruturas, reconhecer estruturas, obter

informação 3D, analisar movimento, etc.

– Geralmente é conseguido através da consideração de

características invariantes, como a curvatura, ou de

deslocamentos (assinaturas) em espaços globais/próprios,

como no espaço modal ou de Fourier

– Problemas envolvidos: oclusão, deformações não rígidas,

variações elevadas de forma, etc.


Emparelhamento

• Emparelhamento de contornos em imagens: modelação

física/geométrica, análise modal, otimização


Bastos & Tavares (2006) Inverse Problems in Science and Engineering 14(5):529-541

Tavares & Bastos (2010) Progress in Computer Vision and Image Analysis, 339-368


• Emparelhamento de contornos em pedobarografia

dinâmica: FEM, análise modal, otimização

Emparelhamento


Imagens originais Contornos

emparelhados


Tavares & Bastos (2010) Progress in Computer Vision and Image Analysis, 339-368


camada de contacto

+ vidro

câmara espelho

luz reflectida vidro

pressão camada opaca

lâmpada

lâmpada camada

transparente

Emparelhamento

• Emparelhamento de contornos e superfícies em

pedobarografia dinâmica: FEM, análise modal, otimização


Imagem de

pedobarografia

dinâmica

Tavares & Bastos (2005) Electronic Letters on Computer Vision and Image Analysis 5(3):1-20

Emparelhamento de

dois contornos

Emparelhamento entre duas superfícies de intensidade (pressão) (2 vistas)

Emparelhamento entre iso-contornos (2 vistas)


• Emparelhamento de contornos e superfícies em

pedobarografia dinâmica: FEM, análise modal,

otimização


Emparelhamentos obtidos

entre iso-contornos

Emparelhamentos obtidos

entre superfícies


Tavares & Bastos (2005) Electronic Letters on Computer Vision and Image Analysis 5(3):1-20

Emparelhamento

Análise de Objetos

• Alinhamento

– É uma tarefa habitualmente necessária para comparar objetos

representados em imagens adquiridas em instantes de tempo

distintos ou segundo diferentes condições/técnicas

– O alinhamento é geralmente essencial, por exemplo, em medicina

para analisar a evolução de patologias a partir de imagens

– Geralmente é conseguido através da consideração de

características invariantes, como pontos de curvatura máxima,

emparelhamento e estimativa da transformação envolvida

– Problemas envolvidos: características não determinadas

facilmente, deformações não rígidas, variações elevadas de

forma, etc.


Alinhamento

• Alinhamento de contornos em imagens: modelação

geométrica/física, otimização, programação dinâmica

Oliveira & Tavares (2008) Computer Modeling in Engineering & Sciences 31(11):1-11


Alinhamento

• Alinhamento de contornos em imagens: modelação

geométrica, otimização, programação dinâmica

Imagens originais e

contornos extraídos

Contornos

emparelhados antes

do alinhamento

Contornos após

alinhamento




Alinhamento

• Alinhamento de imagens de pedobarografia: modelação

geométrica, otimização, programação dinâmica

Imagens originais e contornos

extraídos Contornos emparelhados e imagens

antes e após alinhamento

Oliveira et al. (2009) Journal of Biomechanics 42(15):2620-2623


Alinhamento

• Alinhamento de imagens de pedobarografia:

transformada de Fourier

Imagens originais Imagens antes e após

alinhamento

Oliveira et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(6):731-740


Alinhamento

• Alinhamento de imagens de pedobarografia: método

híbrido: Alinhamento de Contornos ou Alinhamento

baseado na transformada de Fourier + Otimização de

semelhança (MSE/MI/XOR)

Imagens originais, antes e após

alinhamento Oliveira & Tavares 2011 Medical & Biological

Engineering & Computing 49(3):313-323


Alinhamento

• Alinhamento de imagens de pedobarografia para

identificação (esq. / direito), extração de medidas e

índices

Imagens originais, após normalização,

contornos e áreas identificadas

Oliveira et al. 2011 Computer Methods in

Biomechanics and Biomedical Engineering, DOI:

10.1080/10255842.2011.581239 (in press)


Alinhamento

• Alinhamento de imagens de uma mesma modalidade:

alinhamento de contornos

Suavização

Extracção do contorno

Extracção

do

contorno

Binarização


Alinhamento


alinhamento de contornos - cont.

Imagens

a alinhar

Contornos antes/após

emparelhamento




Alinhamento


alinhamento de contornos - cont.

67

Imagens

Alinhadas

Imagem

originais

Soma

Soma Diferença




Alinhamento


maximização direta da correlação cruzada (transformada

de Fourier)

68

Imagens

Alinhadas

Imagem originais

(RM - proton density)

Soma

Soma Diferença

Oliveira et al. (2010) Computer Methods in

Biomechanics and Biomedical

Engineering 13(6):731-740


Alinhamento


otimização pelo Método de Powell de medida de

semelhança (MSE)

69

Imagens

Alinhadas

Imagem

originais (RX)

Soma

Soma Diferença

Oliveira et al. (2011) Medical &

Biological Engineering &

Computing 49(3):313-323


ROI para cálculo

da MSE

Alinhamento

• Alinhamento intermodal (CT/RM): otimização pelo

Método de Powell de medida de semelhança (MI)

70

Imagens

Alinhadas

Imagem

originais

CT RM CT+RM

CT+RM Diferença CT+RM



Computing 49(3):313-323


Imagem modelo Imagem a alinhar

Imagem alinhada

Pré-alinhamento usando transformação rígida

Novo pré-alinhamento usando transformação afim

Alinhamento curvo “grosseiro” usando B-splines

Alinhamento “fino” usando B-splines

Metodologia implementada com recurso ao Insight Toolkit (ITK)


Alinhamento

• Otimização iterativa e alinhamento 3D curvo usando B-

splines

71

Princípio

– Após alinhamento global, é realizado um alinhamento local do

tipo free-form deformation

• Otimização iterativa e alinhamento 3D curvo usando B-

splines


Alinhamento

72

• Alinhamento de imagens 3D: otimização iterativa,

alinhamento 3D Xadrez das imagens pré-alinhamento (CT, tórax – mesma pessoa, Δt: 8.5 meses)

(xadrez - construído substituindo algumas partes (voxels) da imagem modelo pelas partes da

imagem a alinhar que têm as mesmas coordenadas das partes retiradas à imagem modelo)


Alinhamento

73

Xadrez das imagens pós-alinhamento (Semelhança: MI, Transf.: rígida)


Alinhamento


alinhamento 3D

74

Xadrez das imagens pós-alinhamento (Semelhança: MI, Transf.: B-splines cúbicas)


Alinhamento


alinhamento 3D

75



alinhamento 3D

Xadrez das imagens pré-alinhamento (CT, cérebro – duas pessoas)

Alinhamento

76



alinhamento 3D

Xadrez das imagens pós-alinhamento (Semelhança: MI, Transf.: afim)

Alinhamento

77



alinhamento 3D

Xadrez das imagens pós-alinhamento (Semelhança: MI, Transf.: B-splines cúbicas)

Alinhamento

78

Oliveira & Tavares (2011) Computer Methods in Biomechanics and Biomedical Engineering (submitted)

Alinhamento

Alinhamento

Transformação

geométrica

Alinhamento

Transformação

geométrica

… … …

Transformação

geométrica


• Alinhamento de imagens: usando multi-resolução

Alinhamento

79

Xadrez das imagens pré-alinhamento (CT/MR-PD, cérebro, mesmo paciente)


• Alinhamento de imagens 3D: multi-resolução,

otimização iterativa, alinhamento 3D

Alinhamento

80

Xadrez das imagens pós-alinhamento (Semelhança: MI, Transf.: rígida)


• Alinhamento de imagens 3D: multi-resolução,

otimização iterativa, alinhamento 3D

Alinhamento

81

Alinhamento

• Alinhamento de sequências de imagem 2D: alinhamento

espacial e temporal



Computing 49(7):843-850


Alinhamento

• Alinhamento de sequências de imagem 2D de

pedobarografia dinâmica: alinhamento espacial e

temporal

83

Sequências originais

antes do alinhamento

Sequências pré-

processadas

Sequências de

imagem originais

Sequências após

alinhamento

camada de contacto

+ vidro

câmara espelho




Computing 49(7):843-850

Alinhamento

• Alinhamento de sequências de imagem 2D de

pedobarografia dinâmica: alinhamento espacial e

temporal

84

Sequências originais

antes do alinhamento

Sequências pré-

processadas

Sequências de

imagem originais

Sequências após

alinhamento




Computing 49(7):843-850

Análise de Objectos

• Simulação

– É uma tarefa muito usada em Computação Gráfica (morphing)

mas também muito útil em Visão Computacional, por exemplo,

para estimar a deformação existente entre duas estruturas

distintas ou entre dois instantes de uma mesma estrutura,

estimar as transições entre duas formas adquiridas com

espaçamento temporal elevado, etc.

– Geralmente é conseguida através da consideração de

transformações geométricas

– No entanto, quando se deve considerar o comportamento físico

das estruturas envolvidas, devem ser usadas metodologias e

modelações físicas (por exemplo, usando FEM)

• Dificuldades comuns são relativas à estimativas das forças

envolvidas e das propriedades adoptadas para os materiais

• Fase de emparelhamento das estruturas torna-se crucial


Simulação


• Simulação (morphing) física de contornos em imagens:

FEM, análise modal, otimização, eq. de Lagrange


• Simulação de contornos em imagens: FEM, análise

modal, otimização,

equação de Lagrange

Emparelhamento

obtido

Deformações

simuladas

Simulação


Tavares & Pinho (2005) Journal of Computer Science 4(1):9-18


Imagens originais


• Simulação de contornos em imagens: FEM, análise

modal, otimização, equação de Lagrange


Emparelhamentos

obtidos

Deformações

simuladas

Emparelhamentos

obtidos Deformações

simuladas

Imagens originais

Simulação

Tavares & Pinho (2005) Journal of Computer Science 4(1):9-18



Biomedicina: Reconstrução 3D

Reconstrução 3D

• Pretende-se obter a forma 3D de objectos ou a

informação 3D de cenas a partir de imagens 2D

• Nesta área, destacam-se: 1) formas exteriores: técnicas

ativas (com projecção de energia ou movimento relativo),

passivas (sem projecção de energia ou movimento relativo)

e de escavação espacial; 2) formas interiores:

segmentação 2D (i.e. contornos) e interpolação, e

segmentação 3D

• Usualmente, envolve tarefas de calibração,

segmentação, emparelhamento, triangulação e

interpolação

• Problemas envolvidos: distorção geométrica, iluminação

variável, oclusão, ruído, formas complexas, etc.


Reconstrução 3D

• Reconstrução 3D de objetos a partir de slices:

segmentação 2D, Delaunay, marching cubes

Perdigão et al. (2005) CMNI 2005

Pimenta et al. (2006) CompIMAGE 2006, 343-348

Alexandre et al. (2007) VipIMAGE 2007, 359-362


Reconstrução 3D

• Reconstrução 3D de órgãos a partir de imagens

médicas: segmentação 2D, Delaunay, marching cubes

Segmentação realizada num

slice e reconstrução 3D obtida

Órgãos do braço reconstruidos 3D Perdigão et al. (2005) CMNI 2005


Reconstrução 3D

• Reconstrução 3D de órgãos da cavidade pélvica

feminina partir de imagens de ressonância magnética:

segmentação 2D, loft, suavização


Segmentação 2D

realizada num slice Pavimento pélvico

reconstruído 3D

Órgãos da cavidade

pélvica reconstruídos 3D

Pimenta et al. (2006) CompIMAGE 2006, 343-348

Alexandre et al. (2007) VipIMAGE 2007, 359-362

slices

Reconstrução 3D

• Reconstrução 3D de cenas a partir de sequências de

imagem: visão estéreo densa


Azevedo et al. (2006) VISAPP 2006, 383-388

Reconstrução 3D

• Reconstrução 3D de uma cena a partir de par de

imagens: visão estéreo densa


Mapa de disparidade

obtido Par de imagens original

Azevedo et al. (2006) VISAPP 2006, 383-388

Reconstrução 3D

• Reconstrução 3D de objetos a partir de sequências de

imagem: escavação espacial


Azevedo et al. (2008) Advances in Computational Vision and Medical Image Processing: Methods and

Applications, 117-136

Reconstrução 3D




Azevedo et al. (2008) Advances in Computational Vision and Medical Image Processing: Methods and

Applications, 117-136


Imagens originais Modelo computacional 3D obtido


Reconstrução 3D





Imagens originais Modelo computacional 3D obtido


• Reconstrução 3D da coluna a partir de duas

radiografias 2D e usando um modelo deformável (atlas)

Reconstrução 3D


Moura et al. (2010) Computer Modeling in Engineering & Sciences 60(2):115-138

Moura et al. (2011) Medical Engineering & Physics 33(8):924-933

Interface desenvolvida Modelo ajustado (duas vistas) e

reconstrução obtida

• Reconstrução 3D a partir de radiografias 2D: calibração

Reconstrução 3D




Método

desenvolvido

Calibração de um sistema

de Raio-X

• Reconstrução 3D a partir de radiografias 2D: calibração

Reconstrução 3D




Estimativa da distância entre a

fonte de Raio-X e a mesa

Duas radiografias de uma coluna seca usada para

validar a calibração e reconstrução 3D obtida


Biomedicina: Sumário

Sumário

• A área da Visão Computacional é complexa e exigente,

mas de elevado interesse em muitos domínios, em

particular em Medicina

• Vários desafios existem, como, por exemplo, condições

de aquisição difíceis, oclusão, formas e topologias

complexas, movimentos complicados

• Trabalho considerável já foi desenvolvido, mas existem

ainda muitos desafios importantes e difíceis a resolver

• Métodos e metodologias de outras áreas do

conhecimento, como da Matemática, Mecânica

Computacional, Medicina e Biologia, podem contribuir para

a resolução de tais desafios

• Para tal, Colaborações são Necessárias e Bem-vindas 103 Aplicações da Visão Computacional em Biomedicina João Manuel R. S. Tavares

Equipa

Equipa (Visão Computacional)

• Estudantes de Doutoramento (13):

– Concluído: Daniel Moura, Teresa Azevedo

– Em curso: Raquel Pinho, Patrícia Gonçalves, Maria Vasconcelos,

Ilda Reis, Zhen Ma, Elza Chagas, Francisco Oliveira, António

Gomes, João Nunes, Alex Araújo, Sandra Rua

• Estudantes de Mestrado (20):

– Concluídos: Elisa Barroso, Ana Jesus, Célia Cruz, Priscila Alves,

Frederico Jacob, Daniela Sousa, Francisco Oliveira, Teresa

Azevedo, Maria Vasconcelos, Raquel Pinho, Luísa Bastos, Cândida

Coelho, Jorge Gonçalves

– Em curso: Jorge Pereira, Carolina Tabuas, Gabriela Queiros, Diana

Cidre, Diogo Faria, Nuno Mafra, Luís Ferro

• Estudantes de pré-Graduação (2)

– Concluídos: Ricardo Ferreira, Soraia Pimenta 105 Aplicações da Visão Computacional em Biomedicina João Manuel R. S. Tavares

Agradecimentos

• Os trabalhos apresentados têm vindo a ser realizados

parcialmente com o apoio da Fundação para a Ciência e a

Tecnologia (FCT) em Portugal, nomeadamente, através

dos projetos:

– PTDC/SAU-BEB/102547/2008

– PTDC/SAU-BEB/104992/2008

– PTDC/EEA-CRO/103320/2008

– UTAustin/CA/0047/2008

– UTAustin/MAT/0009/2008

– PDTC/EME-PME/81229/2006

– PDTC/SAU-BEB/71459/2006

– POSC/EEA-SRI/55386/2004

106 Aplicações da Visão Computacional em Biomedicina João Manuel R. S. Tavares

Eventos & Publicações

Webpage (www.fe.up.pt/~tavares)


../../../myweb/index.html

Aplicações da Visão Computacional

em Biomedicina


[email protected] www.fe.up.pt/~tavares

aplicações da visão computacional em biomedicina · sumário 1. apresentação 2. visão...

Documents