análise de objectos em imagens: técnicas e aplicaçõestavares/downloads/... · segmentação •...

Análise de Objectos em Imagens:

Técnicas e Aplicações

João Manuel R. S. Tavares

[email protected] www.fe.up.pt/~tavares

Sumário

1. Apresentação

2. Análise de Objectos em Imagens

I. Introdução

II. Segmentação

III. Seguimento de Movimento

IV. Emparelhamento, Alinhamento e Simulação

V. Reconstrução 3D

3. Equipa

4. Eventos & Publicações

2 Análise de Objectos em Imagens: Técnicas e Aplicações João Manuel R. S. Tavares

Apresentação

Apresentação

• Prof. Auxiliar no Dep. de Eng. Mecânica (DEMec) da Fac.

de Eng. da Universidade do Porto (FEUP)

• Investigador Sénior e Coordenador de Projecto no Lab. de

Óptica e Mecânica Experimental (LOME) do Instituto de

Eng. Mecânica e Gestão Industrial (INEGI)

• Doutorado e Mestre em Eng. Electrotécnica e de

Computadores (FEUP) (com Tese e Dissertação na área do

Processamento e Análise de Imagem)

• Licenciado em Eng. Mecânica (FEUP)

• Áreas de Investigação: Processamento e Análise de

Imagem (segmentação, seguimento, emparelhamento, alinhamento e

reconstrução 3D), Interfaces Homem/Máquina (visualização de

dados e percepção humana), Desenvolvimento de Produto (sistemas protótipos biomédicos), Movimento e Postura Humana

João Manuel R. S. Tavares Análise de Objectos em Imagens: Técnicas e Aplicações 4

Análise de Objectos

em Imagens

Introdução

• O sistema sensorial de visão tem elevada importância

para grande parte dos seres vivos

– Podendo disponibilizar informações de índole básica, como

verificar a existência ou não de obstáculos, ou complexa, como o

seguimento e a análise de movimento

– Operações comuns: identificação (segmentação), seguimento e

reconhecimento de movimento (seguimento e análise),

correspondência e alinhamento (emparelhamento e

alinhamento), interpolação de formas (simulação), obtenção da

forma/informação 3D (reconstrução 3D)


Introdução

• Os investigadores da área Análise de Imagem tentam

desenvolver algoritmos computacionais para realizar de

forma automática, ou semi-automática, operações e

tarefas desenvolvidas pelos (complexos) sistemas de

visão dos seres vivos


Imagens

originais

Azevedo et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(3):359-369

Modelo computacional 3D

voxalizado e poligonizado

Introdução

• Algoritmos de Análise de Objectos em Imagens são de

elevado interesse para a Sociedade, sendo

frequentemente usados, por exemplo, em:

– Medicina, Biologia

– Ciências naturais, Desporto

– Engenharia, Indústria

• Exemplos de tarefas comuns envolvendo algoritmos de


– Segmentação, Reconhecimento (2D-4D)

– Seguimento e análise de movimento, incluindo emparelhamento,

alinhamento e simulação (2D-4D)

– Reconstrução 3D


Introdução: Análise de Objectos em Imagens – Operações e Objectivos

Análise de Objectos em Imagens: Técnicas e Aplicações 9

Melhoramento

de imagem Segmentação de imagem /

extracção de características

seguimento

emparelhamento

simulação

Imagem /

imagens

Análise de

movimento alinhamento

Processamento

de Imagem

Análise de Imagem /

Visão Computacional


Visão 3D

Visão por

Computador

Análise de Objectos em Imagens: Técnicas e Aplicações 10 João Manuel R. S. Tavares

Introdução

• (Pré-)Processamento de Imagem: suavização de ruído

por difusão anisotrópica


em Imagens: Segmentação

Segmentação

• Pretende-se identificar de forma automática, ou semi-

automática, os objectos (2D/3D) presentes em imagens

estáticas ou em sequências de imagem

• As técnicas mais comuns são baseadas em

emparelhamento de protótipos, modelações

geométricas, estatísticas e físicas, e redes neuronais

• É uma das operações mais usuais em Visão

Computacional, sendo frequentemente a primeira

“grande” tarefa considerada

• Problemas envolvidos: ruído, baixa resolução, reduzido

contraste, formas não conhecidas, oclusões parciais,

múltiplos objectos presentes, etc.


• Segmentação de contornos em pedobarografia dinâmica:

método de Otsu, operadores morfológicos


Imagens originais Após segmentação

Bastos & Tavares (2004) LNCS 3179:39-50

Segmentação

camada de contacto

+ vidro

câmara espelho

luz reflectida vidro

pressão camada opaca

lâmpada

lâmpada camada

transparente

Segmentação

• Análise do dano em materiais: binarização e análise de

regiões


Imagem original Após segmentação

Região do dano Medidas obtidas

Marques et al. (2009) Composites Science and Technology 69(14):2376-2382

Albuquerque et al. (2010) Journal of Composite Materials 44(9):1139-1159

Region Growing, x=215; y=254

Segmentação

• Segmentação de estruturas do ouvido: método de

crescimento de regiões


Imagem original Segmentação obtida

(labirinto ósseo)

Barroso et al. (2011) CNME

X: 254 Y: 214

Index: 116.7

RGB: 0.459, 0.459, 0.459

Segmentação

• Medição de dureza de materiais: método de Johannsen

and Bille, crescimento de regiões


Dureza Vickers Dureza Brinell

Filho et al. (2010) Journal of Testing and Evaluation 38(1):88-94

Segmentação

• Análise de microestruturas em materiais: rede neuronal


Imagens originais Após segmentação

Albuquerque et al. (2008) Nondestructive Testing and Evaluation 23(4):273-283

Albuquerque et al. (2009) NDT & E International 42(7):644-651

Segmentação

• Análise das fases secundárias em materiais em imagens

de microscopia electrónica de varrimento: rede neuronal


Imagem original Imagem segmentada

Albuquerque et al. (2011) Microscopy Research and Technique 74(1):36-46

Segmentação

• Análise de porosidade de materiais a partir de imagens

de microscopia óptica: rede neuronal


Imagem original e pixels de treino Imagem segmentada

Albuquerque et al. (2010) Journal of Microscopy 240(1):50-59

Segmentação

• Controlo de um sistema por

linguagem gestual: histogramas de

orientação


Tavares et al. (2005) International Journal of Advanced Robotic Systems 2(1):39-44

Modo de Execução

Modo de Aprendizagem

Conversão para 256

níveis de cinzento

Cálculo e registo

dos histogramas de

orientação de

cada ordem

1 2

3 4

Aquisição de imagens

de ordem (uma a uma)

Working

g

Aquisição de

imagem de ordem

Conversão para 256

níveis de cinzento

Comparação do histograma

da nova imagem com os

histogramas das imagens de

ordem treinadas

Execução da

ordem

reconhecida

1 3 4

1 2 4

1 2 3

2 3 4

4

2

1

Working

g

Segmentação

• Detecção de tumores na mama a partir de imagens de

mamografia: transformada de Hough


Chagas et al. (2007) VIPimage 2007, 363-368

Imagem original Após segmentação

Segmentação

• Reconhecimento de objectos em imagens:

emparelhamento de imagem protótipo


Carvalho & Tavares (2005) CMNI 2005

fft fft

ift

3ift D CC 2ift D CC

max CC

Imagem original

Imagem protótipo

Segmentação

• Segmentação de características: protótipos

deformáveis geométricos


Carvalho & Tavares (2006) CompIMAGE 2006, 129-134

Carvalho & Tavares (2007) VipIMAGE 2007, 209-215

Exemplo de um

protótipo deformável

Segmentação

• Segmentação de características faciais:

protótipos deformáveis geométricos


Carvalho & Tavares (2006) CompIMAGE 2006, 129-134

Carvalho & Tavares (2007) VipIMAGE 2007, 209-215

Imagem original e imagens

de campos de energia (força)

Segmentação da íris usando um

protótipo deformável (circulo)

Segmentação do

olho usando um

protótipo deformável

Segmentação

• Segmentação de regiões de pele em imagens: modelos

estatísticos


Amostras de pele usadas

para construir o modelo

Imagem original e

segmentação obtida

Carvalho & Tavares (2005) CMNI 2005

Carvalho & Tavares (2008) Tékhne VI(9):245-266

Função de probablidade

usada


Segmentação

• Segmentação do fundo da cena/objecto em sequências

de imagens: modelos estatísticos

Subtracção do

fundo

Detecção do objecto

em movimento

Vasconcelos & Tavares (2008) WCCM8 / ECCOMAS 2008

Imagens

originais


Segmentação

• Segmentação do fundo da cena/objecto em sequências

de imagens: modelos estatísticos

Modelação e Subtracção

do fundo

Detecção do objecto

em movimento

Vasconcelos & Tavares (2008) WCCM8 / ECCOMAS 2008

Vasconcelos & Tavares (2011) EUROMECH Colloquium 511

Imagens originais (www.nada.kth.se/cvap/actions)

Segmentação

• Segmentação de objectos em imagens: modelos de

distribuição pontual (i. e. modelos de forma)


Vasconcelos & Tavares (2008) Computer Modeling in Engineering & Sciences 36(3):213-241

Segmentação

• Segmentação de objectos em imagens: modelos

activos de forma



Segmentação

• Segmentação de mãos e faces em imagens: modelos

activos de forma


Segmentações obtidas (inicial, intermédias e final)


Segmentação

• Segmentação de objectos em imagens: modelos

activos de aparência



Segmentação

• Segmentação de faces em imagens: modelos activos de

aparência



Imagem original e segmentações obtidas (inicial, intermédia e final)

Segmentação

• Análise do tracto vocal durante a fala partir de imagens

de ressonância magnética: modelos activos de forma


Vasconcelos et al. (2010) Journal of Voice, doi:10.1016/j.jvoice.2010.05.002 (in press)

Segmentação

internmédia II

Imagem

original +

modelo médio

Segmentação

final

Segmentação

intermédia I

Segmentação

• Análise do tracto vocal durante a fala partir de imagens de

ressonância magnética: modelos activos de aparência


Vasconcelos et al. (2010) Journal of Voice, doi:10.1016/j.jvoice.2010.05.002 (in press)

Vasconcelos et al. (2011) Journal of Engineering in Medicine 225(1):68-76

Segmentações

intermédias

Segmentação

inicial

Segmentação

final

Segmentações

intermédias

Segmentação

• Segmentação de objectos em imagens: contornos

activos (i.e. snakes)


Tavares et al. (2009) International Journal for Computational Vision and Biomechanics 2(2):209-220

Segmentação

• Segmentação de objectos em imagens: contornos

activos (i.e. snakes)


Imagem original e

contorno inicial

Contorno final

Tavares et al. (2009) International Journal for Computational Vision and Biomechanics 2(2):209-220

Segmentação

• Segmentação de objectos em imagens: contorno

deformável, FEM, equação de Lagrange


Gonçalves et al. (2008) Computer Modeling in Engineering & Sciences 32(1):45-55

Segmentação

• Segmentação de objectos em imagens: contorno

deformável, FEM, equação de Lagrange


Imagens originais e contornos iniciais Contornos finais


borracha

k = 200N/m

14s

Segmentação

• Segmentação de objectos em imagens: métodos de

level set


Ma et al. (2010) Medical Engineering & Physics 32(7):766-774

Ma et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(2):235-246

Segmentação

• Segmentação de objectos em imagens médicas: método

de level set


Imagem original Segmentação inicial Segmentação final

Perdigão et al. (2005) Encontro_1_Biomecânica, 81-85

Segmentação

• Segmentação do pavimento pélvico a partir de imagens

de ressonância magnética: método de level set,

conhecimento prévio



• Segmentação do pavimento pélvico feminino a partir de

imagens de ressonância magnética: método de level set,


Segmentação



Segmentação do pavimento pélvico

Segmentação

• Segmentação de órgãos da cavidade pélvica feminina a

partir de imagens de ressonância magnética: modelos de

level set, conhecimento prévio


Ma et al. (2011) Computers in Biology and Medicine (submitted)

Segmentação em simultâneo de órgãos (bexiga, pavimento pélvico, ânus) da

cavidade pélvica (3 exemplos)

Segmentação

• Segmentação da bexiga a partir de imagens de

ressonância magnética: modelos de level set,



Ma et al. (2011) Annals of Biomedical Engineering, DOI: 10.1007/s10439-011-0324-3 (in press)

Segmentação das paredes internas e externas da bexiga (3 exemplos)

Segmentação

• Nova plataforma para segmentação de imagens

médicas (VC++, OpenCV, ITK)


Interface da plataforma

Ma et al. (2008) CMBBE 2008


Segmentação

• Segmentação de órgãos da cavidade pélvica da mulher

a partir de imagens de ressonância magnética: nova

plataforma



Crescimento de regiões Watershed

Método de Malladi Contorno activo geodesico Level-set framework


em Imagens: Seguimento

Seguimento

• Pretende-se seguir o movimento e/ou a deformação de

objectos em sequências de imagem (2D/3D)

• Nesta área, destacam-se as técnicas baseadas em fluxo

óptico, emparelhamento de blocos e em métodos

estocásticos

• Usualmente, envolve a estimativa do movimento

envolvido, a gestão das entidades seguidas, a análise

do movimento seguido bem como a sua quantificação

• Problemas envolvidos: movimento não rígido, distorção

geométrica, condições de iluminação variáveis,

oclusão, ruído, múltiplas estruturas, etc.


Seguimento

• Análise da propagação de fendas em materiais:

detecção da fenda em cada imagem por fluxo óptico


Richter-Trummer (2009) ESMC2009, 223-224

Richter-Trummer (2011) Materialwissenschaft und Werkstofftechnik 42(5):452-459


Setup experimental Detecção da propagação de uma fenda ao

longo de uma sequencia de imagens

Seguimento

• Plataforma desenvolvida para

seguimento de entidades (pontos

/ rectas) em sequências de

imagem: filtro de Kalman ou

filtro Unscented Kalman,

optimização, distância de

Mahalanobis, modelo de

gestão


Pinho et al. (2007) Int. Journal of Simulation Modelling 6(2):84-92

Pinho & Tavares (2009) VipIMAGE 2009, 299-304

Pinho & Tavares (2009) Computer Modeling in Engineering &

Sciences 46(1):51-75


Seguimento

• Seguimento de marcas em análise da marcha: filtro de

Kalman, distância de Mahalanobis, optimização, modelo

de gestão


Previsão Incerteza Medição Correspondência Resultado

Pinho et al. (2005) ICCB 2005, 915-926

Pinho & Tavares (2009) Computer Modeling in Engineering & Sciences 46(1):51-75

(5 frames)



Sousa et al. (2007) ISHF2007, 331-340

Sousa et al. (2007) ICCB2007, 291-296

Seguimento

• Análise da marcha com detecção de

eventos: filtro de Kalman, distância

de Mahalanobis, optimização

53 Análise de Objectos em Imagens: Técnicas e Aplicações

Pinho et al. (2005) LSCCS, Vol. 4A:463-466

Pinho et al. (2007) International Journal of Simulation Modelling 6(2):84-92

(547 frames)

Seguimento

• Seguimento de ratos em sequências longas de imagem:

filtro de Kalman, distância de Mahalanobis,

optimização, modelo de gestão



Seguimento

• Seguimento de ratos numa sequência de imagem real:

filtro de Kalman (KF) e filtro Unscented Kalman (UKF)

#15 #16 #17

KF

UKF

(22 frames)


+ previsão

x medição

x correcção


Seguimento


filtro de Kalman (KF) e filtro Unscented Kalman (UKF) –

cont.

Resultados do filtro de

Kalman

Resultados do filtro Unscented

Kalman


(22 frames)


Seguimento


filtro de Kalman (KF) e filtro Unscented Kalman (UKF) –

cont.


(22 frames)

Erro de seguimento (previsão/estado real)


Emparelhamento, Alinhamento

e Simulação


• Emparelhamento

– É uma das tarefas mais usuais em Visão Computacional, por

exemplo, para alinhar estruturas, reconhecer estruturas, obter

informação 3D, analisar movimento, etc.

– Geralmente é conseguido através da consideração de

características invariantes, como a curvatura, ou de

deslocamentos (assinaturas) em espaços globais/próprios,

como no espaço modal ou de Fourier

– Problemas envolvidos: oclusão, deformações não rígidas,

variações elevadas de forma, etc.



• Alinhamento

– É uma tarefa habitualmente necessária para comparar objectos

representados em imagens adquiridas em instantes de tempo

distintos ou segundo diferentes condições/técnicas

– O alinhamento é essencial, por exemplo, em medicina para

analisar a evolução de patologias a partir de imagens

– Geralmente é conseguido através da consideração de

características invariantes, como pontos de curvatura máxima,

emparelhamento e estimativa da transformação envolvida

– Problemas envolvidos: características não determinadas

facilmente, deformações não rígidas, variações elevadas de

forma, etc.



• Simulação

– É uma tarefa muito usada em Computação Gráfica (morphing)

mas também muito útil em Visão Computacional, por exemplo,

para estimar a deformação existente entre dois objectos

distintos ou entre dois instantes de um mesmo objecto, estimar

as transições entre duas formas adquiridas com espaçamento

temporal elevado, etc.

– Geralmente é conseguida através da consideração de

transformações geométricas

– No entanto, quando se deve considerar o comportamento físico

dos objectos envolvidos, devem ser usadas metodologias e

modelações físicas (por exemplo, usando FEM)

• Dificuldades comuns são relativas à estimativas das forças

envolvidas e das propriedades adoptadas para os materiais

• Fase de emparelhamento dos objectos torna-se crucial


Emparelhamento

• Emparelhamento de contornos em imagens: modelação

física/geométrica, análise modal, optimização


Bastos & Tavares (2006) Inverse Problems in Science and Engineering 14(5):529-541

Tavares & Bastos (2010) Progress in Computer Vision and Image Analysis, 339-368


• Emparelhamento de contornos em pedobarografia

dinâmica: FEM, análise modal, optimização

Emparelhamento


Imagens originais Contornos

emparelhados


Tavares & Bastos (2010) Progress in Computer Vision and Image Analysis, 339-368


camada de contacto

+ vidro

câmara espelho

luz reflectida vidro

pressão camada opaca

lâmpada

lâmpada camada

transparente

Emparelhamento

• Emparelhamento de contornos e superfícies em

pedobarografia dinâmica: FEM, análise modal,

optimização


Imagem de

pedobarografia

dinâmica

Tavares & Bastos (2005) Electronic Letters on Computer Vision and Image Analysis 5(3):1-20

Emparelhamento de

dois contornos

Emparelhamento entre duas superfícies de intensidade (pressão) (2 vistas)

Emparelhamento entre iso-contornos (2 vistas)


• Emparelhamento de contornos e superfícies em

pedobarografia dinâmica: FEM, análise modal,

optimização


Emparelhamentos obtidos

entre iso-contornos

Emparelhamentos obtidos

entre superfícies


Tavares & Bastos (2005) Electronic Letters on Computer Vision and Image Analysis 5(3):1-20

Emparelhamento

Alinhamento

• Alinhamento de contornos em imagens: modelação

geométrica/física, optimização, programação dinâmica


Oliveira & Tavares (2008) Computer Modeling in Engineering & Sciences 31(11):1-11


Alinhamento

• Alinhamento de contornos em imagens: modelação

geométrica, optimização, programação dinâmica


Imagens originais e

contornos extraidos

Contornos

emparelhados antes

do alinhamento

Contornos após

alinhamento




Alinhamento

• Alinhamento de imagens de pedobarografia: modelação

geométrica, optimização, programação dinâmica


Imagens originais e contornos

extraídos Contornos emparelhados e imagens

antes e após alinhamento

Oliveira et al. (2009) Journal of Biomechanics 42(15):2620-2623


Alinhamento

• Alinhamento de imagens de pedobarografia:

transformada de Fourier


Imagens originais Imagens antes e após

alinhamento

Oliveira et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(6):731-740


Alinhamento

• Alinhamento de imagens de pedobarografia: método

híbrido: Alinhamento de Contornos ou Alinhamento

baseado na transformada de Fourier + Optimização de

semelhança

– MSE/MI/XOR


Imagens originais Imagens antes e após

alinhamento

Oliveira & Tavares 2011 Medical & Biological

Engineering & Computing 49(3):313-323



Alinhamento

• Alinhamento de imagens de pedobarografia para

identificação (esq. / direito), extracção de medidas e

índices

Imagens originais, após normalização,

contornos e áreas identificadas

Oliveira et al. 2011 Computer Methods in

Biomechanics and Biomedical Engineering,

DOI: 10.1080/10255842.2011.581239 (in

press)

Alinhamento

• Alinhamento de sequências de imagem de

pedobarografia dinâmica: alinhamento espacial e

temporal


Oliveira et al. 2011 Medical &

Biological Engineering &

Computing, DOI: 10.1007/s11517-

011-0771-x (in press)

Alinhamento



temporal

Análise de Objectos em Imagens: Técnicas e Aplicações

72


Sequências originais

antes do alinhamento

Sequências pré-

processadas

Sequências de

imagem originais

Sequências após

alinhamento

72




011-0771-x (in press)

camada de contacto

+ vidro

câmara espelho

Alinhamento



temporal


73


Sequências originais

antes do alinhamento

Sequências pré-

processadas

Sequências de

imagem originais

Sequências após

alinhamento

73




011-0771-x (in press)

Alinhamento

• Alinhamento de imagens de uma mesma modalidade:

alinhamento de contornos

Análise de Objectos em Imagens: Técnicas e Aplicações João Manuel R. S. Tavares 74

Suavização

Extracção do contorno

Extracção

do

contorno

Binarização

74

Alinhamento


alinhamento de contornos - cont.

Análise de Objectos em Imagens: Técnicas e Aplicações João Manuel R. S. Tavares

Imagens

a alinhar

Contornos antes/após

emparelhamento

75



75

Alinhamento


alinhamento de contornos - cont.


76


Imagens

Alinhadas

Imagem

originais

76

Soma

Soma Diferença



Alinhamento


maximização directa da correlação cruzada


77


Imagens

Alinhadas

Imagem originais

(RM - proton density)

77

Soma

Soma Diferença

Oliveira et al. (2010) Computer Methods in

Biomechanics and Biomedical

Engineering 13(6):731-740

Alinhamento


optimização pelo Método de Powell de medida de

semelhança (MSE)


78


Imagens

Alinhadas

Imagem

originais (RX)

78

Soma

Soma Diferença



Computing 49(3):313-323

Alinhamento

• Alinhamento intermodal (CT/RM): optimização pelo

Método de Powell de medida de semelhança (MI)


79


Imagens

Alinhadas

Imagem

originais

79

CT RM CT+RM

CT+RM Diferença CT+RM



Computing 49(3):313-323

Simulação


• Simulação (morphing) física de contornos em imagens:

FEM, análise modal, optimização, eq. de Lagrange


• Simulação de contornos em imagens: FEM, análise

modal, optimização,

equação de Lagrange

Emparelhamento

obtido

Deformações

simuladas

Simulação


Tavares & Pinho (2005) Journal of Computer Science 4(1):9-18


Imagens originais


• Simulação de contornos em imagens: FEM, análise

modal, optimização, equação de Lagrange


Emparelhamentos

obtidos

Deformações

simuladas

Emparelhamentos

obtidos Deformações

simuladas

Imagens originais

Simulação

Tavares & Pinho (2005) Journal of Computer Science 4(1):9-18


Análise de Objectos em

Imagens: Reconstrução 3D

Reconstrução 3D

• Pretende-se obter a forma 3D de objectos ou a

informação 3D de cenas a partir de imagens 2D

• Nesta área, destacam-se: 1) formas exteriores: técnicas

activas (com projecção de energia ou movimento relativo),

passivas (sem projecção de energia ou movimento relativo)

e de escavação espacial; 2) formas interiores:

segmentação 2D (i.e. contornos) e interpolação, e

segmentação 3D

• Usualmente, envolve tarefas de calibração,

segmentação, emparelhamento, triangulação e

interpolação

• Problemas envolvidos: distorção geométrica, iluminação

variável, oclusão, ruído, formas complexas, etc.


Reconstrução 3D

• Reconstrução 3D de objectos a partir de slices:

segmentação 2D, Delaunay, marching cubes

Perdigão et al. (2005) CMNI 2005

Pimenta et al. (2006) CompIMAGE 2006, 343-348

Alexandre et al. (2007) VipIMAGE 2007, 359-362


Reconstrução 3D

• Reconstrução 3D de órgãos a partir de imagens

médicas: segmentação 2D, Delaunay, marching cubes

Segmentação realizada num

slice e reconstrução 3D obtida

Orgãos do braço reconstruidos 3D Perdigão et al. (2005) CMNI 2005


Reconstrução 3D

• Reconstrução 3D de órgãos da cavidade pélvica

feminina partir de imagens de ressonância magnética:

segmentação 2D, loft, suavização


Segmentação 2D

realizada num slice Pavimento pélvico

reconstruído 3D

Órgãos da cavidade

pélvica reconstruídos 3D

Pimenta et al. (2006) CompIMAGE 2006, 343-348

Alexandre et al. (2007) VipIMAGE 2007, 359-362

slices

Reconstrução 3D

• Reconstrução 3D de cenas a partir de sequências de

imagem: visão estéreo densa


Azevedo et al. (2006) VISAPP 2006, 383-388

Reconstrução 3D

• Reconstrução 3D de uma cena a partir de par de

imagens: visão estéreo densa


Mapa de disparidade

obtido Par de imagens original

Azevedo et al. (2006) VISAPP 2006, 383-388

Reconstrução 3D

• Reconstrução 3D de objectos a partir de sequências de

imagem: escavação espacial


Azevedo et al. (2008) Advances in Computational Vision and Medical Image Processing: Methods and

Applications, 117-136

Reconstrução 3D




Azevedo et al. (2008) Advances in Computational Vision and Medical Image Processing: Methods and

Applications, 117-136


Imagens originais Modelo computacional 3D obtido


Reconstrução 3D





Imagens originais Modelo computacional 3D obtido


• Reconstrução 3D da coluna a partir de duas

radiografias 2D e usando um modelo deformável (atlas)

Reconstrução 3D


Moura et al. (2010) Computer Modeling in Engineering & Sciences 60(2):115-138

Moura et al. (2011) Medical Engineering & Physics, DOI: 10.1016/j.medengphy.2011.03.007 (in press)

Interface desenvolvida Modelo ajustado (duas vistas) e

reconstrução obtida

• Reconstrução 3D a partir de radiografias 2D: calibração

Reconstrução 3D




Método

desenvolvido

Calibração de um sistema

de Raio-X

• Reconstrução 3D a partir de radiografias 2D: calibração

Reconstrução 3D




Estimativa da distância entre a

fonte de Raio-X e a mesa

Duas radiografias de uma coluna seca usada para

validar a calibração e reconstrução 3D obtida


em Imagens: Sumário

Sumário

• A área da Análise de Objectos em Imagens é complexa e

exigente, mas de elevado interesse em muitos domínios

• Vários desafios existem, como, por exemplo, condições

de aquisição difíceis, oclusão, formas e topologias

complexas, movimentos complicados

• Trabalho considerável já foi desenvolvido, mas existem

ainda muitos desafios importantes e difíceis a resolver

• Métodos e metodologias de outras áreas do

conhecimento, como da Matemática, Mecânica

Computacional, Medicina e Biologia, podem contribuir para

a resolução de tais desafios

• Para tal, Colaborações são Necessárias e Bem-vindas


Equipa

Equipa (Visão Computacional)

• Estudantes de Doutoramento (13):

– Concluído: Daniel Moura

– Em curso: Raquel Pinho, Patrícia Gonçalves, Maria Vasconcelos,

Ilda Reis, Teresa Azevedo, Zhen Ma, Elza Chagas, Francisco

Oliveira, António Gomes, João Nunes, Alex Araújo, Sandra Rua

• Estudantes de Mestrado (17):

– Em curso: Elisa Barroso, Ana Jesus, Jorge Pereira, Carolina

Tabuas, Gabriela Queiros, Célia Cruz, Priscila Alves, Diana Cidre

– Concluídos: Frederico Jacob, Daniela Sousa, Francisco Oliveira,

Teresa Azevedo, Maria Vasconcelos, Raquel Pinho, Luísa Bastos,

Cândida Coelho, Jorge Gonçalves

• Estudantes de pré-Graduação (2)

– Concluídos: Ricardo Ferreira, Soraia Pimenta


Eventos & Publicações

Webpage (www.fe.up.pt/~tavares)


../../../myweb/index.html

Agradecimentos

• Os trabalhos apresentados têm vindo a ser realizados

parcialmente com o apoio da Fundação para a Ciência e a

Tecnologia (FCT) em Portugal, nomeadamente, através

dos projectos:

– PTDC/SAU-BEB/102547/2008

– PTDC/SAU-BEB/104992/2008

– PTDC/EEA-CRO/103320/2008

– UTAustin/CA/0047/2008

– UTAustin/MAT/0009/2008

– PDTC/EME-PME/81229/2006

– PDTC/SAU-BEB/71459/2006

– POSC/EEA-SRI/55386/2004



Técnicas e Aplicações


[email protected] www.fe.up.pt/~tavares

análise de objectos em imagens: técnicas e aplicaçõestavares/downloads/... · segmentação •...

Documents