3d liver uma ferramenta de segmentação semi- automática do fígado correia, mm; feitosa,rq e...

33
3D Liver Uma Ferramenta de Segmentação Semi-Automática do Fígado Correia, MM; Feitosa,RQ e Oliveira, DAB – UNIGRANRIO, PUC-RJ -

Upload: internet

Post on 17-Apr-2015

108 views

Category:

Documents


2 download

TRANSCRIPT

Page 1: 3D Liver Uma Ferramenta de Segmentação Semi- Automática do Fígado Correia, MM; Feitosa,RQ e Oliveira, DAB – UNIGRANRIO, PUC-RJ -

3D Liver

Uma Ferramenta de Segmentação Semi-Automática do Fígado

Correia, MM; Feitosa,RQ e Oliveira, DAB

– UNIGRANRIO, PUC-RJ -

Page 2: 3D Liver Uma Ferramenta de Segmentação Semi- Automática do Fígado Correia, MM; Feitosa,RQ e Oliveira, DAB – UNIGRANRIO, PUC-RJ -

Introdução

• Importância da segmentação anatômica

• Meios de identificação da segmentação

Page 3: 3D Liver Uma Ferramenta de Segmentação Semi- Automática do Fígado Correia, MM; Feitosa,RQ e Oliveira, DAB – UNIGRANRIO, PUC-RJ -

Objetivo

• Segmentação e Reconstruçãodo fígado a partir de imagens de tomografia computadorizada

Page 4: 3D Liver Uma Ferramenta de Segmentação Semi- Automática do Fígado Correia, MM; Feitosa,RQ e Oliveira, DAB – UNIGRANRIO, PUC-RJ -

Segmentação dos pulmões

1) Definição bruta de regiões por limiarização

HistogramaImagem

Intensidade

Contagem de pixels

Legenda:

Ar

Gordura

Orgãos e músculos

Tecido ósseo

Page 5: 3D Liver Uma Ferramenta de Segmentação Semi- Automática do Fígado Correia, MM; Feitosa,RQ e Oliveira, DAB – UNIGRANRIO, PUC-RJ -

O modelo 3D completo foi reconstruído a partir das estruturas definidas pelas máscaras de tórax, tecido ósseo, pulmões e árvore vascular.

Reconstrução 3D

Page 6: 3D Liver Uma Ferramenta de Segmentação Semi- Automática do Fígado Correia, MM; Feitosa,RQ e Oliveira, DAB – UNIGRANRIO, PUC-RJ -

Premissas

• O fígado é o maior órgão maciço presente na região abdominal.

• Sempre está predominantemente presente no lado direito do paciente.

• Os tomos são finos o bastante para que uma “fatia” do fígado sempre esteja conectada com outra adjacente.

Page 7: 3D Liver Uma Ferramenta de Segmentação Semi- Automática do Fígado Correia, MM; Feitosa,RQ e Oliveira, DAB – UNIGRANRIO, PUC-RJ -

Detalhamento do Processo1. Importação da tomografia para o MATLABMATLAB.2. Produção do histograma (processamento

matemático)3. Seleção da região de interesse no histograma.4. Binarização (branco/preto) para obter objetos com

densidade de órgãos e músculos.5. Definição da intensidade média da região do fígado.6. Seleção da região do histograma referente ao

fígado.7. Binarização obtendo objetos com densidades muito

próximas à intensidade média do fígado.8. Eliminação de regiões indesejáveis através do

estudo espacial do objeto.9. Seleção do fígado usando informações da “fatia”

diretamente adjacente à analisada no momento.

Page 8: 3D Liver Uma Ferramenta de Segmentação Semi- Automática do Fígado Correia, MM; Feitosa,RQ e Oliveira, DAB – UNIGRANRIO, PUC-RJ -

Seleção da Região de Interesse no Histograma

• A região de interesse é a que compõe os órgãos é músculos.

• Calcula-se a intensidade média total da pilha de imagens.

• A região de interesse estará presente ao redor do próximo pico de maior intensidade a partir da média.

Ar

Adiposo Órgãos e músculos

Ósseo

Page 9: 3D Liver Uma Ferramenta de Segmentação Semi- Automática do Fígado Correia, MM; Feitosa,RQ e Oliveira, DAB – UNIGRANRIO, PUC-RJ -

Seleção Automática da Região de Interesse no Histograma com Base

na Escala de Cinza

Page 10: 3D Liver Uma Ferramenta de Segmentação Semi- Automática do Fígado Correia, MM; Feitosa,RQ e Oliveira, DAB – UNIGRANRIO, PUC-RJ -

Binarização Automática dos Órgãos / Objetos

Page 11: 3D Liver Uma Ferramenta de Segmentação Semi- Automática do Fígado Correia, MM; Feitosa,RQ e Oliveira, DAB – UNIGRANRIO, PUC-RJ -

Definição da Intensidade Média da Região do Fígado

• O observadorobservador define uma fatia que sabidamente contenha o fígado e é obtido o maior objeto cujo centróide se encontra no primeiro quadrante da imagem.

• Calcula-se a intensidade média deste objeto.

Page 12: 3D Liver Uma Ferramenta de Segmentação Semi- Automática do Fígado Correia, MM; Feitosa,RQ e Oliveira, DAB – UNIGRANRIO, PUC-RJ -

Seleção da Região do Histograma Referente ao Fígado e Binarização

• É definida uma janela ao redor da intensidade média calculada anteriormente.

• Uma nova imagem binaria é obtida onde somente os pixels contidos nesta janela são considerados.

• É realizada uma operação de preenchimento automático da imagem resultante.

Page 13: 3D Liver Uma Ferramenta de Segmentação Semi- Automática do Fígado Correia, MM; Feitosa,RQ e Oliveira, DAB – UNIGRANRIO, PUC-RJ -

Eliminação de Regiões Indesejáveis Através do Estudo

Espacial do Objeto• O maior objeto 3D entre o conjunto de

objetos obtidos na segmentação 2D é escolhido.

• É realizada uma operação de opening 3D no objeto selecionado com a finalidade de eliminar falhas de segmentação 2D, como por exemplo a inclusão acidental de órgãos adjacentes em algumas fatias.

Page 14: 3D Liver Uma Ferramenta de Segmentação Semi- Automática do Fígado Correia, MM; Feitosa,RQ e Oliveira, DAB – UNIGRANRIO, PUC-RJ -

Eliminação de Regiões e Seleção do Fígado

A partir das fatias do novo objeto 3D segmentado é realizado um estudode identificação e localização espacial.

• Três condições em cascata são testadas para que uma região da “fatia” seja considerada componente do fígado:

1. A ordem do objeto a ser analisado no tomo é definida pelo tamanho (sempre considera o maior objeto).

2. Se o centróide do objeto estiver no lado direito da imagem, ele é eliminado e o algoritmo pega então o próximo maior objeto do tomo.

3. A partir da primeira identificação de objeto à esquerda todo novo objeto deve estar conectado com o objeto classificado como fígado no tomo anterior.

• O algoritmo começa de uma fatia que sabidamente contenha o fígado e faz a busca nas fatias acima e abaixo da inicial.

Page 15: 3D Liver Uma Ferramenta de Segmentação Semi- Automática do Fígado Correia, MM; Feitosa,RQ e Oliveira, DAB – UNIGRANRIO, PUC-RJ -

Eliminação de Regiões e Seleção do Fígado

Page 16: 3D Liver Uma Ferramenta de Segmentação Semi- Automática do Fígado Correia, MM; Feitosa,RQ e Oliveira, DAB – UNIGRANRIO, PUC-RJ -

Segmentação de Couinaud

Veia Porta

Veias Hepáticas

Page 17: 3D Liver Uma Ferramenta de Segmentação Semi- Automática do Fígado Correia, MM; Feitosa,RQ e Oliveira, DAB – UNIGRANRIO, PUC-RJ -

Segmentação das Árvores Vasculares do Fígado

• A partir do fígado segmentado são extraídas as veias porta e hepática por crescimento de regiões (algoritmo de processamento de imagens de expansão do vaso a partir de pontos próprios do vaso próximos uns aos outros nos tomos).

• Os ramos que compõem cada veia são isolados em objetos independentes.

• A direção e posicionamento dos ramos permitem a definição de planos que separam o fígado nas diversas subregiões.

• O algoritmo prevê que as árvores não se toquem - o que nem sempre é verdade .Solução em desenvolvimento.

Page 18: 3D Liver Uma Ferramenta de Segmentação Semi- Automática do Fígado Correia, MM; Feitosa,RQ e Oliveira, DAB – UNIGRANRIO, PUC-RJ -

Segmentação das Árvores Vasculares do Fígado

Page 19: 3D Liver Uma Ferramenta de Segmentação Semi- Automática do Fígado Correia, MM; Feitosa,RQ e Oliveira, DAB – UNIGRANRIO, PUC-RJ -

Segmentação das Subregiões do Fígado

• Para cada veia é buscado o plano que minimiza o somatório das distâncias entre pontos.

• Matematicamente temos:

222),(

cba

dczbyaxpdist

1222 cba

Sendo:

Aplicando Lagrange:

)1()(),,,,( 222 cbadczbyaxdcbaF iii

Page 20: 3D Liver Uma Ferramenta de Segmentação Semi- Automática do Fígado Correia, MM; Feitosa,RQ e Oliveira, DAB – UNIGRANRIO, PUC-RJ -

Segmentação das Subregiões do Fígado

c

b

a

c

b

a

zzzzyyzzxxz

zyyzyyyyxxy

zxxzyxxyxxx

2

2

2

1222 cba

Aplicando Lagrange:

A escala é obtida por:

Tendo os coeficentes a, b e c, obtemos o d pela equação: zcybxad

Tem a forma Ax=ux. A solução é o autovetor associado ao menor autovalor de U.

Page 21: 3D Liver Uma Ferramenta de Segmentação Semi- Automática do Fígado Correia, MM; Feitosa,RQ e Oliveira, DAB – UNIGRANRIO, PUC-RJ -

Segmentação das Subregiões do Fígado

• Verifica-se quais dos 3 planos obtidos para cada caso é mais próximo da vertical/horizontal, dependendo do que estamos buscando.

• Dessa forma são definidos:– três planos verticais que acompanham a direção de

cada veia hepática. – um plano próximo do horizontal correspondente à

bifurcação da veia porta.

• Os quatro planos definem as oito regiões de Couinaud.

Page 22: 3D Liver Uma Ferramenta de Segmentação Semi- Automática do Fígado Correia, MM; Feitosa,RQ e Oliveira, DAB – UNIGRANRIO, PUC-RJ -

Segmentação das Subregiões do Fígado

Page 23: 3D Liver Uma Ferramenta de Segmentação Semi- Automática do Fígado Correia, MM; Feitosa,RQ e Oliveira, DAB – UNIGRANRIO, PUC-RJ -

Segmentação das Subregiões do Fígado

Page 24: 3D Liver Uma Ferramenta de Segmentação Semi- Automática do Fígado Correia, MM; Feitosa,RQ e Oliveira, DAB – UNIGRANRIO, PUC-RJ -

Reconstrução 3D

• A partir da posição dos voxels (pixel 3D = cubo) em relação aos planos definidos definem-se as regiões que irão compor o modelo tridimensional.

• Foi utilizada a Biblioteca VTK e JAVABiblioteca VTK e JAVA (linguagem) para renderização (processo de geração da imagem 3D) e visualização dos objetos segmentados.

• Cada “objeto” 3D tem então a superfície suavizada antes da visualização.

Page 25: 3D Liver Uma Ferramenta de Segmentação Semi- Automática do Fígado Correia, MM; Feitosa,RQ e Oliveira, DAB – UNIGRANRIO, PUC-RJ -

Reconstrução 3D

Page 26: 3D Liver Uma Ferramenta de Segmentação Semi- Automática do Fígado Correia, MM; Feitosa,RQ e Oliveira, DAB – UNIGRANRIO, PUC-RJ -

Reconstrução 3D

Page 27: 3D Liver Uma Ferramenta de Segmentação Semi- Automática do Fígado Correia, MM; Feitosa,RQ e Oliveira, DAB – UNIGRANRIO, PUC-RJ -

Facilidades já Disponíveis no Aplicativo

1. Visualizar individualmente cada segmento, setor e lobo.

2. Visualizar separadamente cada leito venoso (hepático e/ou portal)

3. Associar combinações de visualização de segmento(s) e veia(s)

4. Atribuir e modificar cores e transparências

5. Deslocar no espaço, rodar, translacionar, ampliar ou reduzir o fígado

Page 28: 3D Liver Uma Ferramenta de Segmentação Semi- Automática do Fígado Correia, MM; Feitosa,RQ e Oliveira, DAB – UNIGRANRIO, PUC-RJ -

Facilidades em Desenvolvimento para o Aplicativo

1. Cálculo da volumetria2. Visualização

volumétrica (permite visualização de nódulo no interior)

3. Visualização em separado de cada ramo segmentar

4. Identificação dos ramos biliares e da vesícula biliar

5. Ferramentas para cirurgia virtual

Page 29: 3D Liver Uma Ferramenta de Segmentação Semi- Automática do Fígado Correia, MM; Feitosa,RQ e Oliveira, DAB – UNIGRANRIO, PUC-RJ -
Page 30: 3D Liver Uma Ferramenta de Segmentação Semi- Automática do Fígado Correia, MM; Feitosa,RQ e Oliveira, DAB – UNIGRANRIO, PUC-RJ -
Page 31: 3D Liver Uma Ferramenta de Segmentação Semi- Automática do Fígado Correia, MM; Feitosa,RQ e Oliveira, DAB – UNIGRANRIO, PUC-RJ -
Page 32: 3D Liver Uma Ferramenta de Segmentação Semi- Automática do Fígado Correia, MM; Feitosa,RQ e Oliveira, DAB – UNIGRANRIO, PUC-RJ -

A New Practical 3D Tool for Liver Computer-Assisted Operation Planning.

Correia MM1, Feitosa RQ2 and Oliveira DAB3School of Medicine, University of Grande Rio (UNIGRANRIO) , Rio de Janeiro, BrazilSchool of Engineering, University of Grande Rio (UNIGRANRIO) and Department of Electric

Engineering, Catholic University of Rio de Janeiro, Rio de Janeiro, BrazilDepartment of Electric Engineering, Catholic University of Rio de Janeiro, Rio de Janeiro,

[email protected]@[email protected]

Keywords: 3D, medical imaging, liver segmentation, computed tomography, virtual liver surgery.

Abstract: In this paper the authors review the presently used 3D reconstruction techniques and compare their prototype with the existing methods of liver image 3D segmentation. It consists of an algorithm to segment the liver structures on computed tomography (CT) images according to the Couinaud orientation. This method method firstly separates the liver from the rest of the image. Then it segments the vessels inside the liver area using a region growing technique combined with hysteresis thresholding. It separates the vessels in segments without any bifurcation, and using heuristics based on anatomy, it classifies

Page 33: 3D Liver Uma Ferramenta de Segmentação Semi- Automática do Fígado Correia, MM; Feitosa,RQ e Oliveira, DAB – UNIGRANRIO, PUC-RJ -

FIM