segmentação e reconstrução 3d de tecidos animais …tavares/downloads/publications/... ·...

Segmentação e Reconstrução 3D de Tecidos

Animais em Imagens Histológicas

Trabalhos Práticos

Liliana Sofia Sales Azevedo

Mestrado em Engenharia Biomédica

Porto, Julho de 2012

Segmentação e Reconstrução 3D de Tecidos Animais em Imagens Histológicas


Licenciada em Engenharia Biomédica pela Escola Superior de Estudos Industriais e de Gestão (2011)

Trabalhos práticos

Orientador:

João Manuel R. S. Tavares Professor Associado do Departamento de Engenharia Mecânica

Faculdade de Engenharia da Universidade do Porto

Co-orientador:

Augusto Manuel Robrigues Faustino Professor Associado do Departamento de Patologia e Imunologia Molecular

Instituto de Ciências Biomédicas Abel Salazar

Mestrado em Engenharia Biomédica

Julho de 2011

Agradecimentos

Ao Professor Doutor e Orientador João Manuel Tavares pela paciência, tempo e toda a ajuda

ímpar disponibilizada.

À Ana Carvalho pela simpatia, esforço e dedicação merecidas.

Ao Francisco Oliveira pela disponibilidade, pelos bons conselhos e ajuda crucial.

Aos meus amigos que sempre me aconselharam e ajudaram nos momentos difíceis.

Á minha família, pais e irmão, pela compreensão e carinho demonstrado.

A todos, o meu sincero agradecimento!


vii

Resumo

A reconstrução a três dimensões da estrutura dos tecidos a partir de uma série de secções

histológicas é, pelo menos em teoria, uma ferramenta valiosa para expandir a dimensão

‘escondida’ da microscopia. Estudar a estrutura dos tecidos, das células e dos componentes

acelulares, bem como a sua interação pode ser útil para a deteção e diagnóstico de

determinadas patologias. Tal facto faz com que seja cada vez mais interessante encontrar

novas técnicas e soluções que auxiliem neste diagnóstico, como é o caso da reconstrução.

No presente trabalho encontra-se uma primeira metodologia que consiste no processamento

das imagens histológicas, mais concretamente, no seu escalamento. Após esta etapa,

desenvolve-se a segunda metodologia que se baseia no alinhamento das imagens recorrendo a

vários modelos de transformação. Posteriormente, foram comparados os diferentes

alinhamentos recorrendo a parâmetros de qualidade.

Os laboratórios do Instituto de Ciências Biómedicas de Abel Salazar cordialmente ofereceram o

material de estudo. Para a realização destas duas abordagens, incluindo análise de dados

recorreu-se à ferramenta MATLAB.

A implementação das metodologias produziu resultados mais favoráveis do que outros. O

alinhamento de imagens necessita de ser estudado e analisado para criar um algoritmo mais

eficiente.

Em suma, o trabalho realizado deixa em parte boas perspetivas para o futuro. Todos os

aspetos para o melhoramento e aprofundamento do trabalho já analisado são bem recebidos.

Palavras-chave: imagens histológicas, patologias, diagnóstico, alinhamento

viii Liliana Azevedo

Abstract

The reconstruction of three-dimensional structures of tissues from a variety of histological

sections is at least in theory, a valuable tool to expand the ‘hidden’ dimension of microscopy.

Study the structure of tissues, cells and acellular components, and so their interactions can be

useful for the detection and diagnosis of certain pathologies. This fact makes even more

interesting to find new solutions and techniques to assist in diagnosis, as the case of

reconstruction.

In the present work is found a first methodology which consists in the processing of

histological images, more precisely, in its climbing. Following this phase, is developed the

second method which is based on registration of the images using various types of

transformations. Thereafter were compared the different registrations recoursing to quality

parameters.

The laboratories of the Institute of Biomedical Sciences Abel Salazar kindly provided the

material of study. To perform these two approaches, including data analysis was made use of

MATLAB tool.

The implementation of the methodologies produced more favorable results than others. The

image registration needs to be studied and analyzed to create a more efficient algorithm.

In sum, the work leaves good prospects for the future. All aspects for improvement and

further the work already analyzed are well received.

Keywords: histological images, pathology, diagnosis, registration

ix Liliana Azevedo

Índice

I – Introdução ................................................................................................................................ 1

I I – Objetivo .................................................................................................................................. 5

III-Fundamento teórico: alinhamento ........................................................................................... 7

3.1 Introdução ........................................................................................................................... 7

3.2 Classificação das metodologias ........................................................................................... 7

3.3 Técnicas de Alinhamento .................................................................................................. 10

3.4 Metodologias de Alinhamento .......................................................................................... 11

3.4.1 Método baseado em Características .......................................................................... 11

3.4.2 Método baseado em Intensidade .............................................................................. 12

3.5 Modelos de Transformação .............................................................................................. 13

3.6 Avaliação da Precisão do Alinhamento ............................................................................. 15

IV-Métodos .................................................................................................................................. 17

4.1 Materiais e Instrumentos .................................................................................................. 17

4.2 Metodologia ...................................................................................................................... 18

4.2.1 Escalamento de imagem ............................................................................................ 18

4.2.2 Alinhamento e Cálculo do erro .................................................................................. 20

V-Análise de Dados...................................................................................................................... 23

5.1 Dataset .............................................................................................................................. 23

5.2 Escalamento de imagem ................................................................................................... 24

5.3 Alinhamento ...................................................................................................................... 25

VI-Conclusão e Perspetivas Futuras ............................................................................................ 27

VII-Bibliografia ............................................................................................................................. 29

x Liliana Azevedo

xi Liliana Azevedo

Índice de Figuras

Figura 1: Exemplo da combinação estrutural e funcional de vários tecidos no membro superior

Humano: tecido nervoso (terminações nervosas), tecido epitelial (pele), tecido muscular

(músculos), tecido ósseo, tecido cartilagíneo e sangue. (adaptado de PBworks, 2012 ............... 1

Figura 2: Quadro-resumo dos processos laboratoriais de preparação dos tecidos. (adaptado de

He et al, 2009) ............................................................................................................................... 2

Figura 3: Esquema ilustrativo dos processos que vão desde o tecido até à reconstrução 3D e

posterior análise. (adaptado de Cooper, 2009) ............................................................................ 3

Figura 4: Representação de um processo de Alinhamento de imagens. (adaptado de Zitová et

al., 2003) ...................................................................................................................................... 11

Figura 5: Exemplos de várias funções de mapeamento: transformada de similaridade (em cima

à esquerda), trasnformação afim (em cima à direita), projetiva (em baixo à esquerda) e elástica

(em baixo à direita). (adaptado de Zitová et al., 2003) ............................................................... 13

Figura 6: Fragmento de tecido incluído em parafina com os quatro marcadores. ..................... 17

Figura 7: : Imagens histológicas obtidas, incluindo os quatro marcadores. ............................... 17

Figura 8: Criação da região de interesse. .................................................................................... 18

Figura 9: Determinação do centróide (bola azul) e cálculo das distâncias do mesmo às

extremidades (linhas azuis). ........................................................................................................ 19

Figura 10: Comparação das distâncias aos centróides entre duas imagens. Determinação das

distâncias mínimas aos centróides (retas verdes). ..................................................................... 19

Figura 11: Interface gráfica. Do lado esquerdo a imagem por alinhar e a imagem base. .......... 20

Figura 12: Alinhamento de duas imagens utilizando o modelo de similaridade (CP=8). ............ 21

Figura 13: Imagem 48. ................................................................................................................. 23

Figura 14: Imagem 49. ................................................................................................................. 23

Figura 15: Lâmina 50. .................................................................................................................. 23

Figura 16: Imagem 50 recortada (escalamento com duas imagens). ......................................... 24

Figura 17: Imagem 49 recortada (escalamento com duas imagens). ......................................... 24

Figura 18: Imagem 48 (escalamento com três imagens). ........................................................... 24

Figura 19: Imagem 49 (escalamento com três imagens). ........................................................... 25

Figura 20: Imagem 50 (escalamento para três imagens). ........................................................... 25

Figura 21: Escolha dos pontos de controlo. ................................................................................ 25

xii Liliana Azevedo

xiii Liliana Azevedo

Índice de Tabelas

Tabela 1: Classificação das Metodologias de Alinhamento. ......................................................... 8

Tabela 2: Caracterização dos modelos globais de Transformação. (adaptado de Zitová et al.,

2003) ........................................................................................................................................... 14

Tabela 3: Parâmetro de qualidade para transformação de Similaridade, Afim e Projetiva. ...... 26

Tabela 4: Parâmetro de qualidade para transformações polinomiais de ordem 2,3 e 4. .......... 26

xiv Liliana Azevedo

xv Liliana Azevedo

Índice de Equações

Equação 1: Fórmula para o cálculo do erro da diferença dos quadrados. I representa a imagem

base e I’ a imagem alinhada. N corresponde ao número de elementos da imagem. (adaptado

de Huynh-Thu, 2008) ................................................................................................................... 15

Equação 2: Fórmula para o cálculo do PSNR. R corresponde à flutuação máxima. (adaptado de

Huynh-Thu, 2008) ........................................................................................................................ 16

xvi Liliana Azevedo

Índice de Abreviaturas

HE- Hematoxilina e Eosina

2D- Duas dimensões

3D- Três dimensões

NMR - Ressonância Magnética Nuclear

CT-Tomografia Computorizada

MR - Ressonância Magnética

PET- Tomografia por Emissão de Positrões

CP- Control Points ou pontos de controlo

CPE- Erro da diferença dos quadrados nos pontos de controlo

MSE- Mean Square Error

PSNR- Peak Signal-to-Noise Ratio

MAXERR- Desvio absoluto máximo dos quadrados de duas imagens

L2RAT-Razão da Norma dos quadrados de duas imagens

Segmentação e Reconstrução 3D de Tecidos Animais em Imagens Histológicas MEB

1

Liliana Azevedo

I – Introdução

A histologia (do grego hysto=tecido + logos=estudo) é a ciência que se dedica ao estudo da

estrutura e funcionamento dos tecidos orgânicos (animais e plantas). (Infopédia, 2012)

Relativamente ao corpo humano, a histologia é a ciência que estuda os tecidos do corpo e de

como estes tecidos se organizam para constituir órgãos. Existem quatro tipos de tecidos

fundamentais, consoante as suas características fisiológicas e anatómicas: o tecido epitelial, o

tecido conjuntivo, o tecido muscular e o tecido nervoso (Figura 1). (Carneiro et al., 2004)

O conhecimento destes tecidos básicos é fundamental para o estudo da estrutura e do

funcionamento dos diferentes órgãos e dos sistemas que os integram. É importante referir que

é a disposição única destes tecidos que permite o funcionamento de cada órgão, mas também

do organismo como um todo.

Para o estudo de tecidos, o procedimento mais usado é a preparação de cortes histológicos

para a observação no microscópico. Os tecidos e/ou órgãos são fatiados em secções ou cortes

histológicos finos que são colocados em lâminas de vidro antes de serem examinados. Estas

secções obtidas necessitam de passar por uma série de tratamentos prévios para então

poderem ser fatiados por meio de instrumentos de grande precisão chamados de micrótomos

(Figura 2). (Carneiro et al., 2004)

Figura 1: Exemplo da combinação estrutural e funcional de vários tecidos no

membro superior Humano: tecido nervoso (terminações nervosas), tecido

epitelial (pele), tecido muscular (músculos), tecido ósseo, tecido cartilagíneo

e sangue. (adaptado de PBworks, 2012


2 Liliana Azevedo

Estes tratamentos prévios incluem a fixação, a inclusão e a coloração. O objetivo do processo

denominado fixação é preservar a estrutura e evitar a digestão dos tecidos por enzimas. Esta

etapa recorre a substâncias químicas como o formol. Segue-se a desidratação e o clareamento

que prepara os tecidos para a inclusão em parafina, de forma a conferir rigidez aos tecidos

para serem seccionados. (Carneiro et al., 2004) (Bioaula, 2007)

Para os cortes histológicos serem estudados no microscópio, estes devem ser corados. A

combinação Hematoxilina e Eosina (HE) é a mais utilizada. A hematoxilina cora em azul ou

violeta o núcleo das células e a eosina cora o citoplasma e o colagénio em cor-de-rosa.

(Carneiro et al., 2004)

Um dos problemas da análise de imagens microscópicas, mais propriamente histológicas, é o

facto de oferecer apenas informação num plano (2D), o que impossibilita a compreensão dos

fenómenos e da relação estrutural que os diferentes constituintes do tecido têm com o

exterior. Originalmente, as secções histológicas eram examinadas visualmente e eram criados

diagramas desenhados à mão. Confiava-se assim na capacidade artista do investigador ou do

biólogo treinado. Posteriormente, técnicas mais recentes removeram o artista e introduziram

um nível mais técnico e preciso na ciência da reconstrução 3D. (Rehorek et al., 2007)

A reconstrução 3D é uma ferramenta poderosa e crucial para obter conhecimento mais preciso

e permitirá analisar de que forma as interações entre os componentes teciduais estão

relacionadas com a presença de anormalidades do ponto de vista fisiológico e anatómico.

Uma abordagem para obter informação 3D é a reconstrução dos tecidos a partir de uma série

de imagens consecutivas. Um determinado fragmento de tecido passa por um conjunto de

processos até obterem-se lâminas com as imagens histológicas. A sequência de imagens é

Figura 2: Quadro-resumo dos processos laboratoriais de preparação dos tecidos. (adaptado de He et al,

2009)


3 Liliana Azevedo

digitalizada por ordem e seguidamente as imagens são alinhadas para gerar uma dataset

volumétrica do tecido original (Figura 3).

Figura 3: Esquema ilustrativo dos processos que vão desde o

tecido até à reconstrução 3D e posterior análise. (adaptado de

Cooper, 2009)


4 Liliana Azevedo


5 Liliana Azevedo

I I – Objetivo

De acordo com o tema da Tese, “Segmentação e Reconstrução 3D de Tecidos Animais em

Imagens Histológicas”, definiu-se como objetivo principal e primeira abordagem ao tema, o

desenvolvimento de metodologias para o escalamento das imagens histológicas e para o

alinhamento das mesmas, tendo em conta os fundamentos biológicos e teóricos.


6 Liliana Azevedo


7 Liliana Azevedo

III-Fundamento teórico: alinhamento

3.1 Introdução

O alinhamento de imagem (“image registration”) é o processo de sobreposição de duas ou

mais imagens do mesmo cenário retiradas em momentos temporais diferentes, em diferentes

pontos de vista e/ou por diferentes sensores. Geometricamente alinha duas imagens - a

imagem de referência e a imagem sensoriada. Esta diferença entre imagens está associada às

diferentes condições com que elas são obtidas. O objetivo de um sistema de alinhamento de

imagens é estimar os parâmetros do modelo da transformação geométrica que melhor mapeia

uma dada imagem alvo, com vista a obter uma sobreposição perfeita entre as imagens. (Zitová

et al., 2003)

O alinhamento é um passo crucial para todas as tarefas de análise de imagem, nas quais a

informação importante e mais relevante é obtida a partir da combinação de vários dados como

a fusão de imagens, deteção de diferenças e restauração de imagem multicanal. (Zitová et al.,

2003)

Tipicamente é utilizado em sistemas de processamento e análise de imagens como deteção

remota (por exemplo na classificação multiespectral, monitorização ambiental, deteção de

discrepâncias, união de imagens, previsão meteorológica, criação de imagens de alta

resolução), cartografia (na atualização de mapas), visão computacional (para localização de

alvos e controlo de qualidade automática), medicina (a combinação de imagens de CT e NMR é

utilizada para obter informação mais detalhada sobre o paciente, monitorizar o crescimento

de tumores ou comparar dados do paciente com atlas anatómicos) e histologia (com o objetivo

de reconstruir tecidos ou outras estruturas em 3D para investigar estruturas celulares). (Zitová

et al., 2003)

3.2 Classificação das metodologias

Existem vários métodos para o alinhamento de imagens e estes podem ser classificados de

diferentes maneiras. Maintz sugere um diagrama com 9 dimensões que provê uma boa

categorização. Estes critérios são: Dimensionalidade, Bases do alinhamento, Natureza da


8 Liliana Azevedo

transformação, Domínio da transformação, Grau da interação, Procedimentos de Otimização,

Modalidades, Sujeito e Objeto (Tabela 1). (Fitzpatrick et al., 2000)

Tabela 1: Classificação das Metodologias de Alinhamento.

Critérios Características

Dimensionalidade Refere-se às dimensões geométricas das

imagens a alinhar (2D/2D, 2D/3D, 3D/3D).

(Fitzpatrick et al., 2000)

Base do alinhamento Corresponde às características dos pontos

utilizados para alinhar duas imagens. Estes

pontos podem ser:

Extrínsecos: exteriores ao objeto a alinhar, por exemplo: marcadores fiduciais, “Stereotactic Frame”, entre outros; (Cifor et al., 2011)

•

Intrínsecos: características anatómicas do objeto, por exemplo, como linhas e curvas. (Cifor et al., 2011)

Natureza da transformação Está ligado ao sistema de coordenadas que

define o espaço. Quanto à natureza dividem-

se em:

• Rígidas;

• Afins;

• Projetivas;

• Curvadas. (Fitzpatrick et al., 2000)

Domínio da transformação Relacionada com a quantidade de informação

utilizada na imagem:

• Local: apenas parte dos voxels da

região de interesse são utilizados;

• Global: São usados todos os voxels da

região de interesse. (Fitzpatrick et al.,

2000)

Grau da interação Em referência ao controlo do algoritmo de

alinhamento pelo operador. Divide-se em:

• Automático;

• Inicialização de parâmetros;


9 Liliana Azevedo

• Ajuste de parâmetros ao longo do

método. (Fitzpatrick et al., 2000)

Procedimentos de Otimização Abordagem do algoritmo, no qual a qualidade

do alinhamento é estimada continuamente

durante o processo de alinhamento em

termos de funções entre imagens e

mapeamento entre elas. Assim, podem ser:

• Automáticos;

• Procura iterativa. (Fitzpatrick et al.,

2000)

Modalidades Relacionado com o meio com que são

adquiridas as imagens para alinhar. Desta

forma, têm-se:

• Monomodal: alinhamento com

imagens da mesma modalidade (por

exemplo, MR-MR);

Intermodal: alinhamento com imagens de modalidades diferentes (por exemplo, MR-PET ou MR-imagens histológicas); (Osechinskiy et al., 2011) (Li et al., 2009)

Sujeito Está ligado com o envolvimento do paciente:

• Intrapaciente: do mesmo sujeito;

• Interpaciente: entre sujeitos;

• Atlas: entre sujeito e atlas.

(Fitzpatrick et al., 2000)

Objeto Como o próprio nome indica, refere-se à denominação das regiões para alinhar (por exemplo cérebro, vertebra, tecido). (Gefen et al., 2003)


10 Liliana Azevedo

3.3 Técnicas de Alinhamento

Devido à diversidade de imagens para alinhamento e aos vários tipos de degradação

existentes, é impossível construir um método universal aplicável a todas as situações. (Zitová

et al., 2003)

Todos os métodos devem ter em conta as características, a quantidade de ruído e a

deformação geométrica das imagens, bem como a nível de precisão do alinhamento

necessária para o problema. Contudo, a maioria dos métodos de alinhamento consiste nos

seguintes quatro passos:

• Deteção de Características: Objetos salientes e distintos (regiões fechadas,

cantos, contornos, interseções de linhas, entre outros) são manualmente ou

automaticamente detetados. Para processamento posterior, estas

características são representadas por pontos, denominados “Control Points”

(CP); (Zitová et al., 2003)

• Correspondência entre Características: É estabelecida a correspondência

entre a imagem de referência e a imagem a alinhar. Vários descritores de

características e medidas de similaridade são usadas para o propósito. (Zitová

et al., 2003)

• Estimação do Modelo de Transformação: O tipo e parâmetros da função de

mapeamento, que alinhará as duas imagens serão estimados. São usadas as

correspondências das características para a estimação destes parâmetros.

(Zitová et al., 2003)

• Transformação e Interpolação: Transformação da imagem de acordo com os

parâmetros estimados no passo anterior. Os valores da imagem em

coordenadas não inteiras são calculados usando técnicas de interpolação

adequadas. (Zitová et al., 2003)

Na Figura 4 estão representados as quatro etapas de um processo de alinhamento. Na

primeira linha, os cantos da imagem são utilizadas como características (Deteção de

Características); na segunda, faz-se a correspondência dos pontos entre as duas imagens,

estando estes numerados (Correspondência de Características) e por fim, na última linha, do

lado esquerdo estimou-se os parâmetros da transformação (Modelo de Transformação) e à


11 Liliana Azevedo

direita mostra-se o resultado da transformação e interpolação da imagem (Transformação e

Interpolação). (Zitová et al., 2003)

3.4 Metodologias de Alinhamento

Na generalidade, os métodos de alinhamento de imagens podem ser divididos em dois

grandes grupos: alinhamento baseado em características e alinhamento global, ou seja,

baseado na intensidade. (Zitová et al., 2003)

3.4.1 Método baseado em Características

O alinhamento baseado em características inicia-se com a deteção das mesmas dentro das

imagens. As características são pontos distintos na própria imagem, que podem tomar diversas

formas. De seguida é executado um emparelhamento entre as características das imagens e

posteriormente são estimados os parâmetros da função de mapeamento. (Zitová et al., 2003)

O grande problema destes métodos encontra-se na fase de deteção e emparelhamento das

características. Na deteção de características, não é possível garantir a existência de pontos

Figura 4: Representação de um processo de Alinhamento de

imagens. (adaptado de Zitová et al., 2003)


12 Liliana Azevedo

característicos em todas as zonas de interesse. Na correspondência entre características,

problemas de ruído, a oclusão de objetos numa imagem por alguns motivos (movimento,

iluminação), pode levar a que as características de uma imagem não tenham correspondência

na outra, ou que haja um emparelhamento incorreto. (Zitová et al., 2003)

• Tipos de Características

As características deste método correspondem a estruturas salientes da imagem. Estas

características podem ser regiões significativas (lagos, campos, órgãos), linhas (contornos,

costas, rios) ou pontos (cantos, intersecção de linhas). Devem ser distintos, estar espalhados

pela imagem e fáceis de detetar em ambas as imagens. (Zitová et al., 2003)

• Correspondência entre Características

Assumindo que as características nas duas imagens já foram detetadas, o objetivo prende-se

agora em encontrar a correspondência entre os pares de características utilizando as suas

relações espaciais ou os vários descritores. Estes métodos são aplicados quando a informação

estrutural local é mais importante que a informação carregada pela intensidade das imagens.

(Zitová et al., 2003)

3.4.2 Método baseado em Intensidade

São métodos preferencialmente usados quando as imagens não possuem detalhes

proeminentes e a informação distinta é provida pelas cores/níveis de cinzento em vez de

estruturas ou formas locais. O alinhamento baseado em intensidades utiliza diretamente os

valores das intensidades presentes nos voxels das imagens para estimar os parâmetros da

função de transformação, recorrendo à minimização de uma função custo entre as duas

imagens. Estes métodos utilizam normalmente o gradiente das imagens. (Zitová et al., 2003)

Neste caso, o passo da deteção de características e correspondência de características faz-se

ao mesmo tempo. Neste caso, as características são os valores da intensidade das imagens.

Estes métodos usam janelas de tamanho pré-definido para efetuar a correspondência. (Zitová

et al., 2003)

A imagem de referência/base e a imagem obtida do sensor, devem ter de algum modo funções

de intensidade similares (onde pode ser usado o método de correlação) ou pelo menos


13 Liliana Azevedo

funções estatisticamente dependentes (como acontece no alinhamento multimodal). (Zitová

et al., 2003)

Desta forma, ruído, variação das condições de iluminação ou o uso de diferentes sensores, são

fatores intrínsecos que alteram os valores de intensidade utilizados para a correspondência e,

por consequência, deterioram a precisão do alinhamento. Uma outra desvantagem destes

métodos baseados em intensidade é que eles são pesados computacionalmente. (Zitová et al.,

2003)

3.5 Modelos de Transformação

Após a correspondência de características ter sido estabelecida, a função de mapeamento é

construída. Esta etapa tem como meta encontrar a função e estimar os parâmetros adequados

de forma a transformar a imagem sensoriada de forma a sobrepor-se à imagem de referência.

A Figura 5 mostra exemplos de funções de mapeamento. (Zitová et al., 2003)

O tipo de função de mapeamento aplicada deve corresponder à deformação geométrica

ocorrida na imagem sensoriada, à qualidade do método de aquisição da imagem e à precisão

necessária para o dado alinhamento. (Zitová et al., 2003)

Figura 5: Exemplos de várias funções de mapeamento: transformada de

similaridade (em cima à esquerda), trasnformação afim (em cima à direita),

projetiva (em baixo à esquerda) e elástica (em baixo à direita). (adaptado de

Zitová et al., 2003)


14 Liliana Azevedo

Os modelos de mapeamento, de acordo com a quantidade de informação que utilizam como

suporte, podem ser divididos em duas grandes categorias: os Modelos Globais e os Modelos

Locais. (Zitová et al., 2003)

Os modelos globais (Tabela 2) utilizam todos os CP’s para estimar um conjunto de parâmetros

válidos para a imagem inteira. Em geral, o número de pontos é normalmente maior que o

número mínimo necessário para a determinação da função de mapeamento. Os parâmetros da

função são estimados pela técnica dos mínimos locais. No entanto, um modelo global não

consegue lidar com imagens deformadas localmente, visto que a técnica dos mínimos

quadrados distribui a distorção geométrica de forma igual, por toda a imagem. (Zitová et al.,

2003)

Tabela 2: Caracterização dos modelos globais de Transformação. (adaptado de Zitová et al., 2003)

Tipo de Transformada Descrição

Similaridade O modelo mais simples. Consiste em apenas rotação, translação e escalamento. Este modelo preserva ângulos e curvaturas e pode ser determinado por apenas dois CP’s. (Zitová et al., 2003)

Afim Mais generalista mas linear como o anterior. Esta transformada efetua rotação, translação e escalamento horizontal, vertical e oblíquo. É definido por três pontos e preserva linhas retas e paralelismo entre linhas retas. Não preserva ângulos e distâncias. (Zitová et al., 2003)

Projetiva Na mesma linha que a transformação afim mas não preserva ângulos, nem distâncias nem paralelismos. É utilizado quando a distância do sensor ao objeto pode variar. Pode ser determinado por quatro pontos. (Zitová et al., 2003)

Polinomial de ordem 2,3,4 Pequenas violações dos pressupostos anteriores. Polinómios de ordem maior não são usualmente utilizados na prática visto que podem deformar a imagem em zonas longe dos pontos de controlo. (Zitová et al., 2003)


15 Liliana Azevedo

3.6 Avaliação da Precisão do Alinhamento

Independentemente do tipo de imagens utilizadas, do método de alinhamento proposto ou da

área de aplicação, é altamente desejável proporcionar ao utilizador uma estimação de quanto

preciso é o algoritmo de alinhamento utilizado. A avaliação da exatidão não é um problema

trivial visto que os erros podem ser arrastados entre as várias etapas do alinhamento e torna-

se complicado de distinguir os erros entre um alinhamento impreciso e diferenças físicas nos

conteúdos das imagens. (Zitová et al., 2003)

O erro de alinhamento está sempre presente na prática por duas razões:

1. O modelo de mapeamento pode não corresponder à distorção existente entre as

imagens;

2. Os parâmetros da função podem ter sido calculados com baixa precisão.

O primeiro caso resulta da falta de informação à priori sobre a distorção geométrica da

imagem e o ultimo é derivado da utilização de pontos insuficientes e/ou erros de localização.

O método mais simples para medir o erro de alinhamento é o erro da diferença dos quadrados

ou “mean square error” (Equação 1) nos pontos de controlo (CPE). Este parâmetro quantifica o

quão bom é o ajuste das coordenadas CP’s pela função de mapeamento escolhida. (Zitová et

al., 2003)

�� = �� − �′�

�

Equação 1: Fórmula para o cálculo do erro da diferença dos quadrados. I representa a imagem base e I’ a imagem

alinhada. N corresponde ao número de elementos da imagem. (adaptado de Huynh-Thu, 2008)

No entanto, em determinados casos esta medida pode se tornar ineficaz. Para um

determinado número de pontos escolhidos, o CPE pode tomar valor de zero quando a função

de mapeamento selecionado possui graus de liberdade suficientes (este fenómeno é

denominado ‘over-fitting’). Por outro lado, grandes valores de CPE podem ser causados por

erros de localização de pontos e não representar uma má precisão do alinhamento. (Zitová et

al., 2003)

Outros métodos de representativos da aproximação de qualidade são PSNR, MAXERR, L2RAT.

O PSNR ou “peak signal-to-noise ratio” é uma medida de qualidade, em decibéis, entre duas

imagens. Quanto maior o PSNR, melhor é a qualidade (Equação 2). (Huynh-Thu, 2008)


16 Liliana Azevedo

� �� = ��

Equação 2: Fórmula para o cálculo do PSNR. R corresponde à flutuação máxima. (adaptado de Huynh-Thu, 2008)

Por último, MAXERR corresponde ao desvio absoluto máximo dos quadrados entre as duas

imagens e L2RAT corresponde à razão entre a norma dos quadrados da imagem alinhada, para

imagem base. (Huynh-Thu, 2008)


17 Liliana Azevedo

IV-Métodos

4.1 Materiais e Instrumentos

O processo laboratorial para a obtenção de imagens histológicas a partir de um fragmento de

tecido escolhido foi realizado no laboratório de Anatomia Patológica e Citológica do Instituto

de Ciências Biomédicas de Abel Salazar.

Após selecionado um fragmento de tecido, procedeu-se ao seu processamento: fixação em

formol e inclusão em parafina para garantir rigidez do tecido no corte. Foram acrescentados

quatro marcadores de tecido à volta do fragmento para facilitar o alinhamento posterior das

imagens (Figura 6).

Seguidamente, o bloco de tecido e parafina foi seccionado obtendo-se secções muito finas.

Estas fatias (da ordem dos micrómetros) foram depois coradas com HE e colocadas em lâminas

para observação (Figura 7). As lâminas foram numeradas de acordo com a ordem de corte

(lado esquerdo da lâmina).

Figura 6: Fragmento de tecido incluído em

parafina com os quatro marcadores.

Figura 7: : Imagens histológicas obtidas, incluindo os quatro

marcadores.


18 Liliana Azevedo

Por fim, as imagens foram adquiridas pelo digitalizador VS110Olympus presente no

laboratório. Note-se que o conjunto de imagens utilizadas corresponde às primeiras fatias

secionadas. Neste caso, na maior parte das imagens tratadas apenas aparecem três

marcadores. Fator causado pelos erros de seccionamento e/ou colocação dos marcadores

durante a experiência.

4.2 Metodologia

4.2.1 Escalamento de imagem

Após a obtenção das imagens foi necessário implementar técnicas de pré-processamento,

visto que as imagens histológicas digitalizadas não possuíam todas o mesmo tamanho. A fim

de escalar as imagens para o mesmo tamanho, sem alterar as intensidades, recorreu-se a uma

metodologia que recorre à criação de uma região de interesse (ROI), cujos vértices

correspondem nada mais, nada menos que aos centros dos marcadores (Figura 8).

Obtendo-se as coordenadas dos vértices, calculou-se o centróide do polígono formado pela

região de interesse. Seguidamente calculou-se as distâncias do centróide às extremidades das

imagens (Figura 9).

Figura 8: Criação da região de interesse.


19 Liliana Azevedo

Para o conjunto de imagens utilizadas, é calculado o respetivo centróide e as distâncias às

extremidades (quatro retas). O passo seguinte consistiu em comparar as distâncias obtidas

para cada imagem (baseada no centróide de cada uma) de forma a encontrar as distâncias

mínimas (Figura 10).

Por último, todas as imagens são recortadas por uma janela cujas medidas correspondem às

distâncias mínimas obtidas no passo anterior, e cujo centro corresponde ao centróide de cada

uma.

Este método além de garantir que as imagens fiquem escaladas para o mesmo tamanho,

garante que todas elas possuam a informação pretendida, isto é, os marcadores e o tecido.

Figura 9: Determinação do centróide (bola

azul) e cálculo das distâncias do mesmo às

extremidades (linhas azuis).

Figura 10: Comparação das distâncias aos centróides entre duas

imagens. Determinação das distâncias mínimas aos centróides

(retas verdes).


20 Liliana Azevedo

4.2.2 Alinhamento e Cálculo do erro

Após recolhidas as imagens com o mesmo tamanho, pode-se proceder ao seu alinhamento e

ao respetivo cálculo das medidas de qualidade.

Para efetuar o alinhamento, considera-se uma imagem como referência (imagem base) e as

outras imagens como imagens como input (imagem sensoriada ou por alinhar).

O comando cpselect inicia o “Control Point Selection tool”, uma interface gráfica que permite

selecionar pontos de controlo (CP) nas duas imagens (Figura 11). Estes pontos são

características iguais ou similares que se podem encontrar em ambas as imagens.

Depois de escolhidos os pontos, a opção <<Export Points to Workspace>> permite exportar as

coordenadas dos pontos para o workspace do Matlab.

A função cp2tform especifica o tipo de transformação geométrica desejada (projetiva, afim,

entre outros) tendo como parâmetros de entrada, os pontos de controlo da imagem base e da

imagem por alinhar.

A etapa final do alinhamento consiste em aplicar à imagem por alinhar, a transformação

geométrica criada no passo anterior. Para isso utiliza-se a operação imtransform. Como

resultado, as duas imagens ficam alinhadas uma com a outra (Figura 12). De forma a distinguir

as imagens, nesta figura a imagem base está mais transparente que a imagem alinhada.

Figura 11: Interface gráfica. Do lado esquerdo a imagem por alinhar e a imagem base.


21 Liliana Azevedo

O número de pontos escolhidos têm em conta o número mínimo de pontos necessários para

aplicar uma dada transformação geométrica. Para proceder a uma transformação por

similaridade são necessários no mínimo dois pontos, para a transformação afim são três

pontos, para a projetiva é necessário quatro pontos e para a transformação polinomial de

ordem 2,3 e 4 são precisos no mínimo seis, dez e quinze pontos respetivamente.

Para comparar os diferentes alinhamentos, a fim de encontrar a melhor transformação para as

imagens histológicas foi calculado o MSE (mean square error) e mas também o PSNR, MAXERR

e L2RAT. Desta forma estabeleceu-se duas comparações: a primeira comparando os erros de

alinhamento das diferentes transformadas para o mesmo número de pontos; a segunda

comparação será para verificar se o aumento de número de pontos de controlo (CP) para a

mesma transformada pode diminuir o erro de alinhamento numa mesma transformação

geométrica.

Figura 12: Alinhamento de duas imagens utilizando o modelo de

similaridade (CP=8).


22 Liliana Azevedo


23 Liliana Azevedo

V-Análise de Dados

5.1 Dataset

De um conjunto de amostras histológicas produzidas nas instalações laboratoriais foram

selecionadas três perfeitas imagens histológicas para testar quer o algoritmo para escalamento

das imagens, como o algoritmo para o alinhamento. Apesar da quantidade de imagens

possíveis de utilizar, a utilização de três imagens é desde já satisfatória para comprovar a

eficácia dos algoritmos.

Note-se que esta sequência foi escolhida visto que as imagens encontram-se em boas

condições, apresentam os marcadores intactos, e correspondem a uma sequência, isto é, são

três seções consecutivas do tecido que foi laminado: lâminas número 48 (Figura 13), 49 (Figura

14) e 50 (Figura 15).

Figura 13: Imagem 48.

Figura 14: Imagem 49.

Figura 15: Lâmina 50.


24 Liliana Azevedo

5.2 Escalamento de imagem

O algoritmo descrito na metodologia foi implementado primeiramente para duas imagens

(amostras número 49 e 50) e seguidamente para três imagens (amostras número 48, 49 e 50).

Para o primeiro caso, obteve-se uma janela retangular de 628x875. As imagens foram

recortadas por esta janela centrada no centróide de cada uma, obtendo-se as Figuras 16 e 17.

Para testar o algoritmo para mais de duas imagens foi adicionada a imagem da amostra 48.

Calculou-se o valor do novo centróide e as distâncias mínimas às extremidades para a nova

imagem. Estes valores foram submetidos com os anteriores, obtendo-se uma janela de

dimensões 578x875. As três imagens foram novamente recortadas por esta janela centrada no

centróide de cada uma. (Figuras 18, 19 e 20). Como é possível notar, a utilização de 3 imagens

reduziu a janela retangular de recorte, no entanto a informação importante continua presente

nas imagens. Este resultado deve-se ao facto desta metodologia basear-se a partir dos

centróides da região de interesse.

Figura 17: Imagem 49 recortada (escalamento com duas

imagens).

Figura 16: Imagem 50 recortada (escalamento com duas

imagens).

Figura 18: Imagem 48 (escalamento com três imagens).


25 Liliana Azevedo

5.3 Alinhamento

Em primeiro lugar, para comparar os diferentes alinhamentos, mais propriamente, encontrar

melhor transformada para as imagens histológicas foi calculado o erro da diferença dos

quadrados (MSE), bem como o PSNR, MAXERR e L2RAT. O passo seguinte consistiu em variar o

número de pontos de controlo para a mesma transformada. Estipulou-se uma comparação

para quatro pontos, oito pontos, doze pontos e dezasseis pontos (Figura 21).

Figura 19: Imagem 49 (escalamento com três

imagens).

Figura 20: Imagem 50 (escalamento para três imagens).

Figura 21: Escolha dos pontos de controlo.


26 Liliana Azevedo

Além disso, teve-se em conta o número mínimo de pontos para efetuar cada transformada. Os

dados obtidos foram resumidos em tabelas (Tabela 3 e Tabela 4).

Tabela 3: Parâmetro de qualidade para transformação de Similaridade, Afim e Projetiva.

Tabela 4: Parâmetro de qualidade para transformações polinomiais de ordem 2,3 e 4.

Considerando como mais importantes os valores obtidos pelo MSE e o PSNR, concluiu-se que

os melhores resultados foram obtidos para a transformada Polinomial de ordem 3 com

dezasseis pontos de controlo (CP=16). Na generalidade, os piores resultados foram obtidos a

partir da aplicação dos modelos Polinomiais (principalmente, para o polinómio 4ªordem).

Ao contrário do que seria de esperar, para a transformada Similaridade, os resultados têm pior

comportamento para CP=16 do que quando utilizados quatro, oito e até doze pontos de

controlo. A escolha dos últimos quatro pontos de controlo não beneficiou os resultados da

transformada que preserva ângulos e curvaturas. Em relação à transformada Afim, os

resultados para dezasseis pontos é relativamente pior do que quando utilizados doze pontos

de controlo. Pela mesma razão, a escolha manual dos últimos quatro pontos de controlo, não

ajudou a minimizar o erro. Deve-se ter em conta que esta transformada preserva paralelismos

entre linhas retas.

Um ponto importante a ter em conta reside no facto de as imagens histológicas sofrerem

distorções internas pequenas (dilatação) resultantes dos processos de preparação dos tecidos

(fixação, inclusão entre outros). Este facto poderá estar na origem de resultados mais

favoráveis para o polinómio de 3ª ordem. No entanto, o polinómio de 4ºa ordem resultou na

distorção completa da imagem, que por sua vez produziu resultados desfavoráveis.

Sem

alinhamento

MSE: 567,12 PSNR: 20,59 MAXERR: 179

L2RAT: 1,05

Similaridade (mínimo 2 pontos)

Afim (mínimo 3 pontos)

Projetiva (mínimo 4 pontos)

CP MSE PSNR MAXERR L2RAT MSE PSNR MAXERR L2RAT MSE PSNR MAXERR L2RAT

4 429.88 21.80 181 1.04 416.58 21.93 180 1.04 489.35 21.28 165 1.03 8 429.10 21.81 182 1.04 415.46 21.95 179 1.04 421.97 21.88 180 1.04

12 427.63 21.82 181 1.04 409.91 22.00 178 1.04 411.84 21.98 180 1.04 16 430.53 21.79 183 1.04 415.29 21.95 178 1.04 408.14 22.02 176 1.04

Polinomial Ordem2

(mínimo 6 pontos)

Polinomial Ordem3

(mínimo 10 pontos)

Polinomial Ordem4

(mínimo 15 pontos)

CP MSE PSNR MAXERR L2RAT MSE PSNR MAXERR L2RAT MSE PSNR MAXERR L2RAT

4 8 427.28 21.82 180 1.03

12 411.77 21.98 208 1.03 428,79 21,81 219 1,07 16 373.69 22.41 175 1.04 335,61 22,87 219 1,05 590.45 20.42 198 1.02


27 Liliana Azevedo

VI-Conclusão e Perspetivas Futuras

De um conjunto de amostras histológicas, foram selecionadas três imagens tendo em conta a

sua condição e o facto de serem secções consecutivas de um tecido. Este pensamento não

restringe a utilização do algoritmo para mais de três imagens, no entanto as imagens aplicadas

permitem comprovar a eficácia das metodologias e dos algoritmos construídos.

As metodologias utilizadas produziram resultados mais satisfatórios como resultados mais

desfavoráveis. A implementação do escalamento às imagens produziu resultados favoráveis.

Permitiu reduzir as imagens histológicas para o mesmo tamanho tendo em conta a

metodologia baseada nos centróides e nas distâncias mínimas às extremidades de cada

imagem. Pode-se notar que as imagens finais obtidas mantêm a região de interesse como

pretendido.

Pelo contrário, os resultados provenientes do alinhamento produziram dados menos

satisfatórios. Não se verifica uma melhora significativa da aplicação dos diferentes modelos

globais na utilização de mais pontos de controlo. Uma possível explicação poderá residir numa

escolha de pontos pouco favorável. Além disso, o facto da escolha dos pontos ser feita

manualmente pelo utilizador, possivelmente poderá ter influenciado a exatidão das

transformadas. No futuro, recorrer a combinação de transformadas poderá ser uma boa

perspetiva. Por outro lado, testar as imagens histológicas com transformadas não do domínio

global, mas sim do domínio local poderá ser frutífero. Por outro lado, o alinhamento efetuado

é demoroso visto que são alinhadas as imagens duas a duas. Um método mais eficiente e

rápido seria um bom ponto de partida.

Em suma, o trabalho realizado deixa em parte boas perspetivas para o futuro. Existem também

aspetos que necessitam de ser melhorados, revistos e profundamente estudados numa

próxima etapa.


28 Liliana Azevedo


29 Liliana Azevedo

VII-Bibliografia

Bioaula. (2007) Histologia básica [consultado em 16-04-2012]. Disponível em:

http://www.bioaulas.com.br/aulas/2006/histologia/apostilas/apostila_histologia_ba

sica/apostila_histologia_basica_demo.pdf

Carneiro, J., & Junqueira, L. C. (2004). G. K. S.A. (Ed.), Histologia Básica 10th ed., pp. 1-22.

Cifor, A., Bai, L., & Pitiot, A. (2011). Smoothness-guided 3-D reconstruction of 2-D histological

images. NeuroImage, 56 (1), pp. 197-211. Elsevier Inc.

Cooper, L. (2009). High Performance Image Analysis for Large Histological Datasets. Ohio State

University , pp. 1-7.

Fitzpatrick, J. M., Hill, D. L. G., & Maurer, C. R. (2000). Image Registration. Handbook of Medical

Imaging, pp. 447-514.

Gefen, S., Tretiak, O., & Nissanov, J. (2003). Elastic 3-D alignment of rat brain histological

images. IEEE transactions on medical imaging, 22(11), pp. 1480-1489.

He, L., Long, L. R., Antani, S., & Thoma, G. R. (2009). Computer Assisted Diagnosis in

Histopathology Vol. 3, pp. 272-287.

Huynh-Thu, Q.Scope of validity of PSNR in image/video quality assessment, Electronics Letters,

44, 2008, pp. 800-801.

Infopédia. (2012) Histologia [consultado em 14-05-2012]. Disponível em:

http://www.infopedia.pt/$histologia

Li, X., Yankeelov, T. E., Rosen, G. D., Gore, J. C., & Dawant, B. M. (2009). Enhancement of

histological volumes through averaging and their use for the analysis of magnetic

resonance images. Magnetic resonance imaging, 27 (3), pp. 401-416. Elsevier Inc.

Osechinskiy, S., & Kruggel, F. (2011). Slice-to-Volume Nonrigid Registration of Histological

Sections to MR Images of the Human Brain. Anatomy Research International, pp. 1-

17.

PBworks. (2012). Histologia [consultado em 14-05-2012] Disponível em:

http://ruisoares65.pbworks.com/w/page/7476019/FrontPage

Rehorek, S. J., & Smith, T. D. (2007). Concurrent 3-D Visualization of Multiple Microscopic

Structures. Modern Research and Educational Topics in Microscopy, pp. 917-923.

Zitová, B., & Flusser, J. (2003). Image registration methods: a survey. Image and Vision

Computing, 21 (11), pp. 977-1000.


30 Liliana Azevedo

segmentação e reconstrução 3d de tecidos animais …tavares/downloads/publications/... ·...

Documents