sistema de recuperação de imagens baseada em conteúdo...

Sistema de Recuperação de Imagens Baseada em Conteú do Usando Mapas de Kohonen e Técnicas de Correlação Cruzada.

T. C. S. Santos André *, P. M. de Azevedo Marques*, J. A. H. Rodrigues* and R. M.

Rangayyan**.

* USP_FMRP/Departamento de Clínica Médica, Ribeirão Preto, SP, Brasil. ** University of Calgary/ Department of Electrical & Computer Engineering, Calgary, AB,

Canada.

Resumo: Recuperação de imagens baseado em conteúdo (RIBC) tem sido uma área de pesquisa intensamente estudada no campo da visão computacional nos últimos 10 anos. Na medicina, imagens, especialmente imagens digitais, são produzidas numa quantidade crescente e usadas tanto no diagnóstico quanto em terapias de tratamento de doenças. O Departamento de Radiologia do Hospital das Clínicas de Ribeirão Preto sozinho produziu mais de 300.000 imagens em 2003. Neste trabalho apresentamos um sistema de recuperação de imagens baseado em conteúdo que utiliza uma rede neural do tipo de Kohonen para reduzir o tamanho das imagens e a técnica da correlação cruzada para recuperar imagens mamográficas similares àquela apresentada ao sistema. A avaliação da performance do sistema foi feita usando medidas de precisão (0,21) e revocação (0,23) mostrando a necessidade de trabalhos futuros nesta área. Palavras Chaves: recuperação de imagens médicas, recuperação de imagens baseada em conteúdo, correlação cruzada, mamogramas, mapas de Kohonen. Abstract: Content-based image retrieval (CBIR) has been one of the most vivid research areas in the field of computer vision over the last 10 years. In the medical field, images, especially digital images, are being produced in ever-increasing quantities and used for diagnostics and therapy. The Radiology Department of the University Hospital of the Faculty of Medicine of Ribeirão Preto alone produced more than 300,000 images in 2003. We have been developing a CBIR system using a Kohonen neural network to reduce the size of the images and a cross-correlation technique to retrieve similar mammographic images. Evaluation of the system’s performance using measures of precision (0.21) and recall (0.23) indicates the need for further work in this area. Key words: medical image retrieval, content-based image retrieval, cross correlation, mammograms, Kohonen maps.

Introdução

Os primeiros sistemas de recuperação de imagem baseado em conteúdo (RIBC) foram desenvolvidos no início dos anos 80 [1], sendo que a maioria das pesquisas nesta área se inspirou no sistema da IBM (“Query By Image Content” - QBIC) como ponto de partida dos seus trabalhos [2]. Um sistema comercial de recuperação de imagens e vídeo que podemos citar é o “Virage” [3] que possui clientes bem conhecidos como a CNN. Porém a maioria dos sistemas conhecidos são da área acadêmica. Destes podemos citar dois exemplos bem conhecidos, o “Photobook” [4] e o “Netra” [5] que usam cores e características de textura para descreverem o conteúdo das imagens.

No que diz respeito à características das imagens existe uma variedade maior de medidas de textura se comparada com medidas de cores,

um pouco devido à imprecisão no entendimento e definição do que seja textura visual.

Algumas das medidas mais comuns usadas para extrair características de textura de imagens são “wavelets” [6] e filtros de “Gabor” [7]; filtros de “Gabor” apresentam uma melhor performance e correspondem bem à propriedade do córtex visual humano no que diz respeito à detecção de borda [8]. Outros descritores de textura muito populares contém: características que derivam da matriz de co-ocorrência de níveis de cinza [9], características baseadas na transformada de Fourier [10], e as chamadas características de “Wold” [11].

Basicamente todo sistema RIBC usa a suposição de equivalência da imagem e sua representação no espaço de características. Alguns Sistemas RIBC usam técnicas de medidas tais como modelo de vetores no espaço Euclidiano para medidas de distância entre uma imagem de

pesquisa e possíveis imagens semelhantes. Nestes casos as imagens são representadas como vetores de características em um espaço vetorial n-dimensional e as semelhanças estão associadas à menor distância Euclidiana entre tais vetores. Outros usam medidas de distâncias existentes nos espaços vetoriais tais como distancia “city-block”, distância “Mahalanobis” e intersecção de histogramas [12]. Algumas abordagens usam estruturas probabilísticas para medir a probabilidade de uma imagem ser relevante em relação à imagem de pesquisa. Vários sistemas usam métodos que são bem conhecidos no campo de recuperação de textos, ou busca por palavras, e os aplicam às características visuais onde as características visuais correspondem de forma aproximada às palavras nos textos [7]. Isto se baseia nos dois princípios a seguir:

• Uma característica que aparece com

frequência numa imagem descreve bem esta imagem.

• Uma característica que aparece com frequência numa coleção de imagens é um forte indicador para se distinguir uma imagem em relação à outra.

Estamos propondo um sistema RIBC baseado

em uma rede neural do tipo mapa auto-organizável (MAO) de Kohonen [13] para criar um vetor de características de cada imagem. Posteriormente usamos a técnica da correlação cruzada para estabelecer as semelhanças exixtentes. Apresentamos resultados da aplicação do sistema em imagens mamográficas e discutimos tais resultados no contexto de sistemas de auxílio computadorizado ao diagnóstico de câncer de mama. Materiais e Métodos

Escolhemos a base de dados mini MIAS [14] para treinar e testar o sistema RIBC proposto. A base de dados original conhecida como MIAS (cujas imagens foram digitalizadas com uma resolução de 50 microns de tamanho de pixel) foi reduzida para uma resolução de 200 microns de tamanho de pixel, formando a base de dados mini MIAS, cujos mamogramas foram cortados e colados em uma moldura escura gerando imagens de 1024 por 1024 pixels e 8 bits de escala de quantização de cinza. Um conjunto de 322 imagens, contendo imagens mamográficas das mamas esquerda e direita, projeção médio lateral, de 161 pacientes foram usadas neste estudo.

Um radiologista experiente classificou cada mamograma de acordo com quatro características: densidade (1 a 4), tamanho da mama (pequeno, médio ou grande), lado (mama esquerda ou

direita) e forma da mama (arredondada ou periforme). Esta classificação foi usada na tentativa de medir a performance do sistema RIBC para cada pesquisa feita na base de dados.

O primeiro passo na construção da rede neural foi a determinação da estrutura do MAO [15]. Para evitar um número excessivo de padrões no treinamento do MAO, apenas a parte central dos mamogramas foi selecionada (das colunas de pixel 180 a 840 e das linhas de pixel 70 a 1000 da matriz de pixel das imagens).

O treinamento do MAO foi feito da seguinte forma, 14 mamogramas foram selecionados randomicamente de modo a representarem todas as categorias de anormalidades, os dois lados, as quatro densidades, as duas formas e os três tamanhos dos mamogramas da base de dados. Estes mamogramas foram divididos ou retalhados em 3458 quadros de 51 por 51 pixels. Estes quadros formavam os padrões de entrada do MAO que tinha 2601 (51 vezes 51) neurônios na camada de entrada que foi alimentada com o valor de nível de cinza de cada pixel das regiões quadradas. A camada de saída do MAO foi empiricamente estabelecida e possuía 9 neurônios arranjados numa topologia plana de 3 por 3 neurônios. O MAO foi treinado com estes 3458 padrões um número suficiente de épocas de forma a garantir a convergência dos pesos dos neurônios da rede.

Após a fase de treinamento o MAO foi usado para construir um mosaico de cada imagem porem usando os quadros 3 por 3 da saída da rede e não mais os quadros 51 por 51 da entrada. Cada mosaico foi montado com 361 (19x19) quadros de tamanho 3x3 pixel. Estes mosaicos foram usados como vetores de características para representar as imagens no sistema RIBC.

Usamos a técnica da correlação cruzada sobre os mosaicos descritos acima para comparar a imagem de pesquisa com as 322 imagens (incluindo a própria imagem de pesquisa) da base de dados na recuperação baseada em conteúdo. A medida da correlação cruzada C2 foi calculada para cada mosaico segundo a expressão:

( ){ } ( ){ }

∑∑= =

−−=M

m

N

n BA

BnmBAnmA

MNC

1 1

2 ,,1

σσ (1)

onde A e σ 2

A são medidas da media e da variância

dos valores de pixel de cada mosaico da base de dados respectivamente; B e σ 2

B são medidas da

media e da variância dos valores de pixel do mosaico da imagem de pesquisa; M e N representam o tamanho em pixel de cada mosaico (igual a 57 e 57 respectivamente). A média e a variância dos valores de pixel nos mosaicos A e B são definidos pelas seguintes equações:

( )∑∑= =

=M

m

N

n

nmAMN

A1 1

,1

(2)

( )∑∑= =

=M

m

N

n

nmBMN

B1 1

,1

(3)

( ){ }∑∑= =

−=M

m

N

nA

AnmAMN 1

2

1

2,

1σ (4)

( ){ }∑∑= =

−=M

m

N

nB

BnmBMN 1

2

1

2,

1σ (5)

As grandezas usadas para avaliar o sistema de

recuperação de imagem foram a precisão e a revocação, definidas por [16]:

srecuperada imagens de número

srecuperada relevantes images de número precisão= ,

relevantes imagens de número

srecuperada relevantes imagens de número revocação= .

Resultados

Vinte imagens foram selecionadas

aleatoriamente da base de dados para testar o sistema RIBC proposto. Foram calculadas a precisão e a revocação de cada pesquisa considerando todas as quatro características e também foram calculadas tais grandezas para cada característica separadamente em cada pesquisa. A média dos valores obtidos para estas grandezas é apresentada na tabela 1.

Tabela 1: Média dos resultados das 20 pesquisas.

Todas Características

Dens. Forma Tam. Lado

Precisão Rev. Precisão Precisão Precisão Precisão 0.2088 0.2302 0.3567 0.8038 0.6233 1.0000

O sistema gera automaticamente um gráfico

após cada consulta mostrando os valores de correlação cruzada entre a imagem de pesquisa e as imagens da base de dados. Usando este gráfico podemos selecionar um valor de corte para a correlação cruzada e selecionar os casos que o sistema considerou mais relevantes a partir deste valor.

O sistema mostra as imagens recuperadas em ordem descendente de valores de correlação cruzada. A Figura 1 mostra a pesquisa feita com a imagem de nome mdb003, posição superior esquerda da figura, e as cinco imagens recuperadas em ordem de valores decrescentes de correlação cruzada, da esquerda para a direita e de cima para baixo (mdb007, mdb247, mdb013, mdb119 e mdb291).

O sistema também é capaz de mostrar as imagens cujos valores de correlação cruzada foram os menores. Estas imagens são mostradas na Figura 2. Podemos notar que os valores de correlação obtidos são negativos.

mdb003

1100 200 300 400 500 600 700 800 900 1000

100

200

300

400

500

600

700

800

900

1000

mdb007

0.967494100 200 300 400 500 600 700 800 900 1000

100

200

300

400

500

600

700

800

900

1000

mdb247

0.946341100 200 300 400 500 600 700 800 900 1000

100

200

300

400

500

600

700

800

900

1000

mdb013

0.945953100 200 300 400 500 600 700 800 900 1000

100

200

300

400

500

600

700

800

900

1000

mdb119

0.943388100 200 300 400 500 600 700 800 900 1000

100

200

300

400

500

600

700

800

900

1000

mdb291

0.943378100 200 300 400 500 600 700 800 900 1000

100

200

300

400

500

600

700

800

900

1000

Figura 1: Cinco imagens recuperadas pelo sistema RIBC para a imagem de pesquisa mdb003 (superior esquerdo). Os valores de C2 para as imagens recuperadas são, em ordem decrescente: 0.9675, 0.9463, 0.9460, 0.9434 e 0.9434. Discussão

A busca através de um sistema RIBC que usa apenas características visuais se torna um problema relativamente difícil. Em nosso sistema usamos apenas análise de textura para a recuperação das imagens que são similares àquela imagem de pesquisa. De uma maneira geral o sistema RIBHC desenvolvido apresentou resultados ruins, conforme apresentado na Tabela 1, entretanto olhando os resultados de cada característica separadamente vemos que com relação à forma, tamanho e lado das mamas os resultados são relativamente bons, demonstrando um potencial de aplicação [17].

Os resultados apresentados na Figura 2, que mostram as imagens menos correlacionadas, são visualmente interessantes e bons.

Para resolver o problema da performance ruim com relação à categorização através da densidade da mama serão necessários alguns ajustes. Acreditamos que modificando a fase de treinamento do MAO podemos melhorar tal performance, uma vez que nesta fase o sistema, apesar de reter grande parte da informação da imagem original, acaba por perder alguma informação no que tange à densidade da mama. Acreditamos, portanto que melhores resultados poderão ser obtidos com um treinamento mais apurado do MAO bem como a utilização de

técnicas de realce. Podemos inclusive incluir técnicas adicionais em conjunto com a correlação cruzada para melhorar a performance do sistema no que diz respeito à densidade da mama, tal como a técnica de modelamento do disco fibro glandular através da mistura de Gaussianas [18]. Fizemos uma simulação de um sistema deste tipo, onde a busca é feita apenas nas imagens que possuem a mesma densidade da imagem de pesquisa, e não em toda a base de dados, e apresentamos os resultados na Figura 3.

mdb003

1100 200 300 400 500 600 700 800 900 1000

100

200

300

400

500

600

700

800

900

1000

mdb154

-0.404311100 200 300 400 500 600 700 800 900 1000

100

200

300

400

500

600

700

800

900

1000

mdb132

-0.243974100 200 300 400 500 600 700 800 900 1000

100

200

300

400

500

600

700

800

900

1000

mdb274

-0.219384100 200 300 400 500 600 700 800 900 1000

100

200

300

400

500

600

700

800

900

1000

mdb096

-0.179898100 200 300 400 500 600 700 800 900 1000

100

200

300

400

500

600

700

800

900

1000

mdb042

-0.151828100 200 300 400 500 600 700 800 900 1000

100

200

300

400

500

600

700

800

900

1000

Figura 2: Cinco imagens menos correlacionadas em relação à imagem de pesquisa mdb003 (superior esquerdo). Os valores de C2 para estas imagens são: -0,4043, -0,2440, -0,2194, -0,1799 e –0,1518.

mdb003

1100 200 300 400 500 600 700 800 900 1000

100

200

300

400

500

600

700

800

900

1000

mdb291

0.944178100 200 300 400 500 600 700 800 900 1000

100

200

300

400

500

600

700

800

900

1000

mdb121

0.936945100 200 300 400 500 600 700 800 900 1000

100

200

300

400

500

600

700

800

900

1000

mdb315

0.9319 100 200 300 400 500 600 700 800 900 1000

100 200 300 400 500 600 700 800 900

1000

mdb125

0.919996100 200 300 400 500 600 700 800 900 1000

100

200

300

400

500

600

700

800

900

1000

mdb209

0.919971100 200 300 400 500 600 700 800 900 1000

100

200

300

400

500

600

700

800

900

1000

Figure 3: Cinco imagens recuperadas pelo sistema RIBC para a imagem de pesquisa mdb003 (superior esquerdo). Os valores de C2 para as imagens recuperadas são, em ordem decrescente: 0.9442, 0.9369, 0.9319, 0.9200 e 0.9200.

Outro problema a ser resolvido diz respeito à definição do que seja similaridade entre imagens. Temos que apresentar os resultados da busca a potenciais usuários do sistema RIBC proposto para que estes possam avalia-lo. Neste projeto caracterizamos os mamogramas usados de acordo com quatro grandezas fornecidas por apenas um radiologista experiente. Isto nos leva a outra questão, qual seja, a variabilidade entre observadores.

Os resultados obtidos até o momento mostram que novos estudos serão necessários para melhorar a performance do sistema RIBC proposto. Agradecimentos

Este trabalho foi financiado pela FAPESP, processos números 99/06940-6 e 03/06215-7. Referências [1] CHANG, N.-S. and FU K.-S. “Query-by-

pictorial-example”, IEEE Trans. Sofware Eng. SE 6 (6), pp. 40 - 49, 1980.

[2] FLICKNER M., SAWHNEY H., NIBLACK W.,

ASHLEY J., HUANG Q., DOM B., GORKANI M., HAFNER J., LEE D., PETROVIC D., STEELE D., AND YANKER P., “Query by image and video content: the QBIC system”, IEEE Comput., 28 (9), pp. 23 - 32, 1980.

[3] Virage, Internet site address:

http://www.virage.com/ accessed on 13/05/2004.

[4] PENTLAND A., PICARD R. W., and

SCLAROFF S., “Photobook: tools for content-based manipulation of image databases”, Int. J. Comput. Vis. 18 (3) pp. 233 - 254, 1996.

[5] MA W .Y., DENG Y., and MANJUNATH B. S.,

“Tools for texture-and-color-based search of images” in: Rogowitz, B. E. and Pappas, T. N. (Eds), Proc. of the Third Int. Conf. on Visual Inf. System (VISUAL’99), no. 1614 in “Lecture Notes in Computer Science, Springer-Verlag, Amsterdam, The Netherlands, pp. 509 - 516, 1999.

[6] ORTEGA M., RUI Y., CHAKRABARTI K.,

PORKAEW K., MEHROTRA S., and HUANG T. S., “Supporting ranked Boolean similarity queries in MARS”, IEEE Trans. Knowledge Data Eng. 10 (6) pp. 905-25, 1998.

[7] SQUIRE D. M., MÜLLER W., MÜLLER H., and

PUN T., “Content-based query of image databases: in-spirations from text retrieval”

Pattern Recognition Letters, vol. 21, pp. 1193 - 1198, 2000.

[8] DAUGMAN J. G., “An information theoretic view

of analog representation in striate cortex”, Computat. Neurosci. 2 pp. 9-18, 1990.

[9] WESZKA J. S., DYER C. R., and ROSENFELD

A., “A comparative study of texture measures for terrain classification”, IEEE Trans. Sys. Man Cybernetics 6 (4) pp. 269 - 285, 1976.

[10] MILANESE R. and CHERBULIEZ M., “A rotation, translation and scale-invariant approach to content-based image retrieval”, J. Visual Commun. Image Represent. 10 pp. 186 - 96, 1999.

[11] LU C.–S. and CHUNG R.–F., “Wold features

for unsupervised texture segmentation”, in Proc. 14th Int. Conf. on Pattern Recognition (ICPR’98), IEEE, Brisbane, Australia, pp. 1689 - 1693, 1998.

[12] SWAIN M. J. and BALLARD D. H., “Color

indexing”, Int. J. Comput. Vis. 7 (1) pp. 11 - 32, 1991.

[13] KOHONEN T. “Self – Organizing Maps”,

Spring-Verlag Berlin Heidelberg New York, 1997.

[14] SUCKLING J., PARKER J., DANCE D.,

ASTLEY S., HUTT I., BOGGIS C., RICKETTS I., STAMATAKIS E., CERNEAZ N., KOK S., TAYLOR P., BETAL D., and SAVAGE J., "The mammographic images analysis society digital mammogram database." Exerpta Medica.

International Congress Series 1069: pp. 375-378, 1994.

[15] ANDRÉ T. C. S. S. and ROQUE A. C., “Sistema de diagnóstico de câncer baseado em redes neurais”, XVII Congresso Brasileiro de Engenharia Biomédica – CBEB'2000, Florianópolis, Santa Catarina, 11-13 Setembro, 2000.

[16] MÜLLER H., MICHOUX N., BANDON D., and

GEISSBUHLER A., “A review of content-based image retrieval systems in medical applications-clinical benefits and future directions”, Int. Journal of Med. Inf. 73, pp. 1 – 23, 2004.

[17] BOONE J. M., HURLOCK G., S., SEIBERT A.,

and KENNEDY R. L., “Automated recognition of lateral from PA chest radiographs: saving seconds in a PACS environment”, Journal of Dig. Im. Vol. 16, No 4, pp. 345 – 9, 2003.

[18] FERRARI R. J., RANGAYYAN R. M.,

BORGES R. A., and FRÈRE A. F., “Segmentation of fibro-glandular disc in mammograms via Gaussian mixture modeling”, Medical and Biological Engineering and Computing, 2004. In press.

Contato Túlio César S. S. André - PhD - MsC - CQE Centro de Ciências da Imagem e Física Médica Faculdade de Medicina de Ribeirão Preto - USP Av. Bandeirantes, 3900 - CEP - 14.048-900 Fone - 16 602 2640 - Fax - 16 602 2648 e-mail – tulio@cci.fmrp.usp.br