sistema de recuperação de imagens baseada em conteúdo usando mapas de kohonen e técnicas de...
TRANSCRIPT
Sistema de Recuperação de Imagens Baseada em Conteúdo Usando Mapas de Kohonen e Técnicas de Correlação
Cruzada.
T. C. S. Santos André *, P. M. de Azevedo Marques*,J. A. H. Rodrigues* and R. M. Rangayyan**.
*Centro de Ciência das Imagens e Física MédicaUSP / FMRP / Departamento de Clínica Médica, Ribeirão Preto,
SP, Brasil.** University of Calgary/ Department of Electrical& Computer
Engineering,Calgary, AB, Canada.
INTRODUÇÃO
BASE DE DADOS
MÉTODOS
RESULTADOS
DISCUSSÃO
CONCLUSÃO
INTRODUÇÃO:
Os primeiros sistemas de recuperação de imagem baseado em conteúdo (RIBC) foram desenvolvidos no início dos anos 80;
A maioria das pesquisas nesta área se inspirou no sistema da IBM (“Query By Image Content” - QBIC) como ponto de partida dos seus trabalhos
A maioria dos sistemas conhecidos é da área acadêmica;
Basicamente todo sistema RIBC usa a suposição de equivalência da imagem e sua representação no espaço de características;
Alguns Sistemas RIBC usam técnicas de medidas tais como modelo de vetores. Nestes casos as imagens são representadas como vetores de características em um espaço vetorial n-dimensional;
Distância Euclidiana, distância “city-block” ou distância “Mahalanobis” entre tais vetores.
INTRODUÇÃO:
Vários sistemas usam métodos que são bem conhecidos no campo de recuperação de textos, ou busca por palavras, que se baseia nos dois princípios a seguir:
Uma característica que aparece com frequência numa imagem descreve bem esta imagem;
Uma característica que aparece com frequência numa coleção de imagens é um forte indicador para se distinguir uma imagem em relação à outra.
INTRODUÇÃO:
Estamos propondo um sistema RIBC baseado em uma rede neural do tipo mapa auto-organizável (MAO) de Kohonen para criar um vetor de características de cada imagem;
Estamos usando a técnica da correlação cruzada para estabelecer as semelhanças existentes.
BASE DE DADOS
mini MIAS [SUCKLING J., PARKER et. al. (1994)]
322 imagens de 161 pacientes, mamas esquerda e direita, projeção médio lateral;
Resolução espacial - 200 m de tamanho de pixel;
Resolução de contraste – 256 níveis de cinza(8 bits de quantização);
Tamanho das imagens - 1024 por 1024 pixels (centralizadas).
PARA MEDIR A PERFORMANCE DO SISTEMA RIBC:
Densidade (1 a 4) – de acordo com BIRADS;
Tamanho da mama (pequeno, médio ou grande);
Lado (mama esquerda ou direita);
Forma da mama (arredondada ou periforme).
PARA MEDIR A PERFORMANCE DO SISTEMA RIBC:
srecuperada imagens de número
srecuperada relevantes images de número precisão
relevantes imagens de número
srecuperada relevantes imagens de número revocação
PARA MEDIR A PERFORMANCE DO SISTEMA RIBC:
MÉTODOS
O Mapa Auto Organizável de Kohonen:
MÉTODOS
Rede MAO:1601 neurônios na entrada. Vetores de entrada com 1601 posições;
Rede é alimentada com os valores de pixel normalizados de quadros de 51x51 pixels retirados dos mamogramas que possuem 1024x1024 pixels;
Treinamento auto organizável, neste só os pesos do neurônio vencedor e de sua vizinhança são alterados. Wi(t+1) = Wi(t) + hci(t)[x(t) - Wi(t)] ;
Saída com nove neurônios num arranjo 3x3;
Função de vizinhança que diminui com o tempo e com o raio da vizinhança :
t
rirc
ci eth2
2
2
MÉTODOS
A técnica da correlação cruzada:
M
m
N
n BA
BnmBAnmA
MNC
1 1
2 ,,1
M
m
N
n
nmAMN
A1 1
,1
M
m
N
n
nmBMN
B1 1
,1
M
m
N
nA
AnmAMN 1
2
1
2,
1
M
m
N
nB
BnmBMN 1
2
1
2,
1
RESULTADOS
Visão apresentada pelo MAO que seria percebida pelo olho humano:
RESULTADOS
Resultado da pesquisa:
mdb003
1100 200 300 400 500 600 700 800 900 1000
100
200
300
400
500
600
700
800
900
1000
mdb007
0.967494100 200 300 400 500 600 700 800 900 1000
100
200
300
400
500
600
700
800
900
1000
mdb247
0.946341100 200 300 400 500 600 700 800 900 1000
100
200
300
400
500
600
700
800
900
1000
mdb013
0.945953100 200 300 400 500 600 700 800 900 1000
100
200
300
400
500
600
700
800
900
1000
mdb119
0.943388100 200 300 400 500 600 700 800 900 1000
100
200
300
400
500
600
700
800
900
1000
mdb291
0.943378100 200 300 400 500 600 700 800 900 1000
100
200
300
400
500
600
700
800
900
1000
Cinco imagens recuperadas pelo sistema RIBC para a imagem de pesquisa mdb003 (superior esquerdo). Os valores de C2 para as imagens recuperadas são, em ordem decrescente: 0.9675, 0.9463, 0.9460, 0.9434 e 0.9434.
RESULTADOS
Resultado da pesquisa:
mdb003
1100 200 300 400 500 600 700 800 900 1000
100
200
300
400
500
600
700
800
900
1000
mdb154
-0.404311100 200 300 400 500 600 700 800 900 1000
100
200
300
400
500
600
700
800
900
1000
mdb132
-0.243974100 200 300 400 500 600 700 800 900 1000
100
200
300
400
500
600
700
800
900
1000
mdb274
-0.219384100 200 300 400 500 600 700 800 900 1000
100
200
300
400
500
600
700
800
900
1000
mdb096
-0.179898100 200 300 400 500 600 700 800 900 1000
100
200
300
400
500
600
700
800
900
1000
mdb042
-0.151828100 200 300 400 500 600 700 800 900 1000
100
200
300
400
500
600
700
800
900
1000
Cinco imagens menos correlacionadas em relação à imagem de pesquisa mdb003 (superior esquerdo). Os valores de C2 para estas imagens são: -0,4043, -0,2440, -0,2194, -0,1799 e –0,1518.
RESULTADOS
Resultado da pesquisa:
Todas Características
Dens. Forma Tam. Lado
Precisão Rev. Precisão Precisão Precisão Precisão
0.2088 0.2302 0.3567 0.8038 0.6233 1.0000
DISCUSSÃO
A busca através de um sistema RIBC que usa apenas características visuais (análise de textura) é relativamente difícil;
O sistema RIBC apresentou resultados ruins, no que diz respeito à densidade;
Os resultados das demais característica separadamente são relativamente bons, demonstrando um potencial de aplicação [BOONE J. M. et. al. (2003)];
Os resultados que mostram as imagens menos correlacionadas, são visualmente interessantes;
Modificar a fase de treinamento do MAO pode melhorar os resultados;
Incluir técnicas adicionais em conjunto com a correlação cruzada (modelamento do disco fibro glandular através da mistura de Gaussianas [FERRARI R. J. et. al. (2004)]);
A simulação de um sistema deste tipo, onde a busca é feita apenas nas imagens que possuem a mesma densidade da imagem de pesquisa, e não em toda a base de dados, apresenta acentuada melhora;
RESULTADOS
Resultado da pesquisa considerando apenas mamogramas de mesma densidade:
mdb003
1100 200 300 400 500 600 700 800 900 1000
100
200
300
400
500
600
700
800
900
1000
mdb291
0.944178100 200 300 400 500 600 700 800 900 1000
100
200
300
400
500
600
700
800
900
1000
mdb121
0.936945100 200 300 400 500 600 700 800 900 1000
100
200
300
400
500
600
700
800
900
1000
mdb315
0.9319 100 200 300 400 500 600 700 800 900 1000
100 200 300 400 500 600 700 800 900
1000
mdb125
0.919996100 200 300 400 500 600 700 800 900 1000
100
200
300
400
500
600
700
800
900
1000
mdb209
0.919971100 200 300 400 500 600 700 800 900 1000
100
200
300
400
500
600
700
800
900
1000
Cinco imagens recuperadas pelo sistema RIBC para a imagem de pesquisa mdb003 (superior esquerdo). Os valores de C2 para as imagens recuperadas são, em ordem decrescente: 0.9442, 0.9369, 0.9319, 0.9200 e 0.9200.
DISCUSSÃO:
Necessitamos de uma definição do que seja similaridade entre imagens;
Temos que apresentar os resultados da busca a potenciais usuários do sistema RIBC proposto para que estes possam avaliá-lo;
Neste projeto caracterizamos os mamogramas usados de acordo com quatro grandezas fornecidas por apenas um radiologista experiente. Isto nos leva a outra questão, qual seja, a variabilidade entre observadores;
CONCLUSÃO:
Os resultados obtidos até o momento mostram que novos estudos serão necessários para melhorar a performance do sistema RIBC proposto;
Uma linha de pesquisa interessante a seguir diz respeito à classificação automática da densidade dos mamogramas.
AGRADECIMENTOS:
À Fapesp pelo apoio financeiro;
À comissão organizadora do CIBIS por esta oportunidade;