integrando textura e forma para a recuperação de imagens por conteúdo andré guilherme ribeiro...
TRANSCRIPT
Integrando Textura e Forma para a Integrando Textura e Forma para a Recuperação de Imagens por Recuperação de Imagens por
ConteúdoConteúdo
André Guilherme Ribeiro Balan
Grupo de Banco de Dados e ImagensInstituto de Ciências Matemáticas e Computação
Universidade de São Paulo
Conteúdo
Introdução Técnica proposta
Método de Segmentação Vetor de Características Medida de Similaridade
Experimentos e Resultados Conclusões
Introdução
Motivação para o desenvolvimento de técnicas CBIR: O aumento contínuo da quantidade de imagens digitais nos
hospitais e centros médicos.
Objetivo: Desenvolver uma ferramenta que auxilie os especialistas encontrar
imagens específicas em grandes repositórios.
Principal abordagem: Extrair características que representem o conteúdo da imagem; Comparar as características usando uma medida de similaridade.
Introdução
Exemplo de consulta: “encontre as cinco imagens mais semelhantes à
imagem identificada por radialcabeca_343.jpg”
Introdução
Grupos de características: Brilho/Cor; Forma; Textura.
Brilho/Cor são características simples de serem extraídas, mas podem causar ambigüidade.
Forma e Textura caracterizam melhor o conteúdo da imagem, mas são mais complexas e custosas de serem extraídas.
A técnica proposta
Principais elementos em imagens médicas: órgãos, tecidos, anomalias, plano de fundo, …
Neste contexto, nosso trabalho propõe a utilização de textura e forma.
Forma e Textura características
A técnica proposta
Esta abordagem compreende: A segmentação da imagem baseada em textura.
A extração de características simples de forma do objetos obtidos na segmentação.
O uso de uma função simples de medida de similaridade.
O método de segmentação
Método de segmentação empregado: Método EM/MPM;
Principais características do EM/MPM: Baseado em Textura; Automático (não-supervisionado); Utiliza campos aleatórios de Markov (MRF);
O método de segmentação
Sobre o EM/MPM: Basicamente: um algoritmo de otimização. Objetivo: “minimizar o número esperado de pixels classificados
erroneamente”
Sobre o uso de MRFs Permite a representação de texturas de comportamento aleatório
(presente na maioria dos tipos de imagens) Demanda uma quantidade relativamente pequena de parametros.
EM/MPM – visão geral
Imagem a ser segmentada
Um mapa de classificação é criado aleatoriamente
Características das classes são definidas
...
21
3
L
(1, 21)
(3, 23)
(L, 2L)
Atualiza-se as características
das classes
Realiza-se uma nova
classificação
O usuário define o número de classes
...
21
3
L
Algoritmo MPM Algoritmo EM
Imagem SegmentadaImagem Segmentada
Campo Aleatóriode Markov
Campo Aleatóriode Markov
Exemplos de segmentação
2
fundo
Classes (2)
1
2
345
Classes (5)
1
fundo
O vetor de características
O conjunto de características proposto inclui: Medidas de forma da imagem segmentada; Medidas da imagem original considerando a segmentação.
As medidas são obtidas das regiões:
2
34
5
Classes (5)
1
5 regiões distintas
O vetor de características
Para cada região, 5 características são extraídas: Centro de massa (centróide); Massa (tamanho); Medida de dispersão; Média e Variância.
Deixe I e S denotar a imagem original e a imagem segmentada, respectivamente.
O vetor de características
A massa da região c é:
Em outra palavras, massa é o numero de pixels da região c.
m h x yc cx y
( , ),
where,
,
1
0
x y
cx y
if S ch
if S c
O vetor de características
O centro de massa da região c é o par (xoc , yoc)
A medida de dispersão mede a compactação da região:
xo
x h x y
myo
y h x y
mc
cx y
cc
cx y
c
( , )
,
( , ), ,
d d ist o oc c i ci
( , ),
oc – centro de massa de c
oi,c – centro de massa de uma região isolada i na região c
Exemplo de regiões isoladas na região azul
O vetor de características
Média e Variância são calculadas sobre a imagem original I considerando a segmentação S
c
x y cx y
c
I h x y
m
,,
( , )
,,2
( ) ( , )x y c cx y
c
I h x y
N
média
variância
O vetor de características
Se a imagem é segmentada em L classes o vetor de características é:
Há 6 valores por região/classe (o centróide tem dois valores)
O vetor possui 6 x L valores reais.
2LLdLmLyoLxoL. . . 2
11d1m1yo1xo1
Características da classe com menor médiamenor média
. . .
Características da classe com maior médiamaior média
Medida de similaridade
A medida de similaridade entre duas imagens é dada pela Distância Euclidiana entre os vetores de características.
Os valores do vetor são normalizados para se obter maior poder de caracterização.
Experimentos e Resultados
Bando de imagens reduzido para experimentos:
Imagens segmentadas em 5 classes → 30 características por imagem.
Categoria de Imagem Número de Imagens
Angiograma 21
RM Bacia Axial 33
RM Cabeça Axial 50
RM Abdômen Coronal 34
RM Cabeça Sagital 38
RM Espinha Sagital 44
Experimentos e Resultados Exemplo de consulta utilizando o vetor proposto (30 valores)
Imagem de busca: 2865.jpg
Miniaturas das 24imagens recuperadas
Experimentos e Resultados Usando histogramas (256 valores)
Imagem de busca: 2865.jpg
Miniaturas das 24imagens recuperadas
Experimentos e Resultados
Gráficos Precision x Recall- 5 consultas por curva - as mesmas consultas para ambas as técnicas
Técnica proposta Histograma
0
1
0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1
Recall
Pre
cisi
on
0
1
0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1
Recall
Pre
cisi
on
Conclusões
Vantagens da técnica proposta Alto poder de discriminação; Número relativamente pequeno de características; Método automático de segmentação.
Desvantagem Alto custo para segmentação
Imagens de 300 x 400 pixels levam de 3 a 5 segundos em uma máquina com processador Athlon 2600.