integrando textura e forma para a recuperação de imagens por conteúdo andré guilherme ribeiro...

Integrando Textura e Forma para a Integrando Textura e Forma para a Recuperação de Imagens por Recuperação de Imagens por

ConteúdoConteúdo

André Guilherme Ribeiro Balan

Grupo de Banco de Dados e ImagensInstituto de Ciências Matemáticas e Computação

Universidade de São Paulo

Conteúdo

Introdução Técnica proposta

Método de Segmentação Vetor de Características Medida de Similaridade

Experimentos e Resultados Conclusões

Introdução

Motivação para o desenvolvimento de técnicas CBIR: O aumento contínuo da quantidade de imagens digitais nos

hospitais e centros médicos.

Objetivo: Desenvolver uma ferramenta que auxilie os especialistas encontrar

imagens específicas em grandes repositórios.

Principal abordagem: Extrair características que representem o conteúdo da imagem; Comparar as características usando uma medida de similaridade.

Introdução

Exemplo de consulta: “encontre as cinco imagens mais semelhantes à

imagem identificada por radialcabeca_343.jpg”

Introdução

Grupos de características: Brilho/Cor; Forma; Textura.

Brilho/Cor são características simples de serem extraídas, mas podem causar ambigüidade.

Forma e Textura caracterizam melhor o conteúdo da imagem, mas são mais complexas e custosas de serem extraídas.

A técnica proposta

Principais elementos em imagens médicas: órgãos, tecidos, anomalias, plano de fundo, …

Neste contexto, nosso trabalho propõe a utilização de textura e forma.

Forma e Textura características

A técnica proposta

Esta abordagem compreende: A segmentação da imagem baseada em textura.

A extração de características simples de forma do objetos obtidos na segmentação.

O uso de uma função simples de medida de similaridade.

O método de segmentação

Método de segmentação empregado: Método EM/MPM;

Principais características do EM/MPM: Baseado em Textura; Automático (não-supervisionado); Utiliza campos aleatórios de Markov (MRF);

O método de segmentação

Sobre o EM/MPM: Basicamente: um algoritmo de otimização. Objetivo: “minimizar o número esperado de pixels classificados

erroneamente”

Sobre o uso de MRFs Permite a representação de texturas de comportamento aleatório

(presente na maioria dos tipos de imagens) Demanda uma quantidade relativamente pequena de parametros.

EM/MPM – visão geral

Imagem a ser segmentada

Um mapa de classificação é criado aleatoriamente

Características das classes são definidas

...

21

3

L

(1, 21)

(3, 23)

(L, 2L)

Atualiza-se as características

das classes

Realiza-se uma nova

classificação

O usuário define o número de classes

...

21

3

L

Algoritmo MPM Algoritmo EM

Imagem SegmentadaImagem Segmentada

Campo Aleatóriode Markov

Campo Aleatóriode Markov

Exemplos de segmentação

2

fundo

Classes (2)

1

2

345

Classes (5)

1

fundo

O vetor de características

O conjunto de características proposto inclui: Medidas de forma da imagem segmentada; Medidas da imagem original considerando a segmentação.

As medidas são obtidas das regiões:

2

34

5

Classes (5)

1

5 regiões distintas

O vetor de características

Para cada região, 5 características são extraídas: Centro de massa (centróide); Massa (tamanho); Medida de dispersão; Média e Variância.

Deixe I e S denotar a imagem original e a imagem segmentada, respectivamente.

O vetor de características

A massa da região c é:

Em outra palavras, massa é o numero de pixels da região c.

m h x yc cx y

( , ),

where,

,

1

0

x y

cx y

if S ch

if S c

O vetor de características

O centro de massa da região c é o par (xoc , yoc)

A medida de dispersão mede a compactação da região:

xo

x h x y

myo

y h x y

mc

cx y

cc

cx y

c

( , )

,

( , ), ,

d d ist o oc c i ci

( , ),

oc – centro de massa de c

oi,c – centro de massa de uma região isolada i na região c

Exemplo de regiões isoladas na região azul

O vetor de características

Média e Variância são calculadas sobre a imagem original I considerando a segmentação S

c

x y cx y

c

I h x y

m

,,

( , )

,,2

( ) ( , )x y c cx y

c

I h x y

N

média

variância

O vetor de características

Se a imagem é segmentada em L classes o vetor de características é:

Há 6 valores por região/classe (o centróide tem dois valores)

O vetor possui 6 x L valores reais.

2LLdLmLyoLxoL. . . 2

11d1m1yo1xo1

Características da classe com menor médiamenor média

. . .

Características da classe com maior médiamaior média

Medida de similaridade

A medida de similaridade entre duas imagens é dada pela Distância Euclidiana entre os vetores de características.

Os valores do vetor são normalizados para se obter maior poder de caracterização.

Experimentos e Resultados

Bando de imagens reduzido para experimentos:

Imagens segmentadas em 5 classes → 30 características por imagem.

Categoria de Imagem Número de Imagens

Angiograma 21

RM Bacia Axial 33

RM Cabeça Axial 50

RM Abdômen Coronal 34

RM Cabeça Sagital 38

RM Espinha Sagital 44

Experimentos e Resultados Exemplo de consulta utilizando o vetor proposto (30 valores)

Imagem de busca: 2865.jpg

Miniaturas das 24imagens recuperadas

Experimentos e Resultados Usando histogramas (256 valores)

Imagem de busca: 2865.jpg

Miniaturas das 24imagens recuperadas

Experimentos e Resultados

Gráficos Precision x Recall- 5 consultas por curva - as mesmas consultas para ambas as técnicas

Técnica proposta Histograma

0

1

0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1

Recall

Pre

cisi

on

0

1

0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1

Recall

Pre

cisi

on

Conclusões

Vantagens da técnica proposta Alto poder de discriminação; Número relativamente pequeno de características; Método automático de segmentação.

Desvantagem Alto custo para segmentação

Imagens de 300 x 400 pixels levam de 3 a 5 segundos em uma máquina com processador Athlon 2600.