técnicas e aplicações de recuperação de imagens por...

108
Técnicas e Aplicações de Recuperação de Imagens por Conteúdo Agma Juci Machado Traina Caetano Traina Jr. Grupo de Bases de Dados e Imagens Departamento de Ciências de Computação Universidade de São Paulo - São Carlos http://www.icmc.usp.br/~caetano http://www.icmc.usp.br/~agma

Upload: others

Post on 03-Oct-2020

0 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Técnicas e Aplicações deRecuperação de Imagens por

Conteúdo

Agma Juci Machado TrainaCaetano Traina Jr.

Grupo de Bases de Dados e ImagensDepartamento de Ciências de ComputaçãoUniversidade de São Paulo - São Carlos

http://www.icmc.usp.br/~caetanohttp://www.icmc.usp.br/~agma

Page 2: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

P Introdução

P Motivação

P Imagens e Características

P Organização dos Dados< Indexação de Imagens

P Consultas por Similaridade

P Conclusões

Conteúdo

Page 3: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

P Grande volume de dados complexos gerados pelos sistemascomputacionais atuais< Imagens, vídeo, áudio, hipertexto, séries temporais, cadeias de DNA

P Utilizá-los de modo proveitoso e recuperá-loss de modo rápido e natural é uma das necessidades para efetuar a análise de taisdados,

P Dados Complexos são naturalmente comparados por semelhança(similaridade), diferentemente dos dados simples.< 35 < 50< ‘Piracicaba’ < ‘São Carlos’

Introdução

?

Page 4: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

P Recuperação de imagens baseada em conteúdo– Content-Based Image Retrieval - CBIR

< Recuperação baseada em: conteúdo X descrição– “Retorne a imagem de João da Silva”– “Retorne a imagem de João da Silva obtida em 25/09/2004 ” – “Retorne as 5 imagens mais semelhantes à imagem de João da Silva”

P Busca por similaridade– Similarity search

< Duas imagens são semelhantes, nunca iguais (se for igual é a mesma!)

< O que é similaridade ?– Critérios de similaridade– Características a serem comparadas– Métricas para comparação

Coleções de imagens (Tamanho Crescente)

Introdução

Page 5: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

IntroduçãoRecuperação por Conteúdo vs. Recuperação por Descrição

Descrições feitaspelos especialistas

Processo nãoautomático

Descrições obtidasdas diretamentedas imagens

Processo automáticoou semi-automático

ImagensDescriçõesFeatures

Consultas convencionais: chaves textuaisConsultas por conteúdo: chaves imagens

Page 6: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

P Processamento de coleções de imagens– Cada imagem é analisada individualmente utilizando técnicas e algoritmos

processamento de imagens;

< Organização da coleção para recuperação rápida;< Pré-processamento de cada imagem durante a armazenagem;< Recuperação eficiente durante as consultas.

Coleções de imagens

Motivação

Page 7: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Módulos

Recuperação de Imagens por Conteúdo (CBIR)

Motor deRecuperação

Extratores deCaracterísticas

Armazenamento eMétodos de Acesso

Métodos deInteração (GUI)

Cálculos de Similaridade (funções de distância)

Page 8: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

SimilaridadeIntuição (1)

Page 9: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Intuição (2)

Similaridade

Page 10: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

P Similaridade entre dados multimídia é medida sobrecaracterísticas extraídas dos mesmos< histogramas, momentos invariantes, transformadas (Fourier, Wavelets,

etc), análise das componentes principais (PCA), assinaturas...

P Procura-se extrair as informações que o analista humano utilizano processo de comparação entre esses dados< Imagens: cores, forma, textura, relacionamento entre objetos< Vídeo: diferença entre frames< Áudio: frequência e altura do comprimento de onda

P Essas características são utilizadas para a comparação entre osdados multimídia.

Similaridade entre dados Complexos

Page 11: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

P Introdução

P Motivação

P Imagens e Características

P Organização dos Dados< Indexação de Imagens

P Consultas por Similaridade

P Conclusões

Conteúdo

Page 12: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Exemplo: imagens

Extração de Características

ClassificaçãoExtração deCaracterísticasSegmentação

Vetor deCaracterísticas

ImagemObjeto

ImagemOriginal

x1

x2

...xn

“Círculo”

“Elipse”

Tipo deObjeto

Page 13: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

P Características de imagens:< Valores Numéricos ou categóricos que descrevem as características das

imagens< Características comumente usadas: cor, textura, forma e relacionamento

entre objetos da imagem

P DESAFIO 1 - a partir da imagem original, definir um vetor decaracterísticas que:< descreva com fidelidade o conteúdo semântico da mesma,< aceite a aplicação de uma medida de similaridade (função de distância),< Possa ser usada em uma estrutura de indexação,

P DESAFIO 2 - Manter um número pequeno de características:< “Maldição da Alta Dimensionalidade”!

Desafio

Extração de Características

Page 14: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

P Existe um relacionamento forte entre< Características das Imagens e Função de Distância

P Especialista no domínio deve indicar/especificar/propor Funçãode Distância mais apropriada para o tipo de imagens

P Funções de distância usuais - Família Lp

Comparação por Similaridade

Funções de distância

Page 15: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

P Dados 2 vetores (tuplas) x=(x1, x2,..., xn) e y=(y1, y2,..., yn)

Distância Euclideana: < L2= (j|xi - yi|

2)1/2

Medir dissimilaridade

Funções de distância

O que fazer quando não há dimensãodefinida para o conjunto de dados?

x=(x1, x2,..., xn) e y=(y1, y2,..., yk) com k�n

Page 16: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Conceitos Relacionados

Page 17: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Níveis de Abstração -Semântico vs. Sintático

Nível 1: Pixels da imagem

Nível 2: Procurar bordas,linhas, curvas e regiões

Nível 3 - Combinar einterpretar os atributos donível 2

Nível 4: Mapeamento humano,relacionamento entre os objetos donível 3

Sintático

Semântico

(Computador)

(Especialista)

Page 18: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

P Gap semântico: perda da informação real da imagem , que não épreservada/capturada pelas características (algoritmos deProcessamento de Imagens) e a expectativa de informação totaldesejada pelo usuário.< Principal problema referente a aceitação de CBIR

P Utilizar CBIR em aplicações mais específicas!< Recuperação segundo determinado aspecto (somente cor, ou textura, ou

forma).

Considerações

Gap Semântico

Page 19: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

P Medida de eficácia do Método de Recuperação.< Dado um conjunto de dados (sobre o qual serão feitas as consultas), define-se:< TR - nº Total de objetos Relevantes (nº de imagens pertencentes a mesma classe

que a imagem de consulta)

< TRO - nº Total de objetos Relevantes recuperados na consulta< TO - nº Total de objetos recuperados na consulta (independente da classe a

que pertencem)

Precisão e Revocação

Análise dos Resultados

TR -ObjetosRelevantes

TO -Total deObjetos Obtidos

TRO - TotalRelevantes Obtidos

Page 20: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Análise dos ResultadosPrecisão e Revocação

TR -ObjetosRelevantes

TO -Total deObjetos Obtidos

TRO - TotalRelevantes Obtidos

P Precisão: indica a proporção de objetos relevantes emrelação ao total de objetos recuperados Precision= TRO

TO

P Revocação: indica a proporção de objetos relevantesrecuperados em relação ao total de objetos relevantes

Recall = TRO TR

Page 21: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Exemplo

Precisão e Revocação

Page 22: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Conceitos Relacionados

Page 23: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Exemplo

Extração de Características - Histograma

Page 24: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Extração de Características - Histograma

Page 25: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Exemplo: características de baixo nível de imagens

Histogramas

CorHistogramas

- rápido de obter- baixo poder discriminativo

mais de uma imagempode corresponder aomesmo histograma!

(a)

(d)(c)

(b) (e)

Cores

Histograma de cores

Solução: usar mais de umacaracterística

Page 26: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Exemplo: características de baixo nível de imagens

Extratores de características

Textura

Padrão visual em que elementos gráficos semelhantes se

repetem em densidade variável.

Padrão visual em que elementos gráficos semelhantes se

repetem em densidade variável.

Page 27: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Exemplo: características de baixo nível de imagens

Extratores de Características

FormaLocaliza objetos usando algoritmos de detecção de bordasLocaliza objetos usando algoritmos de detecção de bordas

Processamento pesadoProcessamento pesado

Requer o pré-processamento da imagem e redução

de ruído antes da segmentação

Requer o pré-processamento da imagem e redução

de ruído antes da segmentação

originaloriginal segmentadasegmentada

Page 28: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Processo de seleção de características

Extratores de características

A comparação de imagens é custosa e toma tempoUma filtragem inicial pode reduzir o número de comparações

Histogramas L primeiro passo

Textura e forma: operações custosas, que depende do domínio da

aplicação L passos posteriores

Page 29: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

P Características de baixo nível: histogramas de intensidade (niveiscinza);

P Vetores de características: aproximação linear por partes dohistograma;

P Extração de características: extração do histograma,normalização, aproximação linear por partes;

P Função de Distância: diferença da integral entre as aproximaçõeslineares por partes.

Um exemplo: histogramas métricos para exames medicos

Extração de características

Page 30: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Um exemplo: histogramas metricos para exames medicos

Extração de características

Em histogramas tradicionais, existe um bin para cada cor (ou intensidadede cinza)

Page 31: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Todos os ‘bins’ têm a mesma largura

Extração de características

0,25

0,20

0,15

0,1

0,05

0

0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

Page 32: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Transforma ‘bins’ em ‘buckets’

Aproximação do histograma

0,25

0,20

0,15

0,1

0,05

0

0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

Page 33: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

P Invariante à rotação, translação e escala;

P Invariante à mudanças lineares de brilho;

P Explora as correlações existentes entre bins vizinhos (de maneiraespecífica, imagem por imagem).

Propriedades do histograma métrico

Page 34: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

P A distância MD( ) entre dois histogramas métricos é a área nãosobreposta entre ambos.

Definindo a função de distância métrica forpara Histogramas Métricos

Buckets

Histogramamétrico A

Histogramamétrico B

Page 35: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Tempo para responder a 50 consultas sobre dados indexados em uma Slim-tree

Histogramas métricos melhoram a resposta aconsultas

0

0.5

1

1.5

2

2.5

3

3.5

4

0 2 4 6 8 10 12 14 16

Total time for answering 50 queries MRHead500

OriginalsMetrics

k=DatabaseP ercentage

0

50

100

150

200

250

300

350

400

450

500

0 2 4 6 8 10 12 14 16

Total time for answering 50 queries:

MRVarious4247

OriginalsMetrics

k=DatabaseP ercentage

Page 36: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

P Três abordagens principais:< Estatística: distribuição dos níveis de cor dos pixels e seu inter-

relacionamento< Estrutural: arranjo espacial de primitivas regulares< Espectral: aplicação e análise de transformadas

P Abordagem estatística:< mais utilizada< bons resultados< custo computacional reduzido

Característica: Textura

Page 37: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

P Basicamente um algoritmo de otimização

P Objetivo é “minimizar o número esperado de pixels classificadoserradamente”

P Métodos Estocásticos

Permite a representação de comportamento aleatório das texturas< (Presente na maior parte das imagens)

P Demanda um número pequeno de parâmetros)

Métodos Estocásticos

Característica: Textura

EM/MPM

Cadeias Aleatórias de Markov

Page 38: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

EM/MPM

Imagem a serSegmentada

.

..

21

3

L

.

..

21

3

L

.

..

21

3

L

Número declasses

Mapa declassificação(iniciala leatório)

.

..

21

3

L

(m1, s21)

(m3, s23)

(mL, s2L)

.

..

21

3

L

.

..

21

3

L

(m1, s21)

(m3, s23)

(mL, s2L)

(m1, s21)

(m3, s23)

(mL, s2L)

Features decada classe(inicializadasaleatoriamente)

NovaClassificaçãoé realizada

Algoritmo MPM

Features dasClasses sãoatualizadas

Algoritmo EM

Page 39: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Segmentação Automática

Característica: Textura

2

background

Classes ( 2)

1

2

34

5

Classes ( 5)

1

background

Page 40: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

P Da imagem segmentada por textura, obtem-se característicasrelevantes:< Centro de massa< Tamanho< Dispersão< Média< Variância< Dimensão Fractal

Característica: Textura

2

34

5

Classes (5)

1

5 regions

Page 41: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Consultando os Vizinhos mais Próximos

27 Imagens testetipo

Page 42: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Consultando os Vizinhos mais Próximos

36 Imagens testetipo

Page 43: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Consultando os Vizinhos mais Próximos

9 Imagens teste tipo

Page 44: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Análise por Precisão e Revocação

Page 45: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

P Indica o inter-relacionamento entre um pixel e seus vizinhos,considerando < direção (2) de posicionamento do vizinho< Distância (d) de posicionamento do vizinho

P O tamanho da matriz é dado pelo número de níves de intensidadenos quais a imagem é analisada< Ex. Imagem de 256x256 pixels com 16 níveis de cinza.< Matrizes de co-ocorrência serão de 16x16 elementos. Uma matriz para

cada direção e distância

P São extraídas medidas da matriz de co-ocorrência, queconstituirão as features das imagens.

Matrizes de Co-ocorrência

Característica: Textura

Page 46: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

P A literatura traz inúmeros métodos de extração de característicasutilizando a forma de objetos presentes na imagem< Momentos de Zernike, Métodos baseados em curvatura, coeficientes de

Fourier, etc.< Dependem fortemente do domínio das imagens.< Os descritores de forma podem ser compostos no vetor de características

das imagens.

Característica: Forma

Page 47: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

P Introdução

P Motivação

P Imagens e Características

P Organização dos Dados< Indexação de Imagens

P Consultas por Similaridade

P Conclusões

Conteúdo

Page 48: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

P Organizar informação para acesso eficiente remete-nos aoconceito de ordenação,

P Algoritmos de ordenação de dados (vetores):< Classifição direta, classificação binária,‘bubble’-sort, shellsort, quicksort,

... Inserção de novos dados demanda movimentação dos itens

P Árvores:< Heapsort, árvore binária, ...

Estabelecendo ordem na informação

Organização de Dados

Page 49: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Ordenação utilizando Árvore Binária

Dados Simples

150, 100, 20, 10, 21, 130, 195, 170, 200

100

150

20

10 21

195

130 170 200

Percorrendo a árvore em in-ordem:10, 20, 21, 100, 130, 150, 170, 195, 200

Page 50: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

P Por que utilizar árvores?< Não há necessidade de relocação entre os dados para novas inserções< Diminui o número de acessos aos dados para consultas/inserções

– Menor número de acessos a disco se a árvore estiver balanceada

< Para n items de dados– Média de log(n) (altura da árvore) acessos para encontrar um item na árvore

Árvores para Indexação

Page 51: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Ordenação utilizando Árvore Binária

Estruturas de Dados

10, 20, 21,100, 130, 150, 170, 195, 200

100

150

20

10

21

195

130

170

200

Árvore degenerada # busca sequencial

Page 52: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

P Árvores B e sua variante (B+):< estão presentes em todos os gerenciadores de banco de dados comerciais< Oracle, Sybase, etc.

Árvore Balanceada: Árvore B - B-tree

Estruturas de Dados

493 506 511451 472 406 412380 382

395 430 480

Page 53: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

P Árvores B e sua variantes (B+ todos os items estão nas folhas) < Não há sobreposição entre as chaves de acesso< Para um conjunto de dados com n items, o acesso a qualquer um deles é

O(logk(n)) onde k=número de entradas por nó # A árvore é mantida

balanceada< Permite a organização de dados em memória secundária

– Os nós da árvore armazenam um número de items de dados adequado aocupar um registro em disco.

Árvore B

Estruturas de Dados

Page 54: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

P No princípio os dados eram números e textos...

P E evoluíram para armazenar dados espaciais...< Desenvolvimento dos Sistemas de Informação Geográficos (SIGs)

– Mapas de cidades, estados e regiões passaram a integrar o universo de dados. – Consultas por vizinhança e região são solicitadas

– “Quais são as ruas que interceptam a Avenida Copacabana no seu primeiroquilômetro?

– “Quais são os estados limítrofes ao norte de São Paulo?”

Evolução histórica - dados e estruturas

Page 55: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Exemplos de consultas

Dados Espaciais

Point Query Window Query

Region Query Adjacency Query

Page 56: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Dados Espaciais

R-tree

Um objeto espacialR8

R9

R10

R11

R12

R13

R14

R15

R16

R17

R18

R19

R3 R5

R4R1

R2

R6

R7

Legenda:Regiões representadas no primeiro nívelRegiões representadas no segundo nívelRegiões representadas no terceiro nível

R17 R18 R19R13 R14 R15 R16R11 R12R8 R9 R10

R3 R4 R5 R6 R7

R1 R2

Ponteiros para os atributos não espaciais dos objetos

Page 57: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

P Chaves podem colidir

P Atributos das relações podem ser separados em espaciais x não-espaciais

P Informação espacial:< Regiões no espaço: Método de acesso Espacial - SAM< Pontos no espaço: Método de acesso Pontual - PAM

Dados Espaciais

ISAM

IPAM

(x,y)<(xi,yi), (xf,yf)>

Page 58: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

P Relações com k-atributos podem ser associadas a pontos numespaço k-dimensional

P Exemplo: Salário={Nome, salário, tempo_serviço}

Espaço k-dimensional

Dados Multidimensinais

Tempo de serviço

Page 59: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

P Exemplo: Salário={Nome, salário, tempo_serviço, idade}

Espaço k-dimensional

Dados Multidimensinais

Tempo de serviço

Page 60: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

P Exemplo: Salário={Nome, salário, tempo_serviço, idade, num_empregos_anteriores, horas_extra, ....}

Espaço k-dimensional

Dados Multidimensinais

Tempo de serviço

Page 61: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Famílias de Estruturas Espaciais

[Gaede_98]

Page 62: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

P No princípio os dados eram números e textos...

P Evoluíram para armazenar dados espaciais...

P E daí para dados multimídia !

dados e estruturas

Evolução histórica

Page 63: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

P Introdução

P Motivação

P Imagens e Características

P Organização dos Dados

P Consultas por Similaridade

P Conclusões

Conteúdo

Page 64: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

P Dados complexos e usualmente volumosos< Imagens< Áudio< Vídeo< Séries temporais< Dados genéticos (cadeias de DNA)< Impressões digitais

Evolução dos equipamentos computacionais

Dados multimídia

OscilogramaDeslocamento

Tempo

Page 65: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

P Para esses dados não há relação de ordem < Dadas duas imagens, qual é a “menor” entre elas?

P Porém, é possível explicitar o quanto são semelhantes (oudiferentes).

P É preciso definir uma função que indique a distância entre asimagens< Função distância " dissimilaridade entre as imagens (ou qualquer dado multimídia)

Dados multimídia

Indexação

< > ?

Page 66: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

P Base de imagens com faces de pessoas:< Ex. “Encontre as faces que são parecidas com a do Cid Moreira”

P Base de imagens médicas< Ex. “Dado o exame de Raio-X do paciente J. Silva, encontre os 5 exames

mais parecidos com o exame original”< Ex. “Encontre todos os exames que diferem em até 10 unidades do exame

original indicado”

Exemplos

Page 67: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

P Existem dois tipos fundamentais de consultas por similaridade:< Ambas baseadas em um objeto de referência (centro da consulta)

P Consultas por vizinhança (ou k-Nearest Neighbors):Dado um valor inteiro k, obtenha os k elementos do conjunto dedados que são os mais similares ao objeto central da consulta.

P Consulta por abrangência (ou Range queries):Dado um grau de similaridade (raio), obtenha todos os objetos noconjunto de dados que sejam similares ao objeto central daconsulta até esse grau dado.

Consultas por similaridade fundamentais

Page 68: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Em uma base de imagens:

“Encontre as 3 imagens mais similares à imagem do Raio-X de João Silva”

Consultas por vizinhança

Consultas por similaridade fundamentais

Page 69: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Em uma base de imagens:

“Encontre as imagens que diferem em até rq unidades da imagem do Raio-Xde João Silva”

Consultas por Abrangência

Consultas por similaridade fundamentais

rq

Page 70: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

P Espaço métrico é um par: M=(O,d)< Onde, O é o domínio de característica de objetos d é uma distância métrica.

P Propriedades da distância d : • simetria: d(x,y) = d(y,x); • não-negatividade: 0 < d(x,y) < 4 , x �y e d(x,x) = 0 •desigualdade triangular: d(x,y) # d(x,z) + d(z,y)

Conceitos Básicos

Espaços Métricos

x

z

y

Page 71: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

P Não há atributos geométricos ou de posição< formas e posições (sul, norte, etc.)

P Mesmo para dados espaciais, diferentes funções distânciadefinem formatos diferentes de nós. Por exemplo:

Conceitos básicos

Espaços Métricos

L2=Euclidian

r L1=Manhatan

L0=LInfinity

Page 72: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

P Considere o conjunto de palavras de um dicionário

P Distância LEdit = mínima contagem do número de caracteresinseridos, removidos ou substituídos para transformar umapalavra em outra< Ledit(“casa”, “cada”)= 1< Ledit(“queijo”, “quero”)= 2

P Qual é o formato do nó para a função de distância entre palavrasLEdit ???

P

Exemplos

Espaços Métricos

Page 73: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Slim-tree

Estrutura de Acesso Métrica

Page 74: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Respondendo a uma consulta pontual

Consultando uma Slim-tree

U

#

>X

X

Page 75: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Respondendo a uma consulta pontual

Consultando uma Slim-tree

X

U

U

Page 76: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Respondendo a uma consulta por abrangência

Consultando uma Slim-tree

RqRq

Região 3Região 2 Região 1

Poda se:d(sRep, sq)+rq < d(sRep, si) (Região 1)d(sRep, sq)- rq > d(sRep, si) (Região 3)

U

X

Page 77: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Construindo uma Slim-tree

A

BC

D

E FG

HI

J

KL

MN

OP

Q

Page 78: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Construindo uma Slim-tree

A

BC

D

E FG

HI

J

KL

MN

OP

Q

H

GA

A

BJI

B

K L GH M N Q O PIJE A D F CB

LEK

OC P

M D

N

F Q

BJI

E D F C

H

GA

M D

NBJ

IBJ

IBJ

I

F Q

A

LEK

BJI

H

GA

M D

N

B

OC P

F Q

CRaiz

Nósintermediários

Folhas

Page 79: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

P Executa-se uma navegação em profundidade (consulta pontual)para decidir em qual nó ele deve ser inserido, usando:< Algoritmo Choose-subtree< Algoritmo Split-node< Quebra de nós Bottom-up (assegura o balanceamento da árvore)

Inserindo um objeto

Construindo uma Slim-tree

Page 80: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Inserindo um objeto

Construindo uma Slim-tree

Page 81: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Inserindo um objeto: ChooseSubTree

Construindo uma Slim-tree

Choose SubTree :

Random

minDist

minOccup

n=19n=14

Page 82: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Inserindo um objeto: SplitNode

Construindo uma Slim-tree

Page 83: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Inserindo um objeto: SplitNode

Construindo uma Slim-tree

Dois passos: - Escolhe 2 objetos para serem o

centro de dois nós

- Distribui os objetos restantesentre os 2 novos nós

Page 84: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Inserindo um objeto: SplitNode

Construindo uma Slim-tree

Algoritmos de Splitting:

# Random Select + Minimum Radius-O©)

# Minimum R1+R2 (minMax) -O(C3)

R1

R2

# Cluster based: Minimal SpanningTree (MST) - O(C2 log C)

Page 85: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Inserindo um objeto: SplitNode usando o MST

Construindo uma Slim-tree

Page 86: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Inserindo um objeto: SplitNode usando o MST

Construindo uma Slim-tree

Page 87: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

P Os conceitos de area”, “volume”, etc. não se aplicam,

P Então como medir a sobreposição ?

Em espaços métricos:

Redução da sobreposição entre nós

( ‘Contar’ o número de objetos naintersecção de dois nós (ou em duassub-árvores). Isto é, contar quantosobjetos são cobertos em cada nó pormais de um nó <representante, raio>.

Page 88: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Dois nós

Redução da sobreposição entre nós

n=14 n=13

10 objetos naintersecção

Overlap=10

14+13

Page 89: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Fat-factor

Redução da sobreposição entre nós

Definição: Seja T uma árvore métrica com alturaH e M nós. Seja N o número de objetosindexados. Então, o fat-factor dessa árvore é:

Ic - # nós acessados para responder a uma consulta pontual

0 #fat(T) #10 para a árvore ideal1 para a pior árvore possível

Page 90: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Fat-factor

Redução da sobreposição entre nós

n=6 n=7fat(T)=0

n=6 n=7fat(T)=0

n=6 n=7 fat(T)=0.15

n=6

n=7

fat(T)=1.0

Page 91: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Algoritmo Slim-down

Redução da sobreposição entre nós

Page 92: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Exemplo: Triângulo de Sierpinsky

Redução da sobreposição entre nós

Sierpinsky - N=9,841

-2000

0

2000

4000

6000

8000

10000

12000

-2000 0 2000 4000 6000 8000 10000 12000

Page 93: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Exemplo: Triângulo de Sierpinsky - Antes e Depois

Redução da sobreposição entre nós

Fat-factor=0.04 Fat-factor=0.02

-2000

0

2000

4000

6000

8000

10000

12000

-2000 0 2000 4000 6000 8000 10000 12000

-2000

0

2000

4000

6000

8000

10000

12000

-2000 0 2000 4000 6000 8000 10000 12000

Page 94: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Conjuntos de Dados para testes

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

Uniform2D - N=10,000 Sierpinsky - N=9,841 MGCounty - N=15,559

. . .harmonicharmonicaharmoniousharmonyharnessHaroldharpharpoon. . .

EnglishWords - N=25,143

d1

d3

d2d4d6d5

FaceIT - N =1,056

0 1 15

Eigenfaces - N=11,900

Page 95: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Slim-tree vs M-treeChoose SubTree : minOccup

Experimentos: Query performance # Acessos a disco (em média) vs Raio : range queries

1

10

100

1000

0.0001 0.001 0.01 0.1 1

Sierpinsky dataset

radius1

10

100

1000

0.0001 0.001 0.01 0.1 1

MGCounty dataset

radius

10

100

1000

0.0001 0.001 0.01 0.1 1

Eigenfaces dataset

radius

1

10

100

1000

0.0001 0.001 0.01 0.1 1

Uniform10k dataset

radius

10

100

1000

0.01 0.1 1

FaceIt dataset

radius

100

1000

0 5 10 15 20 25

EnglishWords dataset

radius

Slim-Tree (min-max)

M-tree (min-max)

Page 96: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Slim-tree : # acessos Disco (em média) vs raio -Range queries

ExperimentosAlgoritmos de Splitting: minMax vs MST

1

10

100

1000

0.0001 0.001 0.01 0.1 1

Slim-tree, Sierpinsky dataset

radius

10

100

0.0001 0.001 0.01 0.1 1

Slim-tree, FaceIt dataset

radius

(a) (b)

minMaxMST

Page 97: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

minMax vs MSTSlim-tree : # acessos Disco (em média) vs raio -Range queries

Algorithmo Slim-down

10

100

0.0001 0.001 0.01 0.1 1

Slim-tree, FaceIt dataset

radius

MST (without slimming down)MST (with slimming down)

10

100

0.0001 0.001 0.01 0.1 1

Slim-tree, FaceIt dataset

radius

minMax (without slimming down)MinMax (with slimming down)

Page 98: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Melhoria de até 70% para range queries

Algoritmo Slim-down

100

1000

0 5 10 15 20 25

EnglishWordsd ataset

radii

1

10

100

1000

0.0001 0.001 0.01 0.1 1

Eigenfacesd ataset

radii

10

100

1000

0.01 0.1 1

FaceItd ataset

radii

1

10

100

1000

0.0001 0.001 0.01 0.1 1

Uniform10kd ataset

radii

M-tree (min-max)

Slim-Tree (min-max sem Slim-down)Slim-Tree (min-max com Slimming down)

Page 99: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Tempo (segundos)

minMax e MST

build range queries slim-down fat-factor

0

20

40

60

80

100

120

Sierpinsky

build range queries slim-down fat-factor

0

20

40

60

80

100

Uniform

build range queries slim-down fat-factor

0

50

100

150

200

MGCounty

build range queries slim-down fat-factor

0

500

1000

1500

2000

English Words

build range queries slim-down fat-factor

0

10

20

30

40

50

60

70

Eigenfaces

build range queries slim-down fat-factor

0

0.1

0.2

0.3

0.4

0.5

FaceIt©

# minMax #MST

Page 100: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

P Até 60 vezes mais rápida para inserção (mantém mesmodesempenho para consultas)

P Até 70% mais rapidez para responder consultas com o algoritmo‘Slim-down’

P ‘Fat factor’, permite quantificar a sobreposição de nós emestruturas métricas.

Estrutura de indexação Slim-tree

Resultados dos experimentos

Page 101: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

P Auxiliar a entender a organização da informação na estrutura

P Localizar os aglomerados (clusters)

P Localizar os elementos de exceção (outliers)

P Permitir visualizar a distribuição de distâncias entre os objetosdo conjunto de dados< Importante para dados não dimensionais!

P Algoritmo base para executar a visualização< FastMap proposto por Christos Faloutsos e David LinHttp://www.cs.cmu.edu/~christos

Visualizando os Dados indexados

Page 102: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Histogramas de imagens (500 objetos)

Exemplos

Page 103: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Histogramas de imagens (500 objetos)

Exemplos

Objects

Leaf nodes

Index nodes

Page 104: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Conjunto de palavras: Dicionário língua Inglesa

Exemplos

b)a)

Page 105: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

P Introdução

P Motivação

P Imagens e Características

P Organização dos Dados

P Consultas por Similaridade

P Conclusões

Conteúdo

Page 106: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

P Indexação e recuperação de imagens por conteúdo é um processoque demanda interação de especialistas de várias áreas daComputação:< Bases de Dados, Processamento de Imagens, Reconhecimento de

Padrões, Inteligência Artificial, Interação Usuário-Computador

P Especialista no domínio de Análise de Imagens– Área Médica (radiologistas)

P Combinação entre CBIR e técnicas baseadas em descrições(atlas) auxiliam a redução do gap semântico

P Área de pesquisa de ponta L Muito a ser pesquisado

Conclusões

Page 107: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

P H. Müller, N. Michoux, D. Bandon, and A. Geissbuhler, "A Review ofContent-based Image Retrieval Systems in Medical Applications––ClinicalBenefits and Future Directions," International Journal of MedicalInformatics, Vol. 73, No. 1, February 2004, pp. 1-23.

P K. Vu, K. A. Hua, and W. Tavanapong, "Image Retrieval Based on Regionsof Interest," IEEE Transactions on Knowledge and Data Engineering(TKDE), Vol. 15, No. 4, July/August 2003, pp. 1045-1049.

P A. W. M. Smeulders, M. Worring, S. Santini, A. Gupta, and R. Jain,"Content-Based Image Retrieval at the End of the Early Years," IEEETransactions on Pattern Analysis and Machine Intelligence, Vol. 22, No. 12,December 2000, pp. 1349-1380.

P T. Tuytelaars and L. J. V. Gool, "Content-based Image Retrieval Based onLocal Affinely Invariant Regions," Proc. Third International Conference onVisual Information and Information Systems -VISUAL'99, Amsterdam, TheNetherlands, June 2-4, 1999, pp. 493-500.

P A. Kak and C. Pavlopoulou, "Content-based image retrieval from largemedical databases," Proc. First International Symposium on 3D DataProcessing Visualization and Transmission, June 19-21 2002, pp. 138 -147.

Referências

Page 108: Técnicas e Aplicações de Recuperação de Imagens por ...iris.sel.eesc.usp.br/wvc2005/Minicurso_CBIR_slides.pdfTécnicas e Aplicações de Recuperação de Imagens por Conteúdo

Agma Traina Caetano Traina Jr.

http://www.icmc.usp.br/~agma

/~caetano