introdução e desafios em recuperação de imagens por conteúdo

Introdução e Desafios emRecuperação de Imagens por Conteúdo

Prof. Dr. Rodrigo Tripodi [email protected]

www.rtcalumby.com.br

mailto:[email protected]

Roteiro

● Introdução

● O que é Recuperação da Informação?● Dados vs. Informação● RI e a Web● RI Multimídia

● Recuperação de Imagens por Conteúdo● Descritores de Imagens● Procedimento e Arquitetura● Cenários e Desafios

3

Motivação

● Tecnologias ● Captura● Armazenamento● Processamento de dados

4

Motivação


5

Motivação


● Grandes bases de dados● Como recuperar?

6

Recuperação da Informação

Fonte: Baeza-Yates e Ribeiro-Neto – Modern Information Retrieval – The concepts and technology behind search. 2ed.

7

O que é Recuperação da Informação?

● Estrutura● Análise● Organização● Armazenamento● Busca● Recuperação

8

O que é Recuperação da Informação?

Fonte: Grossman and Frieder - Information Retrieval – Algorithms and Heuristics. 2ed.

9

Características das informações

● Tipo● Estrutura● Contexto● Volume● Interação

10

Tipos de dados

● Textos– Documentos inteiros– Informação contida em documentos– Metadados sobre documentos

● Recuperação multimídia– Imagens– Vídeos– Audio

11

Estrutura dos dados

13

Estrutura dos dados

● Estruturados

● Semiestruturados

● Não estruturado

14

Dados estruturados

● Modelo relacional● Esquema bem definido● Linguagem formal

● Representação● Manipulação

Cliente

Id Nome Endereço

Pedido

Id Data Id_Cliente

15

Dados semiestruturados

● Esquema misturado com os dados● Auto descritivo● XML

Fonte: Elmasri e Navathe. Sistemas de Bancos de Dados. 6ed.

16

Dados não estruturados

● Páginas web, livros, e-mails, etc.● HTML● Linguagem natural

17

Motivação

● Aplicações da RI● Medicina● Biologia● Sensoriamento remoto● Bibliotecas digitais● Ambientes sociais● Web

18

Recuperação de DadosX

Recuperação da Informação

19

BD x RI

● Evidências● Metadados ou Conteúdo e estatísticas

● Conhecimento do esquema ou não● Consulta

● Linguagem formal ou Linguagem livre – Condições– Palavras-chave– Linguagem natural

● Resposta ● Exata ou Aproximada

20

Contexto dos dados

● Repositório homogêneo - vertical● Ex.: Coleção de artigos médicos● Ex.: Imagens marinhas● Ex.: Contratos, e-mails e relatórios de uma empresa

● Repositório heterogêneo - horizontal● Ex.: Biblioteca digital de uma universidade● Ex.: Álbum das férias● Ex.: Páginas de um serviço de blogging

21

Volume dos dados

● Crescimento acelerado● Número de páginas● Eventos de interação social

● Necessidades de algoritmos● Indexação, Caching e Agregação● Tolerância a falhas● Distribuídos e paralelos

● Ex.: Busca de arquivos em um computador● Ex.: Busca de arquivos em um rede P2P

22ESCALA

24

Recuperação da Informaçãoe a Web

25

RI e a Web

● Busca na Web é RI na prática

● Impactos● Informação ligada e distribuída

– Crawling → indexação● Tamanho da coleção e volume de consultas

– Escalabilidade

26

RI e a Web

● Busca na Web é RI na prática

● Relevância● Web → meio de negócio

● Busca de preços, números de telefone, download de software

27

RI e a Web

● Desafios● Grandes quantidades● Crawling● Criação e atualização de índices● Análise do conteúdo● Análise de hiperlinks

– Texto âncora– Página de destino– Links de saída e links de retorno

28

Arquitetura de um sistema de RI

Fonte; Chap 01: Introduction, Baeza-Yates & Ribeiro-Neto, Modern Information Retrieval, 2nd Edition

29

Recuperação Multimídia

● Imagens● Vídeos● Audio

30

Recuperação Textual

31

Recuperação Textual

● Vantagens● Abrange qualquer descrição● Adaptação ao usuário

● Desvantagens● Necessidade de anotação● Padrão de anotação● Subjetividade da interpretação● Sinônimos● Polissemia

32

Exemplo

33

Exemplo

Como descrever esta consulta?

34

Exemplo

35

Exemplo

36

Exemplo

37

Recuperação baseada em Contéudo

● Similaridade do conteúdo (pixels)

● Dado um banco de imagens o usuário deseja recuperar imagens semelhantes a um determinado padrão de consulta● Cor● Forma● Textura● Relacionamento espacial

38

ExemplosConsulta:

Resultados:

38

39

ExemplosConsulta:

Resultados:

39

40

ExemplosConsulta:

Resultados:

40

41

Exemplos

Consulta:

Resultados:

41

42

Descritores de Imagens

43

Procedimento

Fonte: Eduardo Valle and Matthieu Cord. 2009. Advanced Techniques in CBIR: Local Descriptors, Visual Dictionaries and Bags of Features. In Proceedings of the 2009 Tutorials of the XXII Brazilian Symposium on Computer Graphics and Image Processing (SIBGRAPI-TUTORIALS '09). IEEE Computer Society, Washington, DC, USA, 72-78.

44

Arquitetura

45

Arquitetura

QUAIS OS DESAFIOS?

Desafios em CBIR

lighthouse at the sea

Desafios em CBIR


color

texture

shape

Desafios em CBIR


color

texture

shape

Low-level features vs. Concepts/preferences

Desafios em CBIR


color

texture

shape

sem

anti

c g

ap!

52

Gap Semântico

● Diferentes pessoas → percepções distintas● Propriedades de baixo nível x valor semântico

Desafios em CBIR


MULTIMODALITY

color

texture

shape

54

Multimodalidade

● Múltiplas fontes de evidências

● Fusão de características● Visual + Textual

● Agregação de resultados

55

Combinação de Características

56


???

57


● Aprendizado de métricas● Treinamento e teste● Seleção de características● Ajuste de pesos

● Fusão de dados de baixo nível

● Fusão de resultados● Agregação de rankings

Desafios em CBIR


color

texture

shape

Desafios em CBIR


color

texture

shape

- User subjectivity

- Difficulty on expressing needs

- Poorly defined queries

61

Realimentação de Relevância

Desafios em CBIRcolor

texture

shape


RELEVANCE FEEDBACK

Desafios em CBIRcolor

texture

shape


● Per user system optimization

● Implicit/Explicit relevance assessments

● Online adaptiveness

– Learning-to-rank

Desafios em CBIR


Desafios em CBIR


Near duplicates!

Desafios em CBIR


“Oscar Niemeyer Buildings” on Google Images

With the “labeled for reuse” search option enabled - As of Oct 6, 2015


- 24 images → 11 different buildigs out of hundreds → 46% of the ideal set


- 24 images → 11 different buildings out of hundreds → 46% of the ideal set

- 46% covering the same building(Oscar Niemeyer Museum in Curitiba, Paraná)

Diversity Promotion

Diversity Promotion

● Clustering

73

Finalizando...

74

Desafios Gerais

● Larga escala● Interatividade● Eficácia● Eficiência● Novidade● Diversidade

75

Desafios da RI

● Múltiplos tipos de dados● Recuperação multilíngue● Dados georreferenciados● Informações em contextos

● Biologia● Medicina● Química● Agricultura● Jurídico

76

Desafios em CBIR

● Desenvolvimento de descritores● Globais, locais, etc.

● Técnicas de aprendizado de máquina● Realimentação de relevância

● Aprendizado ativo

● Sumarização visual / Diversidade● Busca social● Meios de visualização e navegação

77

Resumindo...

● Grandes quantidades de dados são geradas diariamente

● Diferentes tipos de objetos digitais

● Acesso eficaz e eficiente

● RI → Transformar a web em um repositório do conhecimento humano

● Há muito o que ser

● Estudado● Pesquisado● Desenvolvido

78

Leitura Recomendada(R. T. Calumby et al.)

● Multimodalidade e Realimentação de Relevância● Multimodal retrieval with relevance feedback based on genetic programming.

Multimedia Tools and Applications, 69(3):991–1019, 2014.

● Diversificação de Resultados● Recod @ Mediaeval 2015: Diverse social images retrieval. In Working Notes of

the MediaEval 2015 Workshop, Wurzen, Germany, September 14-15, 2015.

● Diversidade e Interatividade● Diversity-driven learning for multimodal image retrieval with relevance

feedback. In IEEE International Conference on Image Processing, pages 2197–2201, 2014.

● Aprendizado Interativo● On Interactive Learning-to-Rank for IR: Overview, Recent Advances,

Challenges, and Directions. Neurocomputing. 2016.

79

Prof. Dr. Rodrigo Tripodi [email protected]

Visite: www.rtcalumby.com.br

Desafios em Recuperação de Imagens por Conteúdo

introdução e desafios em recuperação de imagens por conteúdo

Data & Analytics