PONTIFÍCIA UNIVERSIDADE CATÓLICA DE MINAS GERAIS

Programa de Pós-Graduação em Informática

RECUPERAÇÃO DE IMAGENS UTILIZANDO TÉCNICASDE AGRUPAMENTO DE DADOS

Fabiano Pereira Bhering

Belo Horizonte

2012

Fabiano Pereira Bhering

RECUPERAÇÃO DE IMAGENS UTILIZANDO TÉCNICASDE AGRUPAMENTO DE DADOS

Dissertação apresentada ao Programa dePós-Graduação em Informática como re-quisito parcial para qualificação ao Graude Mestre em Informática pela PontifíciaUniversidade Católica de Minas Gerais.

Orientador: Silvio Jamil Ferzoli Guimarães

Co-orientador: Zenilton Kleber Gonçalvesdo Patrocínio Júnior

Belo Horizonte

2012

FICHA CATALOGRÁFICA

Elaborada pela Biblioteca da Pontifícia Universidade Católica de Minas Gerais

Bhering, Fabiano PereiraB575r Recuperação de imagens utilizando técnicas de agrupamento de dados / Fabiano

Pereira Bhering. – Belo Horizonte, 2012.57f.:il.

Orientador:Silvio Jamil Ferzoli GuimarãesCo-orientador: Zenilton Kleber Gonçalves do Patrocínio JúniorDissertação (Mestrado) – Pontifícia Universidade Católica de Minas

Gerais. Programa de Pós-graduação em Informática.

1.Processamento de imagens – Técnicas digitais. 2. Sistemas de recuperação dainformação. 3. Análise por agrupamento. I. Guimarães, Silvio Jamil Ferzoli. II.Pontifícia Universidade Católica de Minas Gerais. Programa de Pós-Graduaçãoem Informática. III. Título.

CDU: 681.3.093

Fabiano Pereira Bhering

Recuperação de Imagens Utilizando Técnicas de Agrupamento deDados.

Dissertação apresentada ao Programa dePós-Graduação em Informática como re-quisito parcial para qualificação ao Graude Mestre em Informática pela PontifíciaUniversidade Católica de Minas Gerais.

Silvio Jamil Ferzoli Guimarães (Orientador)– PUC Minas

Zenilton Kleber Gonçalves do PatrocínioJúnior (Co-orientador) – PUC Minas

Luis Enrique Zárate Galvez – PUC Minas

Clodoveu Augusto Davis Junior – UFMG

Belo Horizonte, 3 de Fevereiro de 2012.

RESUMO

Nos dias atuais, as imagens digitais estão cada vez mais presentes e distribuídas em di-versos meios de comunicação, tornando-se essencial a adoção de sistemas automatizados,capazes de lidar com o armazenamento e a recuperação das imagens em um tempo acei-tável para os padrões exigidos. Em geral, o armazenamento das imagens é realizado comreferência ao conteúdo de cada arquivo, que pode ser extraído por suas características decor. Nesse sentido, para a pesquisa de uma imagem ser eficiente, são necessários sistemascapazes de recuperar grandes volumes de imagens com base no conteúdo, em um inter-valo de tempo aceitável. Para isso, torna-se indispensável adotar uma metodologia quedetermine as técnicas de indexação e recuperação de imagens, tendo como finalidade adiminuição do tempo de consulta, sem que isso signifique perda na qualidade das respos-tas. Neste trabalho é desenvolvido um método para recuperação de imagens com baseno conteúdo, utilizando-se técnicas de agrupamento de dados. Objetiva-se, dessa forma,a diminuição da complexidade computacional, classificando os grupos de imagens comcaracterísticas semelhantes, de modo que se possa evitar a pesquisa sequêncial que temsido adotada em alguns sistemas.

Palavras-chave: Recuperação de imagens baseada em conteúdo, características de cor,técnicas de agrupamento, classificação de Imagens.

ABSTRACT

Nowadays, digital images are increasingly present and distributed in various media, ma-king it essential to adopt automated systems, capable of dealing with the storage andretrieval of images at a time acceptable to the standards required. In general, the storageof images is done with reference to the content of each file, which can be extracted byits color characteristics. In this sense, to search for an image to be effective, you needsystems capable of retrieving large volumes of images based on content in an acceptabletime frame. For this, it is essential to adopt a methodology that determines the techniquesof indexing and retrieval of images, with the purpose of reducing the query time, withoutmeaning a loss in quality of responses. The paper is develop a method for image retrievalbased on content, using data clustering techniques. Thus, the objective is the reductionof computational complexity, classifying groups of images with similar characteristics, sothat we can avoid sequential search which has been adopted in current systems.

Keywords: Contet-based image retrieval, color features, clustering techniques, classifica-tion of images.

LISTA DE FIGURAS

FIGURA 1 Estrutura do sistema de recuperação por conteúdo. Adaptação: (TOR-

RES; FALCÃO, 2006) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

FIGURA 2 Arquitetura proposta . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32

FIGURA 3 Estrutura de índice invertido . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39

FIGURA 4 Estrutura de índice invertido no processo de recuperação por merge 39

FIGURA 5 Arquitetura utilizando o Lucene . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

FIGURA 6 Gráfico com o número de clusters e seu impacto no tempo da para cadavariação do método proposto. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44

FIGURA 7 Gráfico com a média do tempo de resposta dos métodos implementadose a pesquisa sequencial do LIRe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45

FIGURA 8 Gráfico com o número de cluster e o impacto na qualidade das consultaspara o método utilizando o k-means, considerando a pesquisa sequencialdo LIRe como o conjunto de resposta ideal . . . . . . . . . . . . . . . . . . . . . . . . . . . 46

FIGURA 9 Gráfico com o número de cluster e o impacto na qualidade das consul-tas para o método utilizando o Árvore Geradora Mínima, considerando apesquisa sequencial do LIRe como o conjunto de resposta ideal . . . . . . . 47

FIGURA 10 Gráfico com a qualidade dos métodos implementados, considerando apesquisa sequêncial no LIRe como o conjunto de respostas ideal. . . . . . . 48

FIGURA 11 Gráfico com a qualidade dos métodos implementados em relação aoLIRe, considerando a classificação do COREL como o conjunto de respos-tas ideal. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49

FIGURA 12 Conjunto de imagens indexadas, separadas por categorias. . . . . . . . . . 49

FIGURA 13 Agrupamento realizado pelo K-Means. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50

FIGURA 14 Agrupamento realizado pela Árvore Geradora Mínima. . . . . . . . . . . . . . 50

FIGURA 15 Recuperação de imagens realizado pelo K-Means. . . . . . . . . . . . . . . . . . . 51

FIGURA 16 Recuperação de imagens realizado pela Árvore Geradora Mínima. . . 51

SUMÁRIO

1 INTRODUÇÃO. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

1.1 Objetivos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

1.2 Contribuições . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

1.3 Organização da dissertação . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

2 RECUPERAÇÃO DE IMAGEM BASEADA EM CONTEÚDO VI-SUAL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

2.1 Características das imagens . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

2.1.1 Descritor de Cor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

2.1.2 Descritor de Textura . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

2.1.3 Descritor de Forma . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

2.2 Medidas de similaridade . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

2.3 Sistemas de Recuperação de Imagens baseado em conteúdo visual 20

3 AGRUPAMENTO DE DADOS. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

3.1 Agrupamento por particionamento . . . . . . . . . . . . . . . . . . . . . . . . . . 22

3.1.1 Algoritmo K-Means . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

3.2 Agrupamento baseado em grafos . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

3.2.1 Árvore Geradora Mínima(AGM) . . . . . . . . . . . . . . . . . . . . . . . . . 24

4 ESTRUTURA PARA UM SISTEMA DE RECUPERAÇÃO DE IN-FORMAÇÃO. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

4.1 Etapas da Recuperação de Informação . . . . . . . . . . . . . . . . . . . . . . . 26

4.1.1 Processo de indexação . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

4.1.2 Processo de recuperação . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

4.2 Modelos de Recuperação de Informação . . . . . . . . . . . . . . . . . . . . . 28

4.2.1 Modelo Booleano . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

4.2.2 Modelo Vetorial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

5 METODOLOGIA PARA RECUPERAÇÃO DE IMAGENS UTILI-ZANDO TÉCNICAS DE AGRUPAMENTO DE DADOS . . . . . . . . . . . . 31

5.1 Arquitetura proposta . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

5.1.1 Processo de indexação . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

5.1.1.1 Extração de características . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

5.1.1.2 Similaridade entre imagens . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

5.1.1.3 Agrupamento de imagens . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

5.1.1.4 Lista Invertida . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

5.1.1.5 Indexador . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35

5.1.2 Processo de recuperação . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35

5.1.2.1 Pesquisa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36

5.1.2.2 Merge . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36

5.2 Considerações Finais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

6 IMPLEMENTAÇÃO E RESULTADOS EXPERIMENTAIS . . . . . . . . . . 38

6.1 Estrutura de armazenamento e recuperação das imagens . . . . . . . . . 38

6.2 Biblioteca Lucene . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39

6.2.1 LIRe (Lucene Image Retrieval) . . . . . . . . . . . . . . . . . . . . . . . . . . . 41

6.3 Avaliação dos sistemas de recuperação de informação . . . . . . . . . . . 41

6.4 Experimentos realizados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42

6.4.1 Experimento 1: Escolha do número de clusters . . . . . . . . . . . . . . 43

6.4.2 Experimento 2: Avaliação da qualidade das consultas . . . . . . . . . 44

6.4.3 Experimento 3: Avaliação Visual do agrupamento das imagens . 46

6.5 Considerações finais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

7 CONCLUSÃO. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52

REFERÊNCIAS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54

13

1 INTRODUÇÃO

Observa-se atualmente a crescente disponibilização de imagens em vários meiosde comunicação, assim como a intensificação da popularização das câmeras digitais,tornando-se necessário o desenvolvimento de diversas técnicas para a recuperação de in-formação com base no conteúdo visual das imagens. Os meios de armazenamento dasimagens necessitam de aplicações eficientes e eficazes para as pesquisas em seus acervos.Uma das maneiras de se buscar informação em uma imagem é encontrar representaçõesdescritivas baseadas em seu conteúdo, onde este conteúdo é descrito por meio de caracte-rísticas visuais de baixo nível, como forma, textura e cor. Os aspectos visuais de cores dasimagens permitem gerar uma fonte de dados para pesquisas, se revelando como os índicesmais satisfatórios para recuperação de informação com base em seu conteúdo visual. Acada dia, aumentam-se os esforços no desenvolvimento de trabalhos que visam solucionaros problemas de estruturação e acesso aos conteúdos visuais das imagens. As técnicaspara recuperação de informação em imagens têm sido obtidas utilizando metodologiaspara extração, armazenamento e pesquisas de características das imagens. Uma maneirade representar o conteúdo da imagem é medir seus níveis de cor, obtidos no cálculo deseu histograma, aplicando-se o processamento da imagem. Os estudos e as técnicas doprocessamento digital de imagens progrediram na criação de ferramentas para a extra-ção de características das imagens, porém, as características reconhecidas necessitam serarmazenadas e organizadas em base de dados para futuras consultas. Os sistemas derecuperação de imagens retornam de seus índices as imagens mais similares ao padrão deconsulta definido pelo usuário, ou seja, percorrem todas as imagens armazenadas na base,comparando-as com a imagem pesquisada. Todavia, os mesmos têm mostrado proble-mas de desempenho ao exibir os resultados. Dessa forma, considera-se que a melhoria dodesempenho nas buscas pode ser obtida na organização e agrupamento das informaçõesextraídas. Os métodos de agrupamento podem ser usados para reduzir a dimensão deum conjunto de dados, reduzindo uma ampla gama de objetos à informação do centro doseu conjunto. Assim é possível organizar elementos de um determinado conjunto mutua-mente similares e, preferencialmente, muito diferentes dos elementos de outros conjuntos.As técnicas de agrupamento se mostram como uma das mais úteis para diminuir a com-plexidade computacional destes sistemas, uma vez que agrupam dados com característicassemelhantes sob determinado critério, sem perder a representatividade das informações.Logo, nosso maior desafio é a utilização das técnicas de agrupamento de dados para clas-sificar as imagens em grupos similares conforme o reconhecimento de suas características,

14

com intuito de melhorar o desempenho nas consultas.

1.1 Objetivos

O principal objetivo do presente trabalho é desenvolver uma metodologia para arecuperação de imagens utilizando técnicas de agrupamento de dados, buscando melhorara eficência das pesquisas. As etapas para o desenvolvimento são:

• Analisar métodos de extração de características e similaridade das imagens;

• Organizar a indexação das imagens, utilizando técnicas de agrupamento de dados,para classificar as imagens de acordo com a similaridade entre elas;

• Estruturar os índices e agrupamentos para o armazenamento e consulta das imagens.

Para o desenvolvimento da metodologia são utilizados vetores que descrevem aextração da característica das imagens, obtida por um cálculo do histograma de cor, en-quanto os agrupamentos são implementados com os algoritmos, sendo um por particiona-mento (K-Means) e o outro baseado em grafos (árvore geradora mínima), este, adotandoa técnicas de poda normalizada da árvore.

1.2 Contribuições

Tendo em vista o aumento dos meios para armazenamento de imagens, as técnicaseficientes para recuperação de imagens têm se mostrado muito relevantes. Nesse sentido,o conteúdo visual existente nas imagens pode servir como base para as pesquisas, assimcomo uma importante ferramenta para consultas em acervos multimídias.

As principais contribuições do trabalho são:

• Revisão bibliográfica, com o estudo dos métodos de recuperação de imagens baseadoem conteúdo visual;

• Escolha de métodos para agrupamento de características de imagens;

• Desenvolvimento de um sistema de recuperação de imagens utilizando técnicas deagrupamento de dados;

• Avaliação dos resultados experimentais do método proposto para resolução de pro-blemas da pesquisa sequencial nos mecanismos de busca de imagens.

Dessa forma, este estudo produz uma metodologia que servirá como base paranovas pesquisas na área de recuperação de imagens.

15

1.3 Organização da dissertação

O presente texto está organizado da seguinte forma: O Capítulo 2 faz referênciaaos trabalhos que já foram desenvolvidos na área de recuperação de imagens com base noconteúdo visual, expondo sobre as bases teóricas e sobre os métodos existentes. A espe-cificação das técnicas de agrupamento de dados será exposta no Capítulo 3, exibindo aestrutura e as técnicas utilizadas para agrupamento de imagens. A estrutura dos sistemasde recuperação de imagens será discutida no Capítulo 4, juntamente com as ferramentas efundamentos tecnológicos utilizados. O Capítulo 5 descreve a metodologia para recupera-ção de imagens utilizando técnicas de agrupamento de dados, apresentando a arquiteturada proposta e sua implementação. A avaliação do conjunto de experimentos realizadosna metodologia proposta será exposta no Capítulo 6. Encerra-se o trabalho no Capítulo7 com a conclusão dos resultados e sugestões para trabalhos futuros.

16

2 RECUPERAÇÃO DE IMAGEM BASEADA EM CONTEÚDOVISUAL

Uma das abordagens utilizadas para recuperação de imagens é conhecida comorecuperação de imagens baseada em conteúdo (RIBC). Seu principal objetivo é encontrarimagens relevantes conforme a necessidade do usuário, por meio de características visuaisautomaticamente extraídas das imagens. Pode-se observar que a interpretação semân-tica é fator essencial para a recuperação de imagens e as estratégias de caracterização,modelagem, pesquisa, similaridade, visualização e realimentação desses sistemas deter-minam conjuntamente sua eficiência e popularidade, representando portanto, a principaldificuldade desta área de estudo.

As estratégias fundamentais para um sistema RIBC são caracterizadas em trêsclasses: Extração de caraterísticas visuais, indexação e recuperação. Os métodos derepresentação de características das imagens mais utilizados usam cor, textura e formacomo atributos de indexação, os quais são extraídos da imagem de maneira independente(CHORA; ANDRYSIAK; CHORA, 2007).

As características das imagens são extraídas e armazenadas em vetores de carac-terísticas. Para comparar os vetores é necessária a utilização de medidas que verificama similaridade entre os vetores das imagens da base de dados com o vetor da imagemexemplo. A verificação da similaridade é normalmente baseada em medidas de distânciae os vetores das imagens têm geralmente a mesma dimensão.

2.1 Características das imagens

A extração de características é obtida através do processamento de imagens, reali-zada com a finalidade de obter valores numéricos que possam caracterizar essas imagens.Os recursos utilizados na extração das características para descrever uma imagem podemser agrupados nos seguintes tipos:

2.1.1 Descritor de Cor

Uma das propriedades visuais mais utilizadas em sistemas de recuperação de ima-gens por conteúdo (TORRES; FALCÃO, 2006). É um importante componente para repre-sentação da imagem e se apresenta robusta a distorção, rotação e translação do objeto(ALBUQUERQUE; GUIMARÃES, 2000). Existem várias formas de representar as cores. Para

17

a realização de tal tarefa, utiliza-se um espaço de cor como base para a representação.De acordo com a aplicação, certo espaço de cor pode apresentar-se mais adequado ouviável frente aos demais. Os descritores de cor é representada como ponto de um espaçotridimensional (tais como RGB, HSV, YCbCr, YUV) (BIMBO, 1999). Eles permitem adiscriminação entre o estímulo de cor, além da avaliação de similaridade e identificaçãode cores. A seguir são especificados alguns descritores e espaços de cores mais utilizados:

• Histograma de Cores: Descreve a ocorrência das cores em uma imagem. Paraa obtenção de compactabilidade e desempenho, normalmente os histogramas apre-sentam a frequência de um intervalo de valores ao invés de um único valor de cor.Outras vezes, ocorre a fixação do número de cores utilizadas, seja pela maior frequên-cia dessa cor na coleção de imagens, ou pelo seu podes de discriminação frente asdemais. Entre os problemas dos histogramas de cores pode-se destacar sua altadiminsionalidade e o fato de não considerarem a localização espacial das cores. As-sim, imagens muito diferentes podem ter representações semelhantes. Caso adotadaa divisão das imagens em regiões, observa-se o aumento da dimensionalidade e dacarga computacional necessária para a comparação dos descritores.

• Momentos de Cores: Caracterizam as imagens segundo suas distribuições de co-res por meio de três medidas: média, desvio padrão e inclinação. Cada uma dessasmedidas é computada para cada um dos canais de cores de uma imagem. Destaforma, para imagens pertencentes ao espaço RGB, calcula-se a média, desvio pa-drão e inclinação para os canais R, G e B, respectivamente. Devido a sua altacompactabilidade e por não considerar informações espaciais, este descritor tempoder de discriminação reduzido. Portanto, seu desempenho pode ser significativa-mente aprimorado quando aplicado a regiões de imagens, caracterizando localmentea região.

• Vetores de Coerência de Cores: Nesta abordagem, cada pixel de uma imagem éclassificado como coerente ou incoerente. Um pixel será coerente se ele fizer parte deuma região de coloração uniforme (de tamanho pré-definido), caso contrário, ele seráclassificado como incoerente. Geralmente, para imagens com muitas regiões de coresuniforme ou muita textura, os vetores de coerência produzem bons resultados derecuperação, principalmente quando aplicados ao espaço de cor HSV (PASS; ZABIH;MILLER, 1996) .

• Correlograma de Cores: É um histograma tridimensional que caracteriza a dis-tribuição das cores e a correlação espacial entre os pares de cores. A Primeira e asegunda dimensão do histograma representam as cores de qualquer par de pixel ea terceira dimensão, a distância espacial entre eles (HUANG et al., 1997). Produz

18

bons resultados comparado ao histograma e o vetor de coerência, porém é compu-tacionalmente mais caro devido a sua alta dimensionalidade (LONG; ZHANG; FENG,2003).

• Características Invariantes de Cores: Fatores como mudança de iluminação,as orientações das superfícies dos objetos, o posicionamento e a angulação das câ-meras, e a refração, entre outros, influenciam consideravelmente na variação dascores. Por isso, representações invariantes de cores foram propostas e introduzidasna recuperação de imagem por conteúdo. Apresentam um conjunto de característi-cas invariantes de cores derivada das propriedades de reflexão dos objetos. Quandoaplicadas na recuperação de imagens, produzem representações do conteúdo dasimagens independente da iluminação e geometria da cena, mas acabam por intro-duzir certa perda no poder de discriminação entre imagens.

O descritor de cor mais comum é o histograma, que descreve o conteúdo global deuma imagem pelo percentual de pixels em cada cor. São observadas pequenas diferençasentre o espaço RGB com os outros espaços em Smith e Chang (1996).

2.1.2 Descritor de Textura

Certas regiões da imagem apresentam uma homogeneidade, na forma de padrõesvisuais com propriedades estruturais que não são suficientemente representadas por cores.Essas regiões apresentam texturas que necessitam de recursos próprios para sua repre-sentação. O descritor de textura é representado de forma significativa por Tamura, Morie Yamawaki (1978), definindo as propriedades de grossura, contraste, direcionalidade, li-nearidade, regularidade e aspereza. A representação do descritor de textura também éobtida através da wavelet de Gabor (RUI; HUANG; CHANG, 1999) e apresenta resultadospróximos ao da visão humana.

2.1.3 Descritor de Forma

O descritor de forma pode se basear em características perceptivas da forma pre-sente no contorno e também no conteúdo do interior dos objetos, e depende muito dodomínio das imagens em questão. Torres et al. (2008) afirmam que é um desafio encontraruma descrição ideal para cada tipo de aplicação, considerando informações de contorno,interior ou uma combinação dos métodos para obter uma recuperação de imagens maiseficiente.

Entre os métodos de extração de características citados, os histogramas de cor ob-têm melhores resultados para fotografias coloridas em geral. No entanto, as abordagens

19

utilizando descritores de forma são melhores em várias tarefas, mas geralmente possuemum maior custo computacional (DESELAERS; KEYSERS; NEY, 2008). Os histogramas decores considera a informação de cor de uma imagem globalmente. Como nenhum partici-onamento ou pré-processamento da imagem é necessário durante a extração de caracterís-ticas, esses descritores normalmente apresentam algoritmos de extração de característicasmais simples e rápidos.

2.2 Medidas de similaridade

A semelhança entre duas imagens pode ser avaliada por meio de medidas de simila-ridade ou dissimilaridade, utilizando funções para calcular a distância entre os vetores decaracterísticas das imagens. A função de distância é utilizada de acordo com a estruturae conteúdo dos vetores, podendo ser necessário utilizar mais de uma função de distân-cia. Esta escolha depende das especificidades do conjunto de imagens utilizado e seusrespectivos vetores. Algumas das medidas de similaridade mais utilizadas para vetores decaracterísticas de imagens estão descritas a seguir:

• Distância de Minkowski: Esta técnica é uma generalização da distância entredois pontos I = (xi1, xi2, xi3, ..., xin) e J = (yj1, yj2, yj3, ..., yjn) em um espaço n-dimensional. Na equação 2.1 observa-se a fórmula matemática, onde q é um inteiropositivo que representa a norma:

dMinkowski(I, J) = q

√(|xi1 − xj1|q + |xi2 − xj2|q + ... + |xin − xjn|q (2.1)

• Distância Euclidiana: Trata-se de uma especialização da distância de Minkowskipara q = 2, sendo a distância linear entre os pontos I = (xi1, xi2, xi3, ..., xin) e J =

(yj1, yj2, yj3, ..., yjn), com sua fórmula definida pela equação 2.2 para n dimensões.

dEuclidiana(I, J) =√

(|xi1 − xj1|2 + |xi2 − xj2|2 + ... + |xin − xjn|2 (2.2)

• Distância Manhattan: Refere-se a outra especialização da distância de Minkowskipara q = 1, sendo a distância linear entre os pontos I = (xi1, xi2, xi3, ..., xin) e J =

(yj1, yj2, yj3, ..., yjn), com sua fórmula definida pela equação 2.3 para n dimensões.

dManhattan(I, J) = |xi1 − xj1|+ |xi2 − xj2|+ ... + |xin − xjn| (2.3)

A tradicional função de distância utilizada para calcular a similaridade entre ima-gens nos sistemas RIBC é a distância Euclidiana, porém, para alguns descritores con-seguem obter melhores resultados utilizando a função de distância Manhatan, onde a

20

distância entre dois pontos á dada pela soma das diferenças absolutas entre as suas coor-denadas.

2.3 Sistemas de Recuperação de Imagens baseado em conteúdo visual

Entre os sistemas de recuperação de imagens baseados em conteúdo mais conhe-cidos está o QBIC da IBM (FALOUTSOS et al., 1994), pioneiro na área. É consideradoum dos mais importantes até hoje, utilizando histograma de cor, textura e formas pararepresentar a característica das imagens. Sua consulta é baseado em imagem exemplo,inclusive permitindo a inserção de rascunhos. Utiliza a distância Euclidiana para a cormédia, para textura e distância quadrática do histograma para histogramas de cores (altocusto computacional), computando um somatório final que representa o casamento entre aimagem consulta e componentes da coleção. Seus resultados são ordenados por relevância,apresentando o ranqueamento final opcionalmente e possui realimentação de relevância.Após o QBIC, outros sistemas foram desenvolvidos, como o Photobook (PENTLAND; PI-

CARD; SCLAROFF, 1996), ao qual foram sendo agregados novos recursos de aparência paradescrever o conteúdo.

O Blobworld (CARSON et al., 1999) introduziu o uso da segmentação para repre-sentar regiões da imagens. Para a consulta o usuário seleciona uma categoria limitandoo espaço de consulta e então marca uma região indicando sua importância e a de cadacaracterística, sendo que mais de uma região pode ser marcada para a consulta. Utilizaa distância quadrática para histogramas de cores, distância Euclidiana para textura, dis-tância entre centroides para localização das regiões, todas combinadas em um somatóriofinal. Os resultados são ordenados linearmente e apresentados juntamente com uma versãosegmentada da imagem recuperada. Outros sistemas também utilizaram essa abordagem,como o SIMBA (SIGGELKOW; SCHAEL; BURKHARDT, 2001), CIRES (IQBAL; AGGARWAL,2002), SIMPLIcity (WANG; LI; WIEDERHOLD, 2001) e o IRMA (LEHMANN et al., 2005).

Muitos trabalhos e sistemas RIBC fornecem ao usuário a possibilidade de refinarsuas buscas através de realimentação de relevância. A recuperação de imagens utilizandoeste paradigma consiste na interação do usuário com o sistema de busca com intuito demelhorar a qualidade da recuperação a partir de indicação de exemplos positivos e/ounegativos das imagens recuperadas. Este tipo de implementação pode ser encontrado emPicHunter (COX et al., 1996), essa estrate?gia utiliza da subjetividade humana para refina-mento da busca. Outra abordagem, que também faz o uso de realimentação de relevância,é proposta no sistema MARS (RUI; HUANG; MEHROTRA, 1997) e tem destaque peranteos demais sistemas pelo envolvimento de múltiplas pesquisas em sua implementação, queincluem visão computacional, recuperação de informação e sistemas de gerenciamento debancos de dados.

21

Podem ser encontrados na web sistemas de dominio público como o GIFT (GNUImage-Finding Tool) e demonstrações disponíveis on-line do Viper e do Compass (ComputerAided Search System). Uma descrição mais apurada desses e de outros sistemas RIBCpode ser vista em Veltkamp e Tanase (2002). As tendências das pesquisas relacionadasaos sistemas RIBC podem ser vistas em Datta et al. (2006). O Moving Picture ExpertsGroup (MPEG) define um padrão para acesso de conteúdo em base de dados multimídiacom seu padrão MPEG-7, com um conjunto de descritores padronizados para as imagens(CHANG; SIKORA; PURI, 2001).

Os descritores mais populares para caracterizar as informações de cor em ima-gens são histogramas de cor, momentos de cor e correlogramas de cor. Embora todosestes métodos proporcionam boa caracterização de cor, eles têm o problema de alta-dimensionalidade. Isso conduz a tempos computacional mais caros, tornando a indexaçãoineficiente quanto ao seu desempenho. Para solucionar esses problemas foi proposto porVenugopal e Sudhamani (2008) a utilização de técnicas de agrupamento de dados, onde asegmentação de regiões das imagens são obtidas por agrupamento de cores, e o processo deindexação é baseado na técnica de agrupamento R* Tree , onde as imagens são indexadaspor meio de estruturas multidimensionais.

Uma proposta para o balanceamento dos cluster, também utilizando técnicas deagrupamentos de dados, é descrita por Amsaleg, Jégou e Tavenard (2011), por meio da al-teração do algoritmo k-means. Ela produz grupos de imagens com tamanhos equilibrados,sem prejudicar a qualidade da pesquisa.

Neste trabalho será utilizado como base o LIRe (LUX; CHATZICHRISTOFIS, 2008),uma importante biblioteca, que oferece as principais técnicas de extração de característi-cas de imagens, além dos meios de indexação e recuperação. Trata-se de uma extensãoda biblioteca de recuperação de informação Lucene (HATCHER; GOSPODNETIC, 2004),disponibilizando recursos de extração de características por meio de diversos descritores,funções de cálculo de similaridade e mecanismo de indexação e recuperação dos vetoresde características, e ainda fornece métodos para realimentação de relevância. Porém, suasconsultas são inapropriadas para grandes base de imagens, por serem realizadas utilizandoa pesquisa sequêncial. Assim, pode-se considerar uma fonte de estudo para implementa-ções de novas técnicas, como as de agrupamento de dados, buscando melhorar a eficiênciae eficácia da recuperação de imagens.

22

3 AGRUPAMENTO DE DADOS

Agrupamento (clustering) é a divisão de dados, com base na similaridade entreeles, em grupos disjuntos denominados clusters. Isso significa que dados em um mesmocluster são mais similares do que dados pertencentes a clusters diferentes. O ato deagrupar os dados representa uma ferramenta importante no aprendizado e compreensão arespeito dos mesmos. Pode ser definido também como um problema de aprendizado não-supervisionado, já que a estrutura dos dados e as propriedades que os tornam similares sãodesconhecidas. Como não existem rótulos iniciais, o objetivo do agrupamento é encontraruma organização válida e conveniente dos dados, ao invés de separá-los em categoria comoacontece no reconhecimento de padrões e na classificação de dados (JAIN; DUBES, 1988).

Os algoritmos de agrupamento provêem uma forma elegante de armazenar ima-gens, agrupando aquelas que possuem características em comum. Essa abordagem tornao processo de recuperação de imagens eficaz, pois aquelas afins estarão preferencialmentenum mesmo grupo. Partindo desse princípio, algumas abordagens utilizam essa carac-terística para reduzir o espaço de busca do sistema, evitando a pesquisa por imagenssimilares em grupos cujas imagens não se assemelham com o objeto pesquisado. Os al-goritmos utilizados no agrupamento de dados podem ser classificados de acordo com aabordagem utilizada na definição dos clusters : particionamento, redes auto-organizáveis,baseado em densidade, hierárquico e baseado em grafos (JAIN; MURTY; FLYNN, 1999). Ascaracterísticas dos algoritmos de particionamento e baseado em grafos, utilizadas nestetrabalho, são detalhadas nas seções a seguir:

3.1 Agrupamento por particionamento

No agrupamento por particionamento o conjunto de dados é dividido gradualmente,obtendo diversas partições. O objetivo é maximizar a similaridade entre elementos de ummesmo cluster e minimizar a similaridade entre elementos de clusters diferentes, o quepode ser obtido com a otimização de uma função objetivo. A função objetivo podeexpressar critérios diferentes a serem otimizados: um critério local forma os clusters apartir de informações estruturais dos dados, como por exemplo atribuir um dado e seusk vizinhos mais próximos a um mesmo cluster ; um critério global usa um elemento doconjunto de dados como representante de cada cluster e classifica os demais dados combase em sua similaridade com o dado representante (JAIN; DUBES, 1988). O uso de umcritério global reduz o custo computacional da utilização de todos os dados no cálculo da

23

distância entre os clusters. Uma solução é dividir inicialmente os dados em K clusterse movê-los entre os clusters otimizando a função objetivo, como acontece no algoritmoK-Means, apresentado a seguir.

3.1.1 Algoritmo K-Means

O k-Means é um dos algoritmos por particionamento mais famosos. Os dados sãoparticionados em K clusters, onde K é definido previamente. Cada cluster é representadopor um dado, chamado centróide. O algoritmo inicia com uma partição aleatória e redis-tribui os padrões para clusters com base na similaridade entre o padrão e os centróidesde cada cluster até que um critério seja satisfeito (por exemplo, não há redistribuição dequalquer padrão de um cluster para outro) (JAIN; MURTY; FLYNN, 1999).

Os passos do algoritmo são descritos a seguir.

1. Escolha a partição inicial, formada por K clusters. A escolha da partição inicialenvolve a definição de dois parâmetros: número de clusters, K, e centroides iniciais.Os centróides podem ser escolhidos aleatoriamente entre os elementos do conjuntode dados inicial, pois não existe previamente um conhecimento supervisionado paraa classificação dos grupos.

2. Gere uma nova partição atribuindo cada dado ao cluster com o qual possuir amaior semelhança. A semelhança entre um dado e um cluster é calculada atravésda medida de similaridade, vista no Capítulo 2. O dado é adicionado ao cluster cujocentroide estiver mais próximo. Ao final desse passo, os n objetos estão distribuídosentre os K clusters.

3. Atualize os centróides dos K clusters. Os K centróides são recalculados para re-presentarem adequadamente cada cluster, de acordo com a equação 3.1, onde ck

corresponde ao centróide do cluster, nk é o número de elementos do cluster e xi sãoos elementos do cluster k.

ck(t + 1) =1

nk

nk∑i=1

xi (3.1)

4. Volte ao Passo 2 até a convergência. O critério de término se refere à condição doscentróides dos K clusters permanecerem inalterados.

24

3.2 Agrupamento baseado em grafos

Os algoritmos baseados em grafos são capazes de identificar clusters de formasvariadas e os representam de maneira hierárquica. Os dados são modelados em um grafo,onde os nós representam os dados e as arestas representam a similaridade entre os nós, pormeio do conceito de K-vizinhos mais próximos (k-nearest neighbor - KNN) (KARYPIS; HAN;

KUMAR, 1999). O processo de agrupamento dá-se em duas etapas: na primeira, o grafoé particionado em subgrafos por um algoritmo de particionamento de grafos; na segundaetapa, os subgrafos são sucessivamente agrupados de maneira hierárquica, encontrandoassim os clusters finais. Devido a representação em grafo dos dados, o algoritmo busca aestrutura topológica entre os dados de entrada. Assim, é capaz de identificar, até certonível, formas de clusters variadas.

Nesses algoritmos, os dados e sua proximidade são representados por meio de umgrafo G(V,E ′), onde V = {v1, ..., vn} é o conjunto de vértices e E ′ é o conjunto de arestas.Cada vértice representa um elemento do conjunto de dados e a existência de uma arestaconectando dois vértices é feita com base na proximidade entre os dois dados. A maneiramais simples de estabelecer as ligações entre os vértices é conectar cada vértice aos (n−1)

vértices restantes, onde o peso indica a similaridade entre os dois dados. Nessa classe dealgoritmos de agrupamento, um cluster é definido como um subgrafo do grafo inicial.

3.2.1 Árvore Geradora Mínima(AGM)

Uma solução para realizar o agrupamento é a construção da árvore geradora deG, que corresponde ao subgrafo, conexo e acíclico, formado por todos os vértices de G.Se existem pesos nas arestas, a árvore geradora de menor peso total é chamada árvoregeradora mínima e denotada por AGM = (V,E ′). É importante notar que é possível obterdiferentes árvores geradoras mínimas a partir de um mesmo grafo G. A árvore geradoramínima pode ser usada no agrupamento de dados usando o algoritmo de Kruskal (ZAHN,1971). Nesse algoritmo, cada vértice corresponde a um cluster. A cada iteração, doissubgrafos conectados pela aresta e ∈ E ′ de menor valor são unidos. Após essa união, aaresta e tem seu peso redefinido como um peso superior à maior similaridade entre doisdados de G, evitando que a aresta seja novamente escolhida nas próximas iterações.

A poda da AGM é utilizada para dividir o conjunto de vértices V em dois subcon-juntos S e V/S. Essa divisão é chamada corte. A busca pelo corte mínimo em um grafodepende da escolha da função a ser minimizada (SCHAEFFER, 2007). O objetivo de umalgoritmo de agrupamento baseado em cortes é dividir os subconjuntos sucessivamente atéque o número de clusters desejado seja atingido. Algumas soluções para esse problemasão descritas a seguir:

25

• Corte das maiores arestas: Esta solução consiste em retirar as arestas maiscaras. São escolhidas k − 1 arestas, para obter k regiões (subárvores). Porém,nesta solução não é possível garantir a homogeneidade entre clusters, o que podeocasionar problemas semelhantes aos da busca sequencial, ou seja, clusters comgrande quantidade de objetos.

• Corte normalizado: Para conseguir clusters homogêneos através do corte dasmaiores arestas, esta solução verifica em cada corte qual o tamanho das subárvores,e assim utiliza um limiar para definir o tamanho mínimo dos clusters.

• Corte de folhas: As folhas podem ser consideradas como os vértices que, após umcorte, ficam isolados. Assim, nesta solução são realizados todos os cortes necessáriospara encontrar as folhas das árvores e com as folhas podadas é formada a novasubárvore.

Uma aplicação da AGM em imagens foi proposta por Morris, Lee e Constantinides(1986), com uma abordagem de segmentação hierárquica da imagem com base no algo-ritmo de Kruskal. A partir de uma grade de pixels, a imagem é mapeada em um grafoponderado e uma árvore geradora desse grafo é usada para descrever regiões ou bordasna imagem.

26

4 ESTRUTURA PARA UM SISTEMA DE RECUPERAÇÃO DEINFORMAÇÃO

Um sistema de recuperação de informação possui uma estrutura para recuperardados, informações ou documentos de alguma fonte de dados (tabelas relacionais, docu-mentos ou páginas na internet). Para Baeza-Yates e Ribeiro-Neto (1999), os sistema pararecuperação de informação se referem a um processo de representação, armazenamento,organização e acesso à informação.

No contexto deste trabalho, será especificado o sistema de recuperação de imagenscom base no conteúdo, que tem como principal característica a noção de similaridadeentre as imagens, já que, dada uma base com um grande número de imagens, o usuáriodeseja recuperar as mais similares a um padrão de consulta. O processo de recuperação érealizado por meio da comparação das imagens, utilizando seus descritores.

A recuperação de imagens é considerada um caso particular de manipulação erecuperação de informação (ALBUQUERQUE; GUIMARÃES, 2000). Embora existam váriostrabalhos de pesquisa relacionados com a recuperação de informações textuais, poucostrabalhos foram conduzidos buscando propor técnicas para indexação de imagens baseadasem conteúdo visual. De fato, a maior parte dos métodos atuais para indexação de imagensderiva de técnicas originalmente propostas para indexação de informações textuais.

A estrutura típica de um sistema de recuperação de imagens com base no conteúdoé apresentada na Figura 1 e suas etapas são descritas nas seções a seguir.

4.1 Etapas da Recuperação de Informação

A estrutura dos sistemas de recuperação de informação de imagens com base noconteúdo pode ser descrita em dois processos: indexação e recuperação.

4.1.1 Processo de indexação

Esse processo é responsável por armazenar na base de dados os vetores de caracte-rísticas extraídos das imagens. Geralmente, esse processo é realizado uma única vez paracada imagem e descritor. A utilização de técnicas robustas de indexação é fundamentalpara o sucesso de sistemas de recuperação de imagens que trabalham com grandes basesde dados.

27

Figura 1: Estrutura do sistema de recuperação por conteúdo. Adaptação: (TORRES;FALCÃO, 2006)

Para a indexação de uma imagem dentro do sistema, é necessário que sejam ex-traídos automaticamente os descritores para a imagem indexada, a fim de que esta possaser posteriormente recuperada. Esses descritores têm por objetivo tornar a recuperaçãodas imagens mais eficiente, assumindo, dessa forma, a função de índice das imagens. Porisso, a geração do índice deve ser feita de forma cuidadosa, pois a busca pode recuperarfalsos positivos ou deixar de retornar informações relevantes. A geração dos índices é umdos pontos centrais da RI.

Conforme Baeza-Yates e Ribeiro-Neto (1999), a técnica de indexação mais apli-cada e apropriada para a maioria das aplicações é a do índice invertido. Essa técnicapossibilita acelerar a busca, limitando a comparação a um subconjunto de registros. Oíndice invertido, utilizado principalmente em recuperação de informação textual, possuiduas partes principais: uma estrutura de busca, chamada de vocabulário, contendo todosos termos distintos existentes nos textos indexados, e uma lista invertida que armazenaos identificadores dos registros contendo o termo, ou seja, documentos onde a palavraocorre. O uso do índice invertido em recuperação de imagem foi descrito por (SQUIRE

et al., 1999), utilizando vetores de características para mapear as entradas(termos), queconsiste de uma lista de imagens(documentos) com características semelhantes.

28

4.1.2 Processo de recuperação

Os vetores de características armazenados são usados no processamento de consul-tas de imagens. Tal processamento permite ao usuário especificar uma consulta por meiode um padrão e visualizar as imagens recuperadas. O processo de recuperação extrai ovetor de características do padrão de consulta e avalia a similaridade entre a imagem for-necida e as imagens da base, por meio do cálculo da distância euclidiana entre os vetoresextraídos. Em seguida, esse processo ordena as imagens pertencentes à base de acordocom a similaridade e retorna os resultados para a interface.

Em sistemas de recuperação de imagens que utilizam a extração de descritoresvisuais é comum que a consulta seja efetuada utilizando a técnica da “busca por exemplo”.Nesta técnica, o usuário fornece uma imagem ao sistema, para que esta sirva como chaveda busca. Então, os descritores visuais da imagem são extraídos, utilizando as mesmastécnicas que foram usadas durante a extração das características das imagens no processode indexação. Realiza-se, dessa forma, uma busca por imagens que possuem os descritoresvisuais que mais se assemelham aos descritores da imagem da chave de busca, por meiodo cálculo da medida de similaridade.

Um dos problemas centrais de sistemas de RI é saber quais documentos são rele-vantes à busca do usuário e quais não são. Esta tomada de decisão é feita geralmentepor um algoritmo de ranqueamento que procura estabelecer uma ordenação crescente dosresultados obtidos, sendo os primeiros documentos dessa ordenação os mais relevantes. Aavaliação da relevância dos documentos requer um algoritmo de ranqueamento eficiente.Este algoritmo, portanto, depende de um conjunto de premissas que julgam o nível derelevância de um documento. Isso significa que diferentes conjuntos de premissas geramdiferentes modelos de RI (BAEZA-YATES; RIBEIRO-NETO, 1999).

4.2 Modelos de Recuperação de Informação

Vários modelos para recuperação de informação em bases de dados textuais têmsido propostos na literatura. Nas seções a seguir, será apresentado uma visão geral dosmodelos mais importantes, destacando-se os modelos booleano, vetorial e probabilístico,considerados os modelos clássicos da área de Recuperação de Informação. Estes modelosconsideram que cada documento é descrito por um conjunto de termos, cuja semânticaresume o seu conteúdo. Para cada termo, pode-se atribuir um peso, isto é, um valor nu-mérico que indicará o grau de relevância daquele termo ao descrever o conteúdo semânticode um documento.

29

4.2.1 Modelo Booleano

O modelo booleano é um modelo simples baseado na teoria dos conjuntos e naálgebra booleana. As consultas são definidas por meio de expressões booleanas compostaspor termos e os conectores lógicos. Tais expressões podem ser representadas na formadisjuntiva normal. Neste modelo, os termos ou estão presentes num documento ou nãoestão, portanto, os pesos dos termos assumem valores binários.

O modelo booleano mostra se cada documento é relevante ou não, ou seja, nãoexiste a noção de parcialidade na verificação das condições da consulta.

As vantagens do modelo booleano são a simplicidade e o formalismo claro subja-cente ao modelo. No entanto, a simplicidade do critério binário de decisão acaba res-tringindo a qualidade dos resultados obtidos, retornando um conjunto de documentos oumuito pequeno ou muito grande. Além disso, apesar da semântica das expressões boole-anas ser clara, traduzir uma requisição de informação para uma expressão booleana nemsempre é uma tarefa simples, principalmente para usuários comuns.

4.2.2 Modelo Vetorial

O modelo vetorial é um modelo algébrico, que visa representar os termos dosdocumentos e das consultas num espaço vetorial. Associado a cada um dos termos, atribui-se um peso, um valor não binário (ao contrário do modelo booleano) que, posteriormente,será utilizado no cálculo da similaridade entre o documento armazenado no sistema ea consulta do usuário. Desse modo, dada uma consulta, o modelo vetorial avalia deforma ponderada o quanto um documento é relevante, possibilitando uma correspondênciaparcial entre a consulta e o documento, fato que não ocorre no modelo booleano.

Os pesos podem ser calculados de diversas formas. A principal idéia subjacente àsdiferentes técnicas de cálculo desses pesos está associada aos princípios básicos de análisede cluster. Isto é, dada uma descrição de um conjunto A, o objetivo é separar uma coleçãoC de objetos em dois conjuntos distintos: um relacionado ao conjunto A e um outro nãorelacionado. Esta descrição quer dizer que não há informações suficientes para decidir,com precisão, quais objetos pertencem ou não ao conjunto A.

Os problemas de RI podem ser visto como o de agrupamentos, ou seja, estãointeressados em determinar quais documentos (objetos) da coleção C estão no conjunto A,cuja descrição é dada por uma consulta. Para resolver este problema, é preciso determinarquais características dão a melhor descrição de objetos do conjunto A e quais permitem,da melhor maneira, distinguí-las.

As principais vantagens de utilizar o modelo vetorial são:

30

1. O uso de termos ponderados melhora o desempenho da recuperação de informação.

2. Os documentos recuperados tendem a se aproximar mais do que a consulta descreve,uma vez que a correspondência pode ser parcial entre ambos.

3. Após o cálculo da correlação entre o documento e a consulta, é possível ordenar osresultados obtidos conforme o grau de similaridade.

4. É um modelo simples e rápido.

Uma das desvantagens seria, teoricamente, o fato de supor que os termos são mu-tuamente independentes. Contudo, na prática, a consideração indiscriminada das depen-dências entre os termos pode prejudicar o desempenho geral do modelo, devido à questãoda localidade.

Nesse capítulo foram descritas as etapas e os modelos de recuperação de informaçãoutilizados na estrutura dos sistemas de recuperação de imagens com base no conteúdovisual.

31

5 METODOLOGIA PARA RECUPERAÇÃO DE IMAGENSUTILIZANDO TÉCNICAS DE AGRUPAMENTO DE DADOS

O principal objetivo deste capítulo é apresentar o método para recuperação deimagens com base no conteúdo visual, utilizando as técnicas de agrupamento de dados.Este trabalho visa estudar o agrupamento de dados (imagens) de forma a auxiliar noprocesso de busca de um determinado documento. Assim é proposta uma arquiteturautilizando a metodologia adotada nos sistemas RIBC, inserindo a etapa de agrupamentode dados para os processos de indexação e recuperação.

5.1 Arquitetura proposta

Para que possam ser descritas detalhadamente as etapas do método para recupe-ração de imagens utilizando técnicas de agrupamento de dados proposto neste trabalho,é apresentada sua arquitetura, ilustrada na Figura 2. Pode-se observar a divisão do mé-todo em duas grandes etapas: o processo de indexação e o processo de recuperação. Noprocesso de indexação, as características extraídas das imagens são agrupadas de acordocom sua similaridade e uma lista invertida dos agrupamentos de dados é criada para oarmazenados em uma base de índices. Essa etapa constitui a base para recuperação deimagens. Já o processo de recuperação é a etapa de consulta: fornecendo uma imagem,a pesquisa retorna os grupos com os centróides mais próximos armazenados na base deíndices e o merge ordena as imagens de acordo com a semelhança da imagem fornecida.Nas seções seguintes são detalhadas as estruturas e operações de cada uma das etapas.

5.1.1 Processo de indexação

No processo de indexação são extraídas as características visuais e, em seguida, astécnicas de agrupamento de dados são utilizadas para gerar grupos de índices similaresque serão armazenados em uma estrutura de arquivos invertidos.

5.1.1.1 Extração de características

Devido à subjetividade da percepção humana, não existe uma única e melhorrepresentação para uma dada imagem. Pode-se utilizar diversas representações para cadacaracterística dessa imagem (como cor ou forma), a partir de diferentes perspectivas.

32

Figura 2: Arquitetura proposta

Neste método, o histograma de cor é utilizado por ser uma das característicasvisuais mais usadas em recuperação de imagens, possuindo melhores resultados para aclassificação, como pode ser verificado em Deselaers, Keysers e Ney (2008). A carac-terística referida independe do tamanho da imagem e da sua orientação. Esse tipo dedescritor denota estatisticamente a probabilidade da ocorrência das intensidades de coresem um espaço. Um histograma de cor é a representação da distribuição de cores em umaimagem, derivada da contagem dos pixels de cada subconjunto de cores de um espaço decor tipicamente bidimensional ou tridimensional.

Pode-se afirmar que histogramas de cor são construções flexíveis que podem serelaborados a partir de imagens em vários sistemas de cores de qualquer dimensão, comoo RGB, que se constitui em uma representação gráfica dos valores tonais de cada canalde cor: vermelho(Red), verde(Green) e azul(Blue), os quais geram as maioria das coresvisíveis. Uma desvantagem do modelo RGB é seu comportamento quando a iluminaçãode uma imagem é alterada. Nessa situação a distribuição de seus valores mudam pro-porcionalmente com a iluminação, dando assim um histograma muito diferente. Mesmoassim, o RGB tem se mostrado como o principal histograma de cor utilizado nos sistemasde recuperação de imagens.

Assim, a característica das imagens extraída pela metodologia é o histograma decor RGB convencional de uma imagem, onde é possível verificar facilmente a freqüênciada ocorrência de cada cor em uma imagem, tornado sua utilização apropriada para oarmazenamento em vetores de características, servindo assim para a representação do

33

conteúdo das imagens.

5.1.1.2 Similaridade entre imagens

A medida de similaridade ou dissimilaridade é um parâmetro fundamental para ossistemas de recuperação de imagens, pois tem influência considerável na comparação e narecuperação das imagens.

No processo de indexação das imagens proposto nessa metodologia, a medida desimilaridade possibilita agrupar as imagens de acordo com características semelhantes,e no processo de recuperação, permite a busca por imagens semelhantes em relação àpesquisa. Afinal, é através dessa medida que se pode determinar o quanto dois padrões,representantes de duas imagens, são parecidos.

Para comparar imagens são usadas funções de similaridade que permitem medira distância entre as características de duas imagens. Esse cáculo é realizado com basenas características extraídas de cada imagem. Existem diversos métodos de avaliaçãode similaridades entre imagens utilizando-se histogramas de cor. Uma das avaliações dasimilaridade cromática, usando-se histogramas de cores, pode ser realizada pelo cálculoda distância euclidiana, que corresponde à proximidade entre dois objetos no plano mul-tidimensional, descrito em medidas de similaridade no Capítulo 2.

Conforme a equação 5.1 , a similaridade é calculada entre o valor do vetor decaracterística do histograma da imagem de consulta H(IQ) e os valores dos vetores decaracterísticas dos histogramas das imagens armazenadas na base de imagens H(ID),onde j é o índice de um vetor genérico do histograma (BIMBO, 1999).

DH(IQ, JD) =

√√√√ n∑j=1

(H(IQ, j)−H(ID, j))2 (5.1)

Assim, as imagens similares são aquelas que minimizam estas distâncias.

Nesse método a distância Euclidiana foi a medida de desimilaridade escolhida paracomparar a semelhança entre as imagens por ser a mais utilizada em análises de agrupa-mento de dados por meio de histograma de cor (DESELAERS; KEYSERS; NEY, 2008).

5.1.1.3 Agrupamento de imagens

O agrupamento permite reunir características de imagens semelhantes em clusters.Um bom método fornece grupos com alta qualidade de semelhança entre as imagens dentrodo cluster e baixa semelhança das imagens em clusters diferentes. Dificilmente uma única

34

técnica de agrupamento será capaz de classificar toda uma variedade de tipos de imagensque podem estar presentes nos conjuntos, pois seu maior problema é determinar o que éa alta semelhança. Portanto, neste método são avaliados dois algoritmos de agrupamentode dados descritos no Capítulo 3:

K-Means: Trata-se do algoritmo por particionamento mais conhecido, em que os dadossão particionados em K clusters, onde K é definido previamente. Os pontos sãocriados com cada imagem relacionada à sua característica, com esses pontos sãogerados os centróides aleatórios. O K-Means é criado por meio da análise dos pri-meiros pontos dos clusters nesses centróides. Em seguida, são atribuídos os pontospara os clusters com o qual possuem maior semelhança e, assim são realizada asatualizações até que os centróides permaneçam inalterados.

Árvore Geradora Mínima (AGM): É um algoritmo baseado em grafos, a AGMcorresponde ao subgrafo, conexo e acíclico, formado por todos os vértices do grafo,onde as arestas são a distância entre os vértices. Primeiramente, é gerado umgrafo completo de todas as imagens como vértice e a similaridade entre elas comopeso das arestas. Em seguida, encontra-se a AGM do grafo com o algoritmo deKruskal (ZAHN, 1971). O particionamento desse grafo consiste em dividir o conjuntode vértices em subconjuntos utilizando a poda da AGM. Como existem diferentesabordagens para a poda de aresta, neste método é avaliada somente a poda por cortenormalizado, devido à necessidade da homogeneidade no tamanho dos clusters paraconseguir melhores tempos de resposta:

• Poda por corte normalizado: Para garantir clusters homogêneos, em cadacorte da aresta de maior peso é verificado o tamanho das regiões divididas, casoo tamanho de uma destas regiões seja maior que a limiar definida, o corte nãoserá realizado, dando continuidade à busca por cortes que deixem os clusterscom tamanhos semelhantes. Dessa forma, os cortes serão realizados nessasregiões até encontrar os k clusters .

5.1.1.4 Lista Invertida

O armazenamento das características das imagens é realizado utilizando bancode dados textual, no qual uma coleção de documentos pode ser representado por umconjunto de registros em formato de texto. Cada registro contém uma lista de palavras.Uma estratégia de recuperação textual é comparar a lista de palavras de uma consulta coma lista de palavras dos registros, de forma sequencial. Entretanto, em grandes coleções acomparação direta da consulta com todos os registros é computacionalmente cara. Com oobjetivo de acelerar este cálculo, limitando a comparação a um subconjunto de registros,

35

este método utiliza a estrutura de índice invertido (ZOBEL; MOFFAT; RAMAMOHANARAO,1998). A idéia é limitar a comparação somente com o subconjunto de registros quecontenha o determinado cluster, utilizando como referências os centróides ou um pontorepresentante de cada grupo.

5.1.1.5 Indexador

A estratégia do indexador para o armazenamento da estrutura dos índices na baseutiliza os recursos oferecido pela biblioteca Lucene (HATCHER; GOSPODNETIC, 2004). Oalgoritmo para o processo de indexação consiste dos seguintes passos:

1. Determinar a quantidade de clusters;

2. Criar um arquivo de índice para o armazenamento dos centróides de cada cluster;

3. Para cada cluster:

3.1 Calcular a média das caractéristicas das imagens do cluster ;

3.2 Percorrer todas as imagens do cluster e calcular o valor da similaridade entreelas e o centróide;

3.3 Realizar um ranque entre as similaridades calculadas;

3.4 Armazenar o cluster com seu identificador, o centróide obtido em 3.1 e o vetorordenado obtido em 3.3;

3.6 Criar um arquivo de índice para o armazenamento das imagens pertencentesao cluster ;

3.7 Armazenar as imagens, registrando sua característica, a similaridade obtidaem 3.2 e seu identificador;

Após o processo de indexação as imagens do diretório informado estarão disponíveispara sere consultadas seguindo um processo de recuperação.

5.1.2 Processo de recuperação

Como visto na Figura 2, o processo de recuperação das imagens do método propostoé iniciado pelo fornecimento da imagem a ser pesquisada, assim a pesquisa busca nosíndices um conjunto de imagens similares que serão enviadas para o algoritmo mergerealizar o ranqueamento das imagens que serão retornadas. Essas etapas são descritas aseguir.

36

5.1.2.1 Pesquisa

A pesquisa extrai a característica da imagem fornecida e realiza a consulta noíndice dos clusters, calculando a similaridade da imagem com os centróides indexados.Após o cálculo, realiza-se um ranqueamento de similaridade da imagem fornecida com oscentróides dos clusters. O objetivo desse ranqueamento é recuperar mais de um cluster,considerando que a pesquisa é realizada somente no centroide, e portanto existe o risco deimagens com similaridade distante do centróide e que são próximas da imagem não seremrecuperadas.

Assim, são recuperados os dois clusters mais próximos, pois o risco de descartarimagens similares é minimizado sem perder o desempenho, por quanto maior a quantidadede clusters recuperados pior será o desempenho para ordenação realizada pelo algoritmomerge seguinte.

5.1.2.2 Merge

Nessa etapa o algoritmo de ordenação merge é aplicado com o objetivo de uniras imagens dos clusters similares recuperados, ordenadas de acordo com a medida dedistância da imagem fornecida, conforme os seguintes passos:

1. Recuperar a sequência ordenada de imagens dos dois clusters com o centroide maispróximo da pesquisa, aumentando assim, o tamanho do conjunto de respostas e aspossibilidades de relevância;

2. Para cada imagem dos clusters :

2.1 Atribuir o valor da distância, somando seu valor de similaridade com o centroidee o valor de similaridade do centroide com a imagem pesquisada, para permitirum ranqueamento entre as similaridades da imagem da consulta com os doisclusters retornados pela pesquisa.

3. Criar um conjunto para a resposta, com o tamanho igual à quantidade de imagenspertencentes nos dois clusters, pois fornecerá como resultado todas as imagens dosdois clusters retornados pela pesquisa.

4. Ordenar as duas sequências de imagens dos cluster conjuntamente, por meio dacomparação das similaridades calculadas em 2.1;

5. Retornar o conjunto de resposta criado com a união dos dois cluster ordenados deacordo com a relevância.

37

O resultados experimentais das buscas serão apresentados no próximo capítulo,como também o desempenho de diferentes números de clusters para cada técnica deagrupamento de dados utilizada.

5.2 Considerações Finais

Este capítulo apresentou o método para indexação e recuperação de imagens utili-zado neste trabalho. Como descrito, o método utiliza diferentes técnicas de agrupamentode dados no processo de indexação, propondo um mecanismo para indexar as imagens emgrupos semelhantes. No processo de recuperação foi apresentado o método para recuperaras imagens agrupadas, intercalando imagens de diferentes grupos conforme a similaridadeda pesquisa.

38

6 IMPLEMENTAÇÃO E RESULTADOS EXPERIMENTAIS

Este capítulo apresenta os recursos utilizados na implementação, os experimentosrealizados e faz uma análise dos resultados obtidos, com o intuito de demonstrar a efi-cácia e a escalabilidade do método proposto. Para isso, foram criados três roteiros deexperimentos e todas as imagens utilizadas foram extraídas da base COREL (LI; WANG,2003), composta por 1.000 imagens e formada por 10 categorias, cada uma delas contendo100 imagens de diferentes contextos em uma coleção diversificada que se aproxima de umambiente real na qual a recuperação de imagens por conteúdo é empregada.

Os resultados experimentais obtidos são demonstrados utilizando o método deavaliação dos sistemas de recuperação de informação e estruturados de acordo com aspropostas citadas no Capítulo 5.

6.1 Estrutura de armazenamento e recuperação das imagens

A estrutura de índice invertido é adotada na metodologia proposta para a repre-sentação dos documentos a serem indexados, conforme ilustrada na Figura 3. Pode-seobservar que um arquivo é criado para o armazenamento dos centróides de cada cluster,que por sua vez referencia os arquivos do seu cluster. Nesse arquivo são registrados onome do cluster, a característica do centróide (obtida pela média das características dasimagens pertencentes ao cluster) e o vetor ordenado, que determina um ranqueamento desimilaridade das imagens em relação ao centróide. Os registros nesses arquivos informama chave identificadora da imagem referenciada, o seu vetor de características extraídopelo histograma de cor RGB, o valor da sua similaridade em relação ao centróide e oidentificador para localizar o caminho da imagem armazenada.

Conforme a Figura 4, na estratégia adotada no processo de recuperação realiza-sea junção dos dois clusters mais próximos e coloca-se as imagens em ordem crescente porsimilaridade, utilizando os passo do algoritmomerge, detalhado no Capítulo 5. Por fim, aresposta são as chaves das imagens enviadas para a interface com o usuário do LIRe, queexibe as imagens ranqueadas de acordo com a similaridade.

39

Figura 3: Estrutura de índice invertido

Figura 4: Estrutura de índice invertido no processo de recuperação por merge

6.2 Biblioteca Lucene

A Biblioteca Lucene 1 é adaptada para a implementação da metodologia proposta.É uma biblioteca com mecanismo de procura de texto altamente escalável e de softwarelivre desenvolvida pela Apache Software Foundation. Trata-se de uma biblioteca de Re-cuperação de Informação, que provê os meios de indexação e busca por meio de umaAPI simples e robusta (HATCHER; GOSPODNETIC, 2004). Ela utiliza a técnica de índicesinvertidos na indexação do conteúdo e o modelo de recuperação vetorial para ordenar osobjetos de uma busca por relevância.

Como mostra a Figura 5, a criação de um sistema de recuperação de informação1http://lucene.apache.org

40

utilizando os recursos do Lucene envolve, primeiramente, a indexação, a pesquisa de dadose a exibição de resultados de pesquisa.

Figura 5: Arquitetura utilizando o Lucene

O Lucene permite indexar quaisquer dados disponíveis no formato textual, podendoser usado em diferentes tipos de dados, desde que as informações textuais possam serextraídas dela. A primeira etapa na indexação de dados é disponibilizá-los em um formatode texto simples. Para indexação de imagens foi realizada a extração da característica daimagem, representada em forma textual.

No processo de indexação, são gerados dados para serem armazenados em umaestrutura de dados de índice invertido, por meio de um sistema de arquivos ou na memóriacomo um conjunto de arquivos de índice. O Lucene permite que usuários executemprocuras rápidas por palavras-chave e localizem os documentos que correspondem a umadeterminada consulta.

A pesquisa de dados indexados é o processo de busca das características no índicee de localização dos documentos que dispõem características semelhantes. A criação derecursos de procura utilizando o Lucene é um processo direto e fácil. Na exibição dos

41

resultados, o Lucene retorna uma matriz de referências com os resultados da pesquisa,que utiliza também uma combinação do modelo vetorial e do modelo booleano para avaliara relevância de um documento para a exibição desses resultados.

6.2.1 LIRe (Lucene Image Retrieval)

LIRe 2 é uma extensão da biblioteca Lucene e foi desenvolvida para recuperaçãode imagem com base no conteúdo. A biblioteca possui funcionalidade de extração decaracterísticas da imagem e armazená-las em um índice Lucene para posterior recupe-ração. Também provê meios para pesquisas do índice. É destinado a desenvolvedorese pesquisadores, que querem integrar recursos de recuperação de imagem com base noconteúdo em suas aplicações. Devido à simplicidade da biblioteca, torna-se fácil testar ascapacidades de abordagens CBIR clássica para domínios de aplicação única. Também éfacilmente possível adicionar novos recursos de imagem (LUX; CHATZICHRISTOFIS, 2008).Atualmente os recursos incluídos no LIRe são:

1. Histogramas de cores em RGB e espaço de cor HSV.

2. MPEG-7 descritores de cor escalável, layout e histograma de cor da borda, (CHANG;

SIKORA; PURI, 2001).

3. Tamura, características das texturas de contraste e direcionalidade, (TAMURA; MORI;

YAMAWAKI, 1978).

4. Cor e diretiva de descritor de borda, Cedd, (CHATZICHRISTOFIS; BOUTALIS, 2008).

5. Fuzzy Cor e histograma de textura, FCTH, (CHATZICHRISTOFIS; BOUTALIS, 2008).

6. Correlograma de cores, definida por Huang et al. (1997).

A biblioteca LIRe foi utilizada na presente pesquisa por se tratar de uma valiosaferramenta no processo de indexação e recuperação de informação de imagens, aplicando-se as técnicas de recuperação de informação sobre os descritores das imagens. Assim éproposta a utilização das bibliotecas LIRE e Lucene(HATCHER; GOSPODNETIC, 2004),inserindo a etapa de agrupamento de dados.

6.3 Avaliação dos sistemas de recuperação de informação

Os sistemas de recuperação de informação podem ser avaliados por meio de con-sultas que integram uma coleção de referência. Utilizando-se a base COREL é possível

2http://www.semanticmetadata.net/lire

42

verificar facilmente a categoria cuja foto pertence, pois retratam temas de diferentes se-mânticas.

Um sistema de recuperação de informação classifica os documentos de acordo comuma ordem de relevância, gerando um vetor resultado que pode ser avaliado por meio dacomparação das respostas geradas por este sistema, bem como por meio do conjunto idealde respostas. Para isso, o vetor resultado é examinado e comparado com o conjunto ideal,obtendo-se dois índices de avaliação: precisão e revocação.

Precisão é a fração dos documentos já examinados que são relevantes, definida naEquação 6.1. Já, revocação é a fração dos documentos relevantes observada dentre osdocumentos examinados, definida na Equação Equação 6.2.

Precisao =Numero de registros relevantes recuperados

Numero total de registros recuperados(6.1)

Revocacao =Numero de registros relevantes recuperados

Numero total de registros relevantes no sistema(6.2)

A avaliação do modelo de um sistema de recuperação de imagens pode ser ob-servada por um gráfico com as médias precisao × revocacao. O gráfico pode ser obtidocalculando-se a precisão para níveis anteriormente estabelecidos de revocação.

Para avaliar o custo computacional das técnicas propostas, foram utilizadas a me-dição do tempo de execução das buscas por imagens, que é feita a partir do momento emque o sistema recebe a imagem a ser pesquisada até o processo de exibição dos resultados.Os tempos são apresentados em segundos. Logo, os experimentos de tempo de execuçãopossibilitam avaliar a viabilidade das técnicas propostas.

6.4 Experimentos realizados

Os testes realizados para a avaliação da eficácia do sistema proposto foram dividi-dos em três experimentos. Em todos eles foi utilizada a mesma base de imagens CORELcomposta por 1.000 fotografias.

O primeiro experimento tem como objetivo avaliar a influência do número de clus-ters das técnicas de agrupamentos utilizadas na metodologia. Com os resultados obtidosnesse teste foi definido um número ideal de clusters para ser usado nos experimentosposteriores.

43

6.4.1 Experimento 1: Escolha do número de clusters

O número de clusters utilizado no método proposto é definido de acordo com aquantidade das imagens que serão indexadas e com o grau de similaridade entre elas,portanto esse número pode variar conforme a base de imagens utilizada. Com o intuitode avaliar a influência desse número de clusters no sistema, foi realizado um experimentoque permitisse definir qual o número ideal para a realização dos testes.

Teoricamente, quanto maior o número de clusters, maior será o número de pes-quisas pelos algoritmos, devido no processo inicial da pesquisa ser realizado em cadacaracterística representante do cluster. Porém, à medida que o número de clusters au-menta, o número de imagens pertencentes a cada cluster diminui, pois são divididas ealocadas nos grupos semelhantes, diminuindo assim o processo de intercalação realizadopelo algorítmo merge de ordenação dos dois clusters mais semelhantes da consulta. Dessaforma, torna-se necessária a avaliação do número de clusters para que se consiga obter omaior número de imagens similares em cada cluster, consultando o menor número possívelde imagens do banco de dados.

O experimento para avaliação do número de clusters foi feito da seguinte forma: apartir do banco de imagens COREL, foram realizados testes com uma imagem de pesquisapertencente à própria base, utilizando diferentes números de clusters para a análise docomportamento da variação desses valores no tempo e qualidade das respostas. A seguirserão apresentados os resultados encontrados no experimento de avaliação do número declusters .

A Figura 6 descreve os resultados obtidos para os experimentos de avaliação donúmero de clusters. Para o número de clusters entre 25 a 500, pode-se notar uma conside-rável diminuição do tempo de resposta em todas as técnicas implementadas. Isso ocorredevido ao menor custo computacional exigido com a restrição das pesquisas promovidaspelo agrupamento das imagens.

Na realização desse experimento também cada variação dos métodos foi comparadacom os resultados obtidos nas pesquisas sequenciais realizadas no LIRe (LUX; CHATZICH-RISTOFIS, 2008), conforme a Figura 7.

Para a análise da influência na qualidade das buscas, os testes de avaliação donúmero de clusters podem ser verificados nas Figuras 8 e 9 . O aumento do número declusters melhora a curva de precisao× revocacao, mas é importante observar que mesmocom melhores resultados, quanto maior o número de clusters, menor será a quantidade deimagens retornadas, devido ao tamanho desses clusters. Assim a curva começa a diminuira partir de um determinado número.

44

Figura 6: Gráfico com o número de clusters e seu impacto no tempo da para cada variaçãodo método proposto.

Comparando os testes com diferentes números de clusters utilizados na indexaçãoobserva-se que as duas técnicas de agrupamentos de dados retornaram a consulta commenor tempo conforme o aumento do número de clusters. Porém, na análise da qualidadedas respostas, verfica-se que existe um limiar que pode ser utilizado para determinar ummelhor número a ser utilizado. Sendo assim, os resultados encontrados na avaliação donúmero de clusters para o grupo de imagens dos testes indicam que os melhores resultadosobtidos foram para 200 clusters em um conjunto de 1.000 imagens.

6.4.2 Experimento 2: Avaliação da qualidade das consultas

Nos experimentos realizados para avaliar a qualidade das consultas na base dedados COREL a indexação foi realizada considerando 200 clusters, conforme a análise dotempo e qualidade das respostas do experimento anterior.

O primeiro teste tem como objetivo comparar a resposta da metodologia propostacom a pesquisa sequêncial realizada pelo LIRe. A curva de precisao × revocacao desseteste pode ser verificada na Figura 10.

A comparação das técnicas utilizadas na metodologia com a pesquisa sequêncialtorna-se importante para verificar qual a relação entre a metodologia proposta e a pesquisasequêncial realizada no LIRe. Dessa forma, é possível indicar as vantagens em diminuir otempo da consulta sem perder a qualidade da resposta. Pode-se observar na Figura 10 queas consultas, por meio da metodologia implementada, aproximam-se muito da pesquisa

45

Figura 7: Gráfico com a média do tempo de resposta dos métodos implementados e apesquisa sequencial do LIRe

sequêncial na técnica do k-means, enquanto a curva de precisao× revocacao mostra umaalta precisão nas primeiras respostas. Já na técnica da AGM, foi demonstrada uma maiorestabilidade e com menor precisão das imagens retornadas.

O principal teste para verificar a qualidade das respostas foi realizado utilizandocomo referência a classificação adotada na base da coleção COREL, que considera rele-vantes os grupos de imagens categorizadas contextualmente.

No gráfico com a curva de precisao × revocacao da Figura 11 é possível observarclaramente que a pesquisa sequêncial demonstrou, como esperado, uma melhor precisão,pois a similaridade entre as imagens é calculada linearmente em todo o conjunto de ima-gens, o que ocasiona um tempo de consulta inviável para grandes bases de imagens. Aindaassim, é nitidamente possível verificar que a precisão das técnicas implementadas na me-todologia proposta é satisfatória, considerando a discrepância entre o tempo de respostaverificado na Figura 7 do experimento anterior. O mesmo acontece com a diferença entrea qualidade de resposta da técnica de agrupamento do k-means com a AGM. A melhorcurva mostrada no k-means pode ser compensada com o tempo de resposta da AGM.

A avaliação da qualidade das consultas realizada no experimento 2 pôde demonstrarinteressantes resultados, com uma qualidade satisfatória em relação à pesquisa sequencial.É importante observar também nesse experimento que a técnica da AGM não retornouuma boa precisão quando a resposta do LIRe é considerada ideal, conforme Figura 10, masmelhora quando o conjunto de resposta da base COREL é considerado como referência.Com isso foi possível analisar que a técnica de poda normalizada abordada na AGMdifere das implementações utilizadas na pesquisa sequêncial e k-means, e mesmo assim foimantida uma precisão e fidelidade promovida pela característica do histograma de cor.

46

Figura 8: Gráfico com o número de cluster e o impacto na qualidade das consultas para ométodo utilizando o k-means, considerando a pesquisa sequencial do LIRe como o conjuntode resposta ideal .

Para facilitar o entendimento dos agrupamentos realizados, será demonstrado aseguir um experimento visual que exibe uma amostragem dos agrupamentos realizadospela metodologia.

6.4.3 Experimento 3: Avaliação Visual do agrupamento das imagens

Nesse experimento são avaliados os agrupamentos criados para as técnicas apli-cadas. A Figura 12 exibe um conjunto reduzido para amostragem com 100 imagensclassificadas em 10 clusters de acordo com a base COREL que é utilizada nos experimen-tos.

A Figura 12 exibe o conjunto de imagens utilizado para a indexação, agrupadascontextualmente de acordo com a base COREL. Já as Figuras 13 e 14 exibem o conjuntode imagens indexadas e agrupadas conforme cada técnica aplicada. Pode-se observarque a quantidade de imagens em cada cluster indexado é diferente, e que a classificaçãobaseada em contexto perde o sentido quando as imagens são agrupadas em relação àssuas características de histograma de cor. Na técnica da AGM, na Figura 14, uma melhoruniformidade é verificada nessa quantidade de imagens em relação a técnica do k-means,na Figura 13. Isso é devido à poda da AGM ser realizada pelo corte normalizado, definidopor um tamanho limite de clusters. Apesar da classificação ser realizada conforme o

47

Figura 9: Gráfico com o número de cluster e o impacto na qualidade das consultas parao método utilizando o Árvore Geradora Mínima, considerando a pesquisa sequencial doLIRe como o conjunto de resposta ideal .

histograma de cor, é demonstrado que essa característica de imagem possibilita umaclassificação com uma considerada relevância semântica.

Utilizando-se o modelo apresentado na arquitetura da metodologia proposta naFigura 2 do capítulo 5, ambas as técnicas de agrupamentos de dados testadas podem serverificadas visualmente nas Figuras 15 e 16. Dessa forma, uma mesma imagem para aconsulta é enviada ao recuperador para identificar a similaridade da característica dessaimagem com a característica do centróide dos clusters. Os dois clusters mais próximossão enviados para o merge, no qual é realizada a ordenação para a resposta, de acordocom a distância da imagem pesquisada. Por fim, é eviada a resposta em um conjuntode imagens semelhantes à pesquisa. Nas duas técnicas, pode-se observar que retornamrespostas visualmente semelhantes, algumas fora da classificação da base COREL, masque se aproximam em uma análise semântica.

6.5 Considerações finais

Neste Capítulo foram apresentados alguns experimentos e resultados obtidos paraas técnicas de agrupamento de dados utilizados no método proposto. Vislumbra-se otempo de resposta para a recuperação de imagens identificado nos experimentos como aprincipal vantagem da metodologia adotada. Também é demonstrada uma avaliação da

48

Figura 10: Gráfico com a qualidade dos métodos implementados, considerando a pesquisasequêncial no LIRe como o conjunto de respostas ideal.

qualidade de respostas comparadas com a pesquisa sequêncial do LIRe. No experimentovisual, pode-se observar claramente os agrupamentos formados por cada técnica, assimcomo a aplicação do sistema de recuperação de imagens utilizado.

49

Figura 11: Gráfico com a qualidade dos métodos implementados em relação ao LIRe,considerando a classificação do COREL como o conjunto de respostas ideal.

Figura 12: Conjunto de imagens indexadas, separadas por categorias.

50

Figura 13: Agrupamento realizado pelo K-Means.

Figura 14: Agrupamento realizado pela Árvore Geradora Mínima.

51

Figura 15: Recuperação de imagens realizado pelo K-Means.

Figura 16: Recuperação de imagens realizado pela Árvore Geradora Mínima.

52

7 CONCLUSÃO

Os sistemas de recuperação de imagens com base no conteúdo visual necessitamcada vez mais de métodos eficientes para as pesquisas em suas base de dados, devido aogrande aumento do volume de dados multimídia distribuídos em várias aplicações.

Este trabalho apresentou uma alteração da biblioteca Lucene, implementando duastécnicas de agrupamentos de dados para um sistema de recuperação de imagens porconteúdo. Essas técnicas permitem agrupar imagens com características semelhantes como objetivo de melhorar a eficiência das pesquisas sem perder a qualidade das respostas.

Com o intuito de obter uma melhor representação das características das imagens,o método proposto utiliza o histograma de cor como o descritor padrão. Esse métodotambém prevê a possibilidade de indexação utilizando uma lista invertida que relacionao cálculo da similaridade entre as imagens e os centróides de cada cluster. Por isso, éproposto um esquema que possibilita um merge de ordenação com os dois clusters maispróximos, comparados à similaridade com imagem pesquisada.

Foram realizados experimentos utilizando-se a base COREL, que possui uma clas-sificação contextual pré-definida. Nos experimentos realizados, as técnicas do métodoproposto foram comparadas com a pesquisa sequencial do LIRe. Os experimentos ava-liaram as técnicas de agrupamento em relação à eficácia na recuperação de imagens eo tempo gasto para a consulta com diferentes número de clusters. Além disso, foramexibidos visualmente a formação dos agrupamentos e aplicação do sistema.

Considerando os resultados obtidos, ambas as técnicas de agupamento do métodoproposto são de fato adequadas para recuperação de imagens por conteúdo. Quandocomparada à pesquisa sequencial apresentada pelo LIRe, apresentam um desempenhomuito superior e com pouca perda da qualidade. Com isso, torna-se um importantemétodo para recuperação de imagens que pode ser utilizado em grandes bases.

Como trabalhos futuros pode-se sugerir:

1. Ampliar o conceito das técnicas de agrupamento de dados aplicadas aos sistemas derecuperação de imagens com base no conteúdo.

2. Analisar diferentes meios de podas de arestas da árvore geradora mínima, buscandomelhores classificações das imagens.

3. Avaliar outros descritores de características das imagens (como textura forma) em

53

relação às diferentes classificações adotadas em base de imagens.

4. Incorporar a combinação de descritores visuais com descritores semânticos, além derecursos de detecção de formas nas regiões da imagem para melhorar a representaçãona indexação.

54

REFERÊNCIAS

ALBUQUERQUE, A. A. de; GUIMARÃES, S. J. F. Recuperação de informaçãovisual com base no conteudo em imagens e videos digitais. Revista de InformaticaTeorica e Aplicada, Porto Alegre, Brasil, 2000.

AMSALEG, L.; JÉGOU, H.; TAVENARD, R. Balancing clusters to reduceresponse time variability in large scale image search. In: International Workshopon Content-Based Multimedia Indexing (CBMI 2011). Madrid, Spain: [s.n.], 2011.Disponível em: <http://hal.inria.fr/inria-00576886/en>.

BAEZA-YATES, R. A.; RIBEIRO-NETO, B. Modern Information Retrieval.Boston, MA, USA: Addison-Wesley Longman Publishing Co., Inc., 1999. ISBN020139829X.

BIMBO, A. D. Visual information retrieval. San Francisco, CA, USA: MorganKaufmann Publishers Inc., 1999. ISBN 1-55860-624-6.

CARSON, C. et al. Blobworld: Image segmentation using Expectation-Maximization and its application to image querying. IEEE Transactions onPattern Analysis and Machine Intelligence, v. 24, p. 1026–1038, 1999.

CHANG, S. F.; SIKORA, T.; PURI, A. Overview of the MPEG-7 standard. IEEETrans. Circuits and Systems for Video Technology, v. 11, n. 6, p. 688–695, June 2001.

CHATZICHRISTOFIS, S. A.; BOUTALIS, Y. S. CEDD: color and edge directivitydescriptor: a compact descriptor for image indexing and retrieval. In: Procee-dings of the 6th international conference on Computer vision systems. Berlin, Heidelberg:Springer-Verlag, 2008. (ICVS’08), p. 312–322. ISBN 3-540-79546-4, 978-3-540-79546-9.Disponível em: <http://portal.acm.org/citation.cfm?id=1788524.1788559>.

CHORA, R.; ANDRYSIAK, T.; CHORA, M. Integrated color, texture and shapeinformation for content-based image retrieval. Pattern Analysis Applications,Springer London, v. 10, p. 333–343, 2007. ISSN 1433-7541. 10.1007/s10044-007-0071-0.Disponível em: <http://dx.doi.org/10.1007/s10044-007-0071-0>.

COX, I. J. et al. PicHunter: Bayesian Relevance Feedback for Image Retrieval.In: International Conference on Pattern Recognition. [S.l.: s.n.], 1996.

DATTA, R. et al. Image retrieval: Ideas, influences, and trends of the new age.ACM Computing Surveys, v. 39, p. 2007, 2006.

DESELAERS, T.; KEYSERS, D.; NEY, H. Features for image retrie-val: an experimental comparison. Inf. Retr., Kluwer Academic Publishers,Hingham, MA, USA, v. 11, p. 77–107, April 2008. ISSN 1386-4564. Disponível em:<http://portal.acm.org/citation.cfm?id=1349658.1349663>.

55

FALOUTSOS, C. et al. Efficient and Effective Querying by Image Content.Journal of Intelligent Information Systems, v. 3, p. 231–262, 1994.

HATCHER, E.; GOSPODNETIC, O. Lucene in Action (In Action series).Greenwich, CT, USA: Manning Publications Co., 2004. ISBN 1932394281.

HUANG, J. et al. Image Indexing Using Color Correlograms. In: Proceedings of the1997 Conference on Computer Vision and Pattern Recognition (CVPR ’97). Washington,DC, USA: IEEE Computer Society, 1997. (CVPR ’97), p. 762–. ISBN 0-8186-7822-4.Disponível em: <http://portal.acm.org/citation.cfm?id=794189.794514>.

IQBAL, Q.; AGGARWAL, J. K. Cires: A System For Content-Based RetrievalIn Digital Image Libraries. In: in Invited Session on Content-based Image Retrieval:Techniques and Applications, 7 th International Conference on Control Automation,Robotics and Vision (ICARCV. [S.l.: s.n.], 2002. p. 205–210.

JAIN, A.; MURTY, M.; FLYNN, P. Data Clustering: A Review. ACM ComputingSurvey, v. 31, n. 3, p. 264–323, 1999.

JAIN, A. K.; DUBES, R. C. Algorithms for clustering data. Upper Saddle River,NJ, USA: Prentice-Hall, Inc., 1988. ISBN 0-13-022278-X.

KARYPIS, G.; HAN, E.-H. S.; KUMAR, V. CHAMELEON: A HierarchicalClustering Algorithm Using Dynamic Modeling. 1999.

LEHMANN, T. et al. Automatic categorization of medi-cal images forcontent-based retrieval and data mining. 2005.

LI, J.; WANG, J. Z. Automatic Linguistic Indexing of Pictures by a StatisticalModeling Approach. IEEE Trans. Pattern Anal. Mach. Intell., IEEE ComputerSociety, Washington, DC, USA, v. 25, p. 1075–1088, September 2003. ISSN 0162-8828.Disponível em: <http://portal.acm.org/citation.cfm?id=942593.942768>.

LONG, F.; ZHANG, H.; FENG, D. Fundamentals of content-based imageretrieval. In: Multimedia Information Retrieval and Management. Springer, Berlim:[s.n.], 2003.

LUX, M.; CHATZICHRISTOFIS, S. A. Lire: lucene image retrieval: an extensiblejava CBIR library. In: Proceeding of the 16th ACM international conferenceon Multimedia. New York, NY, USA: ACM, 2008. (MM ’08), p. 1085–1088. ISBN978-1-60558-303-7. Disponível em: <http://doi.acm.org/10.1145/1459359.1459577>.

MORRIS, O.; LEE, M. d. J.; CONSTANTINIDES, A. G. Graph theory for imageanalysis: an approach based on the shortest spanning tree. In: . [S.l.: s.n.], 1986.

PASS, G.; ZABIH, R.; MILLER, J. Comparing images using color coherencevectors. In: Proceedings of the fourth ACM international conference on Multimedia.New York, NY, USA: ACM, 1996. (MULTIMEDIA ’96), p. 65–73. ISBN 0-89791-871-1.Disponível em: <http://doi.acm.org/10.1145/244130.244148>.

PENTLAND, A.; PICARD, R. W.; SCLAROFF, S. Photobook: Content-basedmanipulation of image databases. International Journal of Computer Vision, v. 18,n. 3, p. 233–254, 1996.

56

RUI, Y.; HUANG, T. S.; CHANG, S. fu. Image Retrieval: Current Techniques,Promising Directions And Open Issues. Journal of Visual Communication andImage Representation, v. 10, p. 39–62, 1999.

RUI, Y.; HUANG, T. S.; MEHROTRA, S. MARS and Its Applications toMPEG-7. 1997.

SCHAEFFER, S. Graph clustering. Computer Science Review, Elsevier, v. 1, n. 1, p.27–64, 2007.

SIGGELKOW, S.; SCHAEL, M.; BURKHARDT, H. SIMBA - Search IMagesBy Appearance. In: RADIG, B.; FLORCZYK, S. (Ed.). DAGM-Symposium.[S.l.]: Springer, 2001. (Lecture Notes in Computer Science, v. 2191), p. 9–16. ISBN3-540-42596-9.

SMITH, J. R.; CHANG, S.-F. Tools and Techniques for Color Image Retrieval. In:IST/SPIE Symposium on Electronic Imaging: Science and Technology (EI96) - Storageand Retrieval for Image and Video Databases IV. San Jose, CA: [s.n.], 1996. v. 2670.

SQUIRE, D. M. et al. Content-Based Query of Image Databases, InspirationsFrom Text Retrieval: Inverted Files, Frequency-Based Weights and RelevanceFeedback. In: Pattern Recognition Letters. [S.l.: s.n.], 1999. p. 143–149.

TAMURA, H.; MORI, S.; YAMAWAKI, T. Texture features corresponding tovisual perception. IEEE Transactions on System, Man and Cybernatic, IEEE, v. 6,1978.

TORRES, R.; FALCÃO, A. Content-Based Image Retrieval: Theory andApplications. Revista de Informatica Teorica e Aplicada, v. 13, n. 2, p. 161–185, 2006.

TORRES, R. da S. et al. Recuperação de Imagens: Desafios e Novos Rumos.In: XXXV Seminário Integrado de Software e Hardware (SEMISH ’08). Belém, Pará,Brazil: [s.n.], 2008. p. 223–237.

VELTKAMP, R. C.; TANASE, M. Content-based image retrieval systems: Asurvey. [S.l.], October 2002.

VENUGOPAL, C. R.; SUDHAMANI, M. V. Image Retrieval from Databases: anApproach using Region Color and Indexing Technique. In: HPCNCS. [S.l.: s.n.],2008. p. 82–89.

WANG, J. Z.; LI, J.; WIEDERHOLD, G. SIMPLIcity: Semantics-SensitiveIntegrated Matching for Picture LIbraries. IEEE Transactions on Pattern Analysisand Machine Intelligence, v. 23, p. 947–963, 2001.

ZAHN, C. T. Graph-Theoretical Methods for Detecting and Describing GestaltClusters. IEEE Trans. Comput., IEEE Computer Society, Washington, DC, USA, v. 20,p. 68–86, January 1971. ISSN 0018-9340. Disponível em: <http://dx.doi.org/10.1109/T-C.1971.223083>.

ZOBEL, J.; MOFFAT, A.; RAMAMOHANARAO, K. Inverted files versus signaturefiles for text indexing. ACM Transactions on Database Systems, v. 23, p. 453–490,1998.