color harmonization

50
Universidade Federal do Rio de Janeiro - UFRJ - Campus Cidade Universitária - Rio de Janeiro - Ilha do Fundão, CEP: 21941-972 - COPPE/PESC/LCG Color Harmonization :: Método de Recolorização Baseado em Agrupamentos Harmônicos :: Seminários de Computação Gráfica II :: 15 de Agosto de 2013 Color Harmonization Método de Recolorização Baseado em Agrupamentos Harmônicos Michel Alves dos Santos Pós-Graduação em Engenharia de Sistemas e Computação Universidade Federal do Rio de Janeiro - UFRJ - COPPE Cidade Universitária - Rio de Janeiro - CEP: 21941-972 Docentes Responsáveis: Prof. Dsc. Ricardo Marroquim & Prof. PhD. Cláudio Esperança {michel.mas, michel.santos.al}@gmail.com 15 de Agosto de 2013 Michel Alves dos Santos: Laboratório de Computação Gráfica - LCG Pós-Graduação em Engenharia de Sistemas e Computação - PESC

Upload: michel-alves

Post on 21-Jun-2015

325 views

Category:

Education


0 download

DESCRIPTION

Color Harmonization - Método de Recolorização Baseado em Agrupamentos Harmônicos. Currently, there is an immense amount of tools for digital imaging. Such tools, whether they be famous or humble, have a myriad of amazing improvement techniques capable of removing the most destructive degradation or expand the most unnoticeable features. However, almost all of these tools sins in one criterion: they do not have a module for automatic matching of colors to allow for a second instance, a certain interaction with the end user. This type of gap occurs due to the complexity of building models that are able to express the harmony between colors as a closed mathematical relationship or even approximate. In the seminar entitled "Color Harmonization: Automatic Method of Search and Application of Harmonics Schema in Pictures", we present a technique developed by Cohen-Or et al. for matching colors in digital images, which has as base the templates or harmonic schemes developed in the works of Masataka Tokumaru (Color Design Support System Considering Color Harmony - 2002) and Yutaka Matsuda (Matsuda's Color Coordination - 1995).

TRANSCRIPT

Page 1: Color Harmonization

Universidade Federal do Rio de Janeiro - UFRJ - Campus Cidade Universitária - Rio de Janeiro - Ilha do Fundão, CEP: 21941-972 - COPPE/PESC/LCG

Color Harmonization :: Método de Recolorização Baseado em Agrupamentos Harmônicos :: Seminários de Computação Gráfica II :: 15 de Agosto de 2013

Color HarmonizationMétodo de Recolorização Baseado em Agrupamentos Harmônicos

Michel Alves dos Santos

Pós-Graduação em Engenharia de Sistemas e ComputaçãoUniversidade Federal do Rio de Janeiro - UFRJ - COPPECidade Universitária - Rio de Janeiro - CEP: 21941-972

Docentes Responsáveis: Prof. Dsc. Ricardo Marroquim & Prof. PhD. Cláudio Esperança

{michel.mas, michel.santos.al}@gmail.com

15 de Agosto de 2013

Michel Alves dos Santos: Laboratório de Computação Gráfica - LCG Pós-Graduação em Engenharia de Sistemas e Computação - PESC

Page 2: Color Harmonization

Universidade Federal do Rio de Janeiro - UFRJ - Campus Cidade Universitária - Rio de Janeiro - Ilha do Fundão, CEP: 21941-972 - COPPE/PESC/LCG

Color Harmonization :: Método de Recolorização Baseado em Agrupamentos Harmônicos :: Seminários de Computação Gráfica II :: 15 de Agosto de 2013

Introdução - Qual é a importância das cores?

A Importância das Cores

Figure: O Nascimento de Vênus (Sandro Botticelli) e Composition VII (Wassily Kandinsky). Obrasque encantam pela maestria da combinação de tons, estética apurada e inigualável senso harmônico.

I Destacam informação e atraem atenção;I Aumentam a capacidade cognitiva;I Associam síntaxe à semântica.

Michel Alves dos Santos: Laboratório de Computação Gráfica - LCG Pós-Graduação em Engenharia de Sistemas e Computação - PESC

Page 3: Color Harmonization

Universidade Federal do Rio de Janeiro - UFRJ - Campus Cidade Universitária - Rio de Janeiro - Ilha do Fundão, CEP: 21941-972 - COPPE/PESC/LCG

Color Harmonization :: Método de Recolorização Baseado em Agrupamentos Harmônicos :: Seminários de Computação Gráfica II :: 15 de Agosto de 2013

Perguntas Cotidianas

Perguntas Geradas Pela Importância das Cores

Michel Alves dos Santos: Laboratório de Computação Gráfica - LCG Pós-Graduação em Engenharia de Sistemas e Computação - PESC

Page 4: Color Harmonization

Universidade Federal do Rio de Janeiro - UFRJ - Campus Cidade Universitária - Rio de Janeiro - Ilha do Fundão, CEP: 21941-972 - COPPE/PESC/LCG

Color Harmonization :: Método de Recolorização Baseado em Agrupamentos Harmônicos :: Seminários de Computação Gráfica II :: 15 de Agosto de 2013

Perguntas Cotidianas

Perguntas Geradas Pela Importância das Cores

Michel Alves dos Santos: Laboratório de Computação Gráfica - LCG Pós-Graduação em Engenharia de Sistemas e Computação - PESC

Page 5: Color Harmonization

Universidade Federal do Rio de Janeiro - UFRJ - Campus Cidade Universitária - Rio de Janeiro - Ilha do Fundão, CEP: 21941-972 - COPPE/PESC/LCG

Color Harmonization :: Método de Recolorização Baseado em Agrupamentos Harmônicos :: Seminários de Computação Gráfica II :: 15 de Agosto de 2013

Propriedade em Comum

Propriedade Desejada em Comum

E todas as perguntas feitas anteriormente giram em torno de umapropriedade intensamente desejada...

A HarmoniaMichel Alves dos Santos: Laboratório de Computação Gráfica - LCG Pós-Graduação em Engenharia de Sistemas e Computação - PESC

Page 6: Color Harmonization

Universidade Federal do Rio de Janeiro - UFRJ - Campus Cidade Universitária - Rio de Janeiro - Ilha do Fundão, CEP: 21941-972 - COPPE/PESC/LCG

Color Harmonization :: Método de Recolorização Baseado em Agrupamentos Harmônicos :: Seminários de Computação Gráfica II :: 15 de Agosto de 2013

Propriedade em Comum

Propriedade Desejada em Comum

E todas as perguntas feitas anteriormente giram em torno de umapropriedade intensamente desejada...

A HarmoniaMichel Alves dos Santos: Laboratório de Computação Gráfica - LCG Pós-Graduação em Engenharia de Sistemas e Computação - PESC

Page 7: Color Harmonization

Universidade Federal do Rio de Janeiro - UFRJ - Campus Cidade Universitária - Rio de Janeiro - Ilha do Fundão, CEP: 21941-972 - COPPE/PESC/LCG

Color Harmonization :: Método de Recolorização Baseado em Agrupamentos Harmônicos :: Seminários de Computação Gráfica II :: 15 de Agosto de 2013

A Apresentação

O que podemos esperar desta apresentação?

Nesta apresentação iremos discutir sobre o conceito de harmonia de cores,as primeiras intenções de categorização do tema de maneira científica eapresentar uma técnica para busca e aplicação de esquemas harmônicos.

Michel Alves dos Santos: Laboratório de Computação Gráfica - LCG Pós-Graduação em Engenharia de Sistemas e Computação - PESC

Page 8: Color Harmonization

Universidade Federal do Rio de Janeiro - UFRJ - Campus Cidade Universitária - Rio de Janeiro - Ilha do Fundão, CEP: 21941-972 - COPPE/PESC/LCG

Color Harmonization :: Método de Recolorização Baseado em Agrupamentos Harmônicos :: Seminários de Computação Gráfica II :: 15 de Agosto de 2013

Objetivos

Principais Objetivos da Apresentação

Color Harmonization

Daniel Cohen-Or Olga Sorkine Ran Gal Tommer Leyvand Ying-Qing XuTel Aviv University∗ Microsoft Research Asia†

original image harmonized image

Figure 1: Harmonization in action. Our algorithm changes the colors of the background image to harmonize them with the foreground.

Abstract

Harmonic colors are sets of colors that are aesthetically pleasingin terms of human visual perception. In this paper, we present amethod that enhances the harmony among the colors of a givenphotograph or of a general image, while remaining faithful, as muchas possible, to the original colors. Given a color image, our methodfinds the best harmonic scheme for the image colors. It then allowsa graceful shifting of hue values so as to fit the harmonic schemewhile considering spatial coherence among colors of neighboringpixels using an optimization technique. The results demonstratethat our method is capable of automatically enhancing the color“look-and-feel” of an ordinary image. In particular, we show theresults of harmonizing the background image to accommodate thecolors of a foreground image, or the foreground with respect to thebackground, in a cut-and-paste setting. Our color harmonizationtechnique proves to be useful in adjusting the colors of an imagecomposed of several parts taken from different sources.

Keywords: image enhancement, color harmonization, cut-and-paste, computational aesthetics

1 Introduction

Much of what we perceive and feel about an image is experiencedthrough colors. Although our perception of colors depends on thecontext, and is culture-related, it is impossible to look at an im-age without being affected by the harmony of its colors. Harmonic

∗{dcor|sorkine|galran|tommer}@ tau.ac.il†[email protected]

colors are sets of colors that hold some special internal relation-ship that provides a pleasant visual perception. Harmony amongcolors is not determined by specific colors, but rather by their rel-ative position in color space. Generating harmonic colors has beenan open problem among artists and scientists [Holtzschue 2002].Munsell [1969] and Goethe [1971] have defined color harmony asbalance, in an effort to transfer the concept of color harmony froma subjective perspective to an objective one. Although currentlythere is no formulation that defines a harmonic set, there is a con-sensus among artists that defines when a set is harmonic, and thereare some forms, schemes and relations in color space that describea harmony of colors [Matsuda 1995; Tokumaru et al. 2002].

Professional artists usually rely on experience and intuition tochoose their favorite harmonic colors. The artist can choose aharmonic set from prescribed sets provided in handbooks (e.g.,[Krause 2002]) or by using an interactive application (e.g., [Meier1988]). Once the set is defined, the artist needs to color or recolorhis/her product with this set, a task that can be tedious when theimage is complex and contains many colors.

In this paper we introduce a novel application that provides the userwith an automatic recoloring tool, which is useful in different set-tings. Given an arbitrary image, possibly a photograph, the colorsof the image are modified to enhance the relationship among themand to increase their harmony. We term this color-enhancementprocess color harmonization.

Our technique can deal with an arbitrarily complex image or colorpalette, with a rich variety of colors. Color harmonization freesthe designer from choosing a specific harmonic set, since he/shecan use any desired color palette, and our automatic method sub-sequently optimizes the image towards a harmonic setting whileremaining as faithful as possible to the original color palette. Theapplication is suitable for both professional designers and amateurs,seeking to enhance their artistic work.

The harmonization technique can be applied in a compositing sce-nario in which some regions of the input image remain intact. Thisallows, for instance, harmonizing the colors of a background im-age with respect to the foreground or adapting the colors of a fore-

I Debater sobre o conteúdo do artigointitulado Color Harmonization.

I Listar alguns trabalhos relacionados ecomplementares ao tema (backwardand forward papers).

I Discutir sobre os requerimentosnecessários a implementação dométodo proposto.

I Exibir o fluxograma de execução datécnica categorizando as etapas deprocessamento.

I Analisar os resultados encontrados ecasos onde o método não surti oefeito esperado.

I Apresentar conclusões (sobre a técnica).

Do que se trata o artigo Color Harmonization?

Michel Alves dos Santos: Laboratório de Computação Gráfica - LCG Pós-Graduação em Engenharia de Sistemas e Computação - PESC

Page 9: Color Harmonization

Universidade Federal do Rio de Janeiro - UFRJ - Campus Cidade Universitária - Rio de Janeiro - Ilha do Fundão, CEP: 21941-972 - COPPE/PESC/LCG

Color Harmonization :: Método de Recolorização Baseado em Agrupamentos Harmônicos :: Seminários de Computação Gráfica II :: 15 de Agosto de 2013

O Trabalho: Color Harmonization

Busca e Aplicação de Esquemas Harmônicos em Imagens

Color Harmonization

Daniel Cohen-Or Olga Sorkine Ran Gal Tommer Leyvand Ying-Qing XuTel Aviv University∗ Microsoft Research Asia†

original image harmonized image

Figure 1: Harmonization in action. Our algorithm changes the colors of the background image to harmonize them with the foreground.

Abstract

Harmonic colors are sets of colors that are aesthetically pleasingin terms of human visual perception. In this paper, we present amethod that enhances the harmony among the colors of a givenphotograph or of a general image, while remaining faithful, as muchas possible, to the original colors. Given a color image, our methodfinds the best harmonic scheme for the image colors. It then allowsa graceful shifting of hue values so as to fit the harmonic schemewhile considering spatial coherence among colors of neighboringpixels using an optimization technique. The results demonstratethat our method is capable of automatically enhancing the color“look-and-feel” of an ordinary image. In particular, we show theresults of harmonizing the background image to accommodate thecolors of a foreground image, or the foreground with respect to thebackground, in a cut-and-paste setting. Our color harmonizationtechnique proves to be useful in adjusting the colors of an imagecomposed of several parts taken from different sources.

Keywords: image enhancement, color harmonization, cut-and-paste, computational aesthetics

1 Introduction

Much of what we perceive and feel about an image is experiencedthrough colors. Although our perception of colors depends on thecontext, and is culture-related, it is impossible to look at an im-age without being affected by the harmony of its colors. Harmonic

∗{dcor|sorkine|galran|tommer}@ tau.ac.il†[email protected]

colors are sets of colors that hold some special internal relation-ship that provides a pleasant visual perception. Harmony amongcolors is not determined by specific colors, but rather by their rel-ative position in color space. Generating harmonic colors has beenan open problem among artists and scientists [Holtzschue 2002].Munsell [1969] and Goethe [1971] have defined color harmony asbalance, in an effort to transfer the concept of color harmony froma subjective perspective to an objective one. Although currentlythere is no formulation that defines a harmonic set, there is a con-sensus among artists that defines when a set is harmonic, and thereare some forms, schemes and relations in color space that describea harmony of colors [Matsuda 1995; Tokumaru et al. 2002].

Professional artists usually rely on experience and intuition tochoose their favorite harmonic colors. The artist can choose aharmonic set from prescribed sets provided in handbooks (e.g.,[Krause 2002]) or by using an interactive application (e.g., [Meier1988]). Once the set is defined, the artist needs to color or recolorhis/her product with this set, a task that can be tedious when theimage is complex and contains many colors.

In this paper we introduce a novel application that provides the userwith an automatic recoloring tool, which is useful in different set-tings. Given an arbitrary image, possibly a photograph, the colorsof the image are modified to enhance the relationship among themand to increase their harmony. We term this color-enhancementprocess color harmonization.

Our technique can deal with an arbitrarily complex image or colorpalette, with a rich variety of colors. Color harmonization freesthe designer from choosing a specific harmonic set, since he/shecan use any desired color palette, and our automatic method sub-sequently optimizes the image towards a harmonic setting whileremaining as faithful as possible to the original color palette. Theapplication is suitable for both professional designers and amateurs,seeking to enhance their artistic work.

The harmonization technique can be applied in a compositing sce-nario in which some regions of the input image remain intact. Thisallows, for instance, harmonizing the colors of a background im-age with respect to the foreground or adapting the colors of a fore-

Paper: Color Harmonization

I Ano: 2006I Autores: Daniel Cohen-Or, Olga Sorkine,

Ran Gal, Tommer Leyvand & Ying-QingXu

I Conference: ACM SIGGRAPH 2006I www.igl.ethz.ch/projects/color-harmonization/

O artigo em questão é fortemente baseado nos trabalhos de Masataka Tokumaru (2002) e Yutaka Matsuda (1995).

Michel Alves dos Santos: Laboratório de Computação Gráfica - LCG Pós-Graduação em Engenharia de Sistemas e Computação - PESC

Page 10: Color Harmonization

Universidade Federal do Rio de Janeiro - UFRJ - Campus Cidade Universitária - Rio de Janeiro - Ilha do Fundão, CEP: 21941-972 - COPPE/PESC/LCG

Color Harmonization :: Método de Recolorização Baseado em Agrupamentos Harmônicos :: Seminários de Computação Gráfica II :: 15 de Agosto de 2013

Trabalhos Relacionados

Trabalhos relacionados a técnica apresentada

I Primeiras descobertas no campo da teoria da harmonização:Newton, Goethe, Young e Maxwell;

I Introdução de uma representação quantitativa de harmonia:Moon & Spencer [1944], Granville & Jacobson [1944];

I Moderna Teoria das Cores: Munsell [1969], Ostwald & Birren[1969] e Itten [1960];

I Introdução de um novo círculo de cores onde a harmonia éenfatizada pela componente de matiz: Itten [1960];

I Introdução de 80 esquemas harmônicos baseados nos estudosde Itten: Matsuda [1995];

I Esquemas harmônicos de Tokumaru: Tokumaru [2002].

Michel Alves dos Santos: Laboratório de Computação Gráfica - LCG Pós-Graduação em Engenharia de Sistemas e Computação - PESC

Page 11: Color Harmonization

Universidade Federal do Rio de Janeiro - UFRJ - Campus Cidade Universitária - Rio de Janeiro - Ilha do Fundão, CEP: 21941-972 - COPPE/PESC/LCG

Color Harmonization :: Método de Recolorização Baseado em Agrupamentos Harmônicos :: Seminários de Computação Gráfica II :: 15 de Agosto de 2013

Genealogia e Trabalhos Complementares

Genealogia e Trabalhos Complementares ao Artigo em Questão

Quais foram os trabalhos que serviram de inspiração principal equais foram os trabalhos de destaque que usaram a técnica

proposta na comparação de resultados posteriormente obtidos?

Abstract - Color design is very important for a product design.In this paper, we propose a system which aims to support such acolor design. Proposed system is composed of 5 parts, such as thepart which evaluates the harmony of colors, the color combiningpart, color scheme image judging part, image word output partand lastly image comparison part. First, the system requires theuser to input a color and his preferring image of color schemeincluding his inputting color with image keyword. Next, the systemselects colors from the Munsell color database, which are inharmony with the color inputted into the system . Then, the systembuilds color schemes to combine the color inputted by the userwith the colors selected from the database by the system. Finally,images of the color schemes are evaluated and outputted the colorcombinations whose images accord with the image keyword whichthe user inputs into the system. Experimental result shows thateffective judgments of color harmony and color image are executedand we can get some good color schemes by the system.

I. INTRODUCTION

In resent years, importance of color design increases to designproducts. The color design of appearance becomes remarkableabout personal computers and home-use electrification productsin addition to furniture and furnishings. We can enjoy colorfullife, but it may cause new problem to combine colors. Whenwe plan to purchase new object to place in our living room, weshould select it into many similar objects by considering notonly its function and price but also its color. The color of newobject needs to harmonize well with colors of other existingobjects and interior decorations, but it is very difficult for us tochoose an object considering such things. So we propose asystem to support color design. The system possesses someadvanced functions to support selecting colors of products,which are evaluating harmony of color scheme, building colorschemes by combining with harmonized colors, color schemeimage judging, color image expression by using image keywordand so on.

The conventional system of the Kansei informationprocessing about color design mainly uses the following threeprocedures[1]~[5]. 1) The system investigates the relationshipbetween the colors and the image words by questionnaire. 2) Itquantifies their relationship by factor analysis. 3) It learns thequantified relationship between input (colors) and output (image

Color Design Support System Considering Color Harmony

Masataka Tokumaru

Faculty of Engineering

Kansai University

[email protected]

Noriaki Muranaka

Faculty of Engineering

Kansai University

[email protected]

Shigeru Imanishi

Faculty of Engineering

Kansai University

[email protected]

words) by neural networks[2][3]. This method is convenientbecause the system does not require any rules for the relationshipbetween the input and the output, but it is difficult to correctparts of the system and to introduce technical knowledge intothe system because it is difficult to grasp the internal state ofthe system.

On the other hand, many researchers who study color scienceproposed methods and logics to analyze color schemes and colorimages. However a lot of them are not a computer system andthey require estimation and interpolation by user about the partwhere investigation isn't accomplished. Then we compose acomputer system which automatically designs color schemewhose harmony is well and whose image corresponds withuser’s preferring color image[6]~[8].

This paper is comprised of 6 chapters. We show the outlineof the system in the next chapter. The system adopts followingtwo methods to analyze color scheme. One of them is so called"Matsuda's Color Coordination" which is described in thechapter 3. Another is "Color Image Scale" which is proposedby Shigenobu Kobayashi who is director of Nippon Color andDesign Research Institute (NCD). It is explained in the chapter4. In the chapter 5, we show the experimental result of thesystem. We mention the conclusion of our study in the chapter6.

II. OUTLINE OF THE PROPOSED SYSTEM

Outline of the proposed system is shown in Fig.1. First, userof the system put a color and his preferring image of colorscheme with image keyword (for example, Casual, Pretty,Modern and so on) into the system. Next the system choosestwo colors from the color database considering color schemeharmony and builds the color scheme database to combine themwith a color which user put into the system. Then the systemestimates image of color schemes each of which contains threecolors and compare its image with the image keyword whichthe user put into the system. Finally, the user gets somecombinations of three colors which harmonize well with eachother and whose images fit user's imagination by the system.

Color scheme harmony evaluation in the system is based onthe distribution of hues and tones of three combined colors.Types of hue distribution and tone distribution are expressed

0-7803-7280-8/02/$10.00 ©2002 IEEE

Journal of Electronic Imaging 20(2), 023001 (Apr–Jun 2011)

Color harmonization for images

Zhen TangZhenjiang Miao

Yanli WanZhifei Wang

Beijing Jiaotong UniversityInstitute of Information ScienceNo. 3 of Shangyuan Residence

Haidian District, Beijing 100044 ChinaE-mail: [email protected]

Abstract. Color harmonization is an artistic technique to adjust aset of colors in order to enhance their visual harmony so that theyare aesthetically pleasing in terms of human visual perception. Wepresent a new color harmonization method that treats the harmo-nization as a function optimization. For a given image, we derive acost function based on the observation that pixels in a small win-dow that have similar unharmonic hues should be harmonized withsimilar harmonic hues. By minimizing the cost function, we get a har-monized image in which the spatial coherence is preserved. A newmatching function is proposed to select the best matching harmonicschemes, and a new component-based preharmonization strategy isproposed to preserve the hue distribution of the harmonized images.Our approach overcomes several shortcomings of the existing colorharmonization methods. We test our algorithm with a variety of im-ages to demonstrate the effectiveness of our approach. © 2011 SPIEand IS&T. [DOI: 10.1117/1.3574097]

1 IntroductionMuch of what we perceive and feel about an image is ex-perienced through colors. Although our perception of colorsdepends on the context and is culture related, it is impossibleto look at an image without being affected by the harmonyof its colors.1 Image color harmonization is an important anduseful image editing operation that is widely used in imagecomposition, poster and advertisement production, painting,animation, etc. In recent years, some automatic color harmo-nization algorithms1, 2 have been proposed. However, manyproblems still exist as discussed in the following section.

Automatic image color harmonization aims to find the un-harmonic pixels and shift their colors to a harmonic positionaccording to a certain harmonic template. A harmonic tem-plate is a wheel defined on the hue channel of HSV space,and uses one or two gray sectors to point out its harmonicpositions.3, 4 The challenges of automatic image harmoniza-tion are first to find the best matching harmonic templateand then to harmonize the image in a coherent way. The bestmatching template relies on a good matching function anda good template search strategy. Image harmonization in acoherent way means that continuous spatial regions in the in-

Paper 10164RR received Oct. 4, 2010; revised manuscript received Feb. 19,2011; accepted for publication Mar. 7, 2011; published online Apr. 13, 2011.

1017-9909/2011/20(2)/023001/12/$25.00 C© 2011 SPIE and IS&T

put image should remain continuous after harmonization, andthis requires a good spatial coherence preservation algorithm.

In this paper, we propose a new optimization-based au-tomatic color harmonization algorithm for images. This al-gorithm is based on the observation that pixels in a smallwindow that have similar unharmonic hues should be as-signed similar harmonic hues. On the basis of this observa-tion, we formulate a quadratic cost function and minimize itwith common optimization algorithms. It preserves the spa-tial coherence of the harmonized image. In order to get thebest matching harmonic template for an image, we propose arelative-distance–based matching function, which overcomesthe disadvantages of the existing absolute-distance–basedfunctions. We also propose a novel component-based two-step template search algorithm that can find the best matchingpreharmonic template correctly.

In summary, two contributions are presented in this paper:

1. A new relative-distance–based template matchingfunction and a component based two-step templatesearch algorithm are proposed. This can automati-cally and correctly find the best matching harmonicschemes for images.

2. A two-level optimization-based color harmonizationalgorithm is proposed. It harmonizes the images ina coherent way and guarantees that the disconnectedareas of the same object are harmonized with simi-lar harmonic hues—a problem that cannot be solvedusing the previous method.1

The remainder of the paper is arranged as follows.Section 2 is a brief review of related work, and Sec. 3 de-scribes our algorithm in detail. After showing and analyzingsome experiment results in Sec. 4, the discussion and con-clusion are presented in Secs. 5 and 6.

2 Related WorkAlthough color harmony has been a historically studied prob-lem since the early days,5–8 the definition of color harmonyis still a problem in color harmony research, especially forthose developing color-harmony models based on quantita-tive evaluations.9 An objective definition of color harmonywas given by Judd and Wyszecki:10 “when two or more colorsseen in neighboring areas produce a pleasing effect, they are

Journal of Electronic Imaging Apr–Jun 2011/Vol. 20(2)023001-1

Downloaded From: http://electronicimaging.spiedigitallibrary.org/ on 11/14/2012 Terms of Use: http://spiedl.org/terms

Os conhecidos backward and forward papers.

Michel Alves dos Santos: Laboratório de Computação Gráfica - LCG Pós-Graduação em Engenharia de Sistemas e Computação - PESC

Page 12: Color Harmonization

Universidade Federal do Rio de Janeiro - UFRJ - Campus Cidade Universitária - Rio de Janeiro - Ilha do Fundão, CEP: 21941-972 - COPPE/PESC/LCG

Color Harmonization :: Método de Recolorização Baseado em Agrupamentos Harmônicos :: Seminários de Computação Gráfica II :: 15 de Agosto de 2013

Trabalhos Complementares - Moon & Spencer

Geometric Formulation of Classical Color Harmony

Informações

I Ano: 1943I Autores: Parry Moon & Domina Eberle

SpencerI Journal: Journal of the Optical

Society of AmericaI Volume 34, Number 1

O artigo em questão possui como propósito apresentar as bases científicas para a compreensão teórica da harmonização de cores

Michel Alves dos Santos: Laboratório de Computação Gráfica - LCG Pós-Graduação em Engenharia de Sistemas e Computação - PESC

Page 13: Color Harmonization

Universidade Federal do Rio de Janeiro - UFRJ - Campus Cidade Universitária - Rio de Janeiro - Ilha do Fundão, CEP: 21941-972 - COPPE/PESC/LCG

Color Harmonization :: Método de Recolorização Baseado em Agrupamentos Harmônicos :: Seminários de Computação Gráfica II :: 15 de Agosto de 2013

Trabalhos Complementares - Tokumaru et al.

Color Design Support System Considering Color Harmony

Abstract - Color design is very important for a product design.In this paper, we propose a system which aims to support such acolor design. Proposed system is composed of 5 parts, such as thepart which evaluates the harmony of colors, the color combiningpart, color scheme image judging part, image word output partand lastly image comparison part. First, the system requires theuser to input a color and his preferring image of color schemeincluding his inputting color with image keyword. Next, the systemselects colors from the Munsell color database, which are inharmony with the color inputted into the system . Then, the systembuilds color schemes to combine the color inputted by the userwith the colors selected from the database by the system. Finally,images of the color schemes are evaluated and outputted the colorcombinations whose images accord with the image keyword whichthe user inputs into the system. Experimental result shows thateffective judgments of color harmony and color image are executedand we can get some good color schemes by the system.

I. INTRODUCTION

In resent years, importance of color design increases to designproducts. The color design of appearance becomes remarkableabout personal computers and home-use electrification productsin addition to furniture and furnishings. We can enjoy colorfullife, but it may cause new problem to combine colors. Whenwe plan to purchase new object to place in our living room, weshould select it into many similar objects by considering notonly its function and price but also its color. The color of newobject needs to harmonize well with colors of other existingobjects and interior decorations, but it is very difficult for us tochoose an object considering such things. So we propose asystem to support color design. The system possesses someadvanced functions to support selecting colors of products,which are evaluating harmony of color scheme, building colorschemes by combining with harmonized colors, color schemeimage judging, color image expression by using image keywordand so on.

The conventional system of the Kansei informationprocessing about color design mainly uses the following threeprocedures[1]~[5]. 1) The system investigates the relationshipbetween the colors and the image words by questionnaire. 2) Itquantifies their relationship by factor analysis. 3) It learns thequantified relationship between input (colors) and output (image

Color Design Support System Considering Color Harmony

Masataka Tokumaru

Faculty of Engineering

Kansai University

[email protected]

Noriaki Muranaka

Faculty of Engineering

Kansai University

[email protected]

Shigeru Imanishi

Faculty of Engineering

Kansai University

[email protected]

words) by neural networks[2][3]. This method is convenientbecause the system does not require any rules for the relationshipbetween the input and the output, but it is difficult to correctparts of the system and to introduce technical knowledge intothe system because it is difficult to grasp the internal state ofthe system.

On the other hand, many researchers who study color scienceproposed methods and logics to analyze color schemes and colorimages. However a lot of them are not a computer system andthey require estimation and interpolation by user about the partwhere investigation isn't accomplished. Then we compose acomputer system which automatically designs color schemewhose harmony is well and whose image corresponds withuser’s preferring color image[6]~[8].

This paper is comprised of 6 chapters. We show the outlineof the system in the next chapter. The system adopts followingtwo methods to analyze color scheme. One of them is so called"Matsuda's Color Coordination" which is described in thechapter 3. Another is "Color Image Scale" which is proposedby Shigenobu Kobayashi who is director of Nippon Color andDesign Research Institute (NCD). It is explained in the chapter4. In the chapter 5, we show the experimental result of thesystem. We mention the conclusion of our study in the chapter6.

II. OUTLINE OF THE PROPOSED SYSTEM

Outline of the proposed system is shown in Fig.1. First, userof the system put a color and his preferring image of colorscheme with image keyword (for example, Casual, Pretty,Modern and so on) into the system. Next the system choosestwo colors from the color database considering color schemeharmony and builds the color scheme database to combine themwith a color which user put into the system. Then the systemestimates image of color schemes each of which contains threecolors and compare its image with the image keyword whichthe user put into the system. Finally, the user gets somecombinations of three colors which harmonize well with eachother and whose images fit user's imagination by the system.

Color scheme harmony evaluation in the system is based onthe distribution of hues and tones of three combined colors.Types of hue distribution and tone distribution are expressed

0-7803-7280-8/02/$10.00 ©2002 IEEE

Informações

I Ano: 2002I Autores: Masataka Tokumaru, Noriaki

Muranaka & Shigeru ImanishiI Conference: Proceedings of the IEEE

International Conference on FuzzySystems

I IEEE Press, 378-383

O artigo em questão é fortemente baseado no método ‘Matsuda’s Color Coordination’ de autoria de Yutaka Matsuda (1995).

Michel Alves dos Santos: Laboratório de Computação Gráfica - LCG Pós-Graduação em Engenharia de Sistemas e Computação - PESC

Page 14: Color Harmonization

Universidade Federal do Rio de Janeiro - UFRJ - Campus Cidade Universitária - Rio de Janeiro - Ilha do Fundão, CEP: 21941-972 - COPPE/PESC/LCG

Color Harmonization :: Método de Recolorização Baseado em Agrupamentos Harmônicos :: Seminários de Computação Gráfica II :: 15 de Agosto de 2013

Trabalhos Complementares - Shapira et al.

Image Appearance Exploration by Model-Based Navigation

Informações

I Ano: 2009I Autores: L. Shapira, A. Shamir & D.

Cohen-OrI Conference: Proceedings of the

EUROGRAPHICS 2009I Volume 28 (2009), Number 2

O artigo em questão é baseado no método ‘Gaussian Mixture Model’ (GMM).

Michel Alves dos Santos: Laboratório de Computação Gráfica - LCG Pós-Graduação em Engenharia de Sistemas e Computação - PESC

Page 15: Color Harmonization

Universidade Federal do Rio de Janeiro - UFRJ - Campus Cidade Universitária - Rio de Janeiro - Ilha do Fundão, CEP: 21941-972 - COPPE/PESC/LCG

Color Harmonization :: Método de Recolorização Baseado em Agrupamentos Harmônicos :: Seminários de Computação Gráfica II :: 15 de Agosto de 2013

Trabalhos Complementares - Zhen Tang et al.

Color Harmonization for Images

Journal of Electronic Imaging 20(2), 023001 (Apr–Jun 2011)

Color harmonization for images

Zhen TangZhenjiang Miao

Yanli WanZhifei Wang

Beijing Jiaotong UniversityInstitute of Information ScienceNo. 3 of Shangyuan Residence

Haidian District, Beijing 100044 ChinaE-mail: [email protected]

Abstract. Color harmonization is an artistic technique to adjust aset of colors in order to enhance their visual harmony so that theyare aesthetically pleasing in terms of human visual perception. Wepresent a new color harmonization method that treats the harmo-nization as a function optimization. For a given image, we derive acost function based on the observation that pixels in a small win-dow that have similar unharmonic hues should be harmonized withsimilar harmonic hues. By minimizing the cost function, we get a har-monized image in which the spatial coherence is preserved. A newmatching function is proposed to select the best matching harmonicschemes, and a new component-based preharmonization strategy isproposed to preserve the hue distribution of the harmonized images.Our approach overcomes several shortcomings of the existing colorharmonization methods. We test our algorithm with a variety of im-ages to demonstrate the effectiveness of our approach. © 2011 SPIEand IS&T. [DOI: 10.1117/1.3574097]

1 IntroductionMuch of what we perceive and feel about an image is ex-perienced through colors. Although our perception of colorsdepends on the context and is culture related, it is impossibleto look at an image without being affected by the harmonyof its colors.1 Image color harmonization is an important anduseful image editing operation that is widely used in imagecomposition, poster and advertisement production, painting,animation, etc. In recent years, some automatic color harmo-nization algorithms1, 2 have been proposed. However, manyproblems still exist as discussed in the following section.

Automatic image color harmonization aims to find the un-harmonic pixels and shift their colors to a harmonic positionaccording to a certain harmonic template. A harmonic tem-plate is a wheel defined on the hue channel of HSV space,and uses one or two gray sectors to point out its harmonicpositions.3, 4 The challenges of automatic image harmoniza-tion are first to find the best matching harmonic templateand then to harmonize the image in a coherent way. The bestmatching template relies on a good matching function anda good template search strategy. Image harmonization in acoherent way means that continuous spatial regions in the in-

Paper 10164RR received Oct. 4, 2010; revised manuscript received Feb. 19,2011; accepted for publication Mar. 7, 2011; published online Apr. 13, 2011.

1017-9909/2011/20(2)/023001/12/$25.00 C© 2011 SPIE and IS&T

put image should remain continuous after harmonization, andthis requires a good spatial coherence preservation algorithm.

In this paper, we propose a new optimization-based au-tomatic color harmonization algorithm for images. This al-gorithm is based on the observation that pixels in a smallwindow that have similar unharmonic hues should be as-signed similar harmonic hues. On the basis of this observa-tion, we formulate a quadratic cost function and minimize itwith common optimization algorithms. It preserves the spa-tial coherence of the harmonized image. In order to get thebest matching harmonic template for an image, we propose arelative-distance–based matching function, which overcomesthe disadvantages of the existing absolute-distance–basedfunctions. We also propose a novel component-based two-step template search algorithm that can find the best matchingpreharmonic template correctly.

In summary, two contributions are presented in this paper:

1. A new relative-distance–based template matchingfunction and a component based two-step templatesearch algorithm are proposed. This can automati-cally and correctly find the best matching harmonicschemes for images.

2. A two-level optimization-based color harmonizationalgorithm is proposed. It harmonizes the images ina coherent way and guarantees that the disconnectedareas of the same object are harmonized with simi-lar harmonic hues—a problem that cannot be solvedusing the previous method.1

The remainder of the paper is arranged as follows.Section 2 is a brief review of related work, and Sec. 3 de-scribes our algorithm in detail. After showing and analyzingsome experiment results in Sec. 4, the discussion and con-clusion are presented in Secs. 5 and 6.

2 Related WorkAlthough color harmony has been a historically studied prob-lem since the early days,5–8 the definition of color harmonyis still a problem in color harmony research, especially forthose developing color-harmony models based on quantita-tive evaluations.9 An objective definition of color harmonywas given by Judd and Wyszecki:10 “when two or more colorsseen in neighboring areas produce a pleasing effect, they are

Journal of Electronic Imaging Apr–Jun 2011/Vol. 20(2)023001-1

Downloaded From: http://electronicimaging.spiedigitallibrary.org/ on 11/14/2012 Terms of Use: http://spiedl.org/terms

Informações

I Ano: 2011I Autores: Zhen Tang, Zhenjiang Miao,

Yanli Wan & Zhifei WangI Journal: Journal of Electronic ImagingI Volume 20(2), (Apr–Jun 2011)I www.eletronicimaging.spiedigitallibrary.org

O artigo em questão apresenta um novo algoritmo de harmonização baseado em otimização que preserva a coerência espacial.

Michel Alves dos Santos: Laboratório de Computação Gráfica - LCG Pós-Graduação em Engenharia de Sistemas e Computação - PESC

Page 16: Color Harmonization

Universidade Federal do Rio de Janeiro - UFRJ - Campus Cidade Universitária - Rio de Janeiro - Ilha do Fundão, CEP: 21941-972 - COPPE/PESC/LCG

Color Harmonization :: Método de Recolorização Baseado em Agrupamentos Harmônicos :: Seminários de Computação Gráfica II :: 15 de Agosto de 2013

Trabalhos Complementares - Zhen Tang et al.

Image Composition with Color Harmonization

Informações

I Ano: 2012I Autores: Zhen Tang, Zhenjiang Miao,

Yanli Wan & Bo LiI Journal: International Journal of Pattern

Recognition and Artificial IntelligenceI Vol. 26, No. 3 (2012)(23 pages)

O artigo em questão apresenta um método de otimização para lidar com a harmonização de cores na composição de imagens.

Michel Alves dos Santos: Laboratório de Computação Gráfica - LCG Pós-Graduação em Engenharia de Sistemas e Computação - PESC

Page 17: Color Harmonization

Universidade Federal do Rio de Janeiro - UFRJ - Campus Cidade Universitária - Rio de Janeiro - Ilha do Fundão, CEP: 21941-972 - COPPE/PESC/LCG

Color Harmonization :: Método de Recolorização Baseado em Agrupamentos Harmônicos :: Seminários de Computação Gráfica II :: 15 de Agosto de 2013

Trabalhos Complementares - Xiao-Hui Wang et al.

Affective Image Colorization

Informações

I Ano: 2012I Autores: Xiao-Hui Wang, Jia Jia, Han-Yu

Liao & Lian-Hong CaiI Journal: Journal of Computer Science

and Technology - SpringerI Nov. 2012, Volume 27, No.6

O artigo em questão propõe um sistema completo de colorização e harmonização (de imagens intensidade) baseado em similaridades.

Michel Alves dos Santos: Laboratório de Computação Gráfica - LCG Pós-Graduação em Engenharia de Sistemas e Computação - PESC

Page 18: Color Harmonization

Universidade Federal do Rio de Janeiro - UFRJ - Campus Cidade Universitária - Rio de Janeiro - Ilha do Fundão, CEP: 21941-972 - COPPE/PESC/LCG

Color Harmonization :: Método de Recolorização Baseado em Agrupamentos Harmônicos :: Seminários de Computação Gráfica II :: 15 de Agosto de 2013

Conceito de Harmonização

Como podemos entender o conceito de Harmonização?

Harmonização é a propriedade que faz com que determinados conjuntos de coresdetenham uma relação interna especial que consiga prover uma percepção visual

agradável.

I Cores harmônicas são prazerosas aos olhos.I Esses conjuntos envolvem o observador humano e fornecem um sentido de

ordem e equilíbrio na experiência visual.

Michel Alves dos Santos: Laboratório de Computação Gráfica - LCG Pós-Graduação em Engenharia de Sistemas e Computação - PESC

Page 19: Color Harmonization

Universidade Federal do Rio de Janeiro - UFRJ - Campus Cidade Universitária - Rio de Janeiro - Ilha do Fundão, CEP: 21941-972 - COPPE/PESC/LCG

Color Harmonization :: Método de Recolorização Baseado em Agrupamentos Harmônicos :: Seminários de Computação Gráfica II :: 15 de Agosto de 2013

Conceito de Harmonização

Como podemos entender o conceito de Harmonização?

Harmonização é a propriedade que faz com que determinados conjuntos de coresdetenham uma relação interna especial que consiga prover uma percepção visual

agradável.

I Cores harmônicas são prazerosas aos olhos.I Esses conjuntos envolvem o observador humano e fornecem um sentido de

ordem e equilíbrio na experiência visual.

Michel Alves dos Santos: Laboratório de Computação Gráfica - LCG Pós-Graduação em Engenharia de Sistemas e Computação - PESC

« Porém, como encontrar o conjunto de cores mais harmonioso? »

Page 20: Color Harmonization

Universidade Federal do Rio de Janeiro - UFRJ - Campus Cidade Universitária - Rio de Janeiro - Ilha do Fundão, CEP: 21941-972 - COPPE/PESC/LCG

Color Harmonization :: Método de Recolorização Baseado em Agrupamentos Harmônicos :: Seminários de Computação Gráfica II :: 15 de Agosto de 2013

Colorização/Recolorização

Os processos de colorização e recolorização

A obtenção desses conjuntos harmônicos pode ser enfadonha devido devido aotedioso trabalho de colorização/recolorização.

Michel Alves dos Santos: Laboratório de Computação Gráfica - LCG Pós-Graduação em Engenharia de Sistemas e Computação - PESC

Page 21: Color Harmonization

Universidade Federal do Rio de Janeiro - UFRJ - Campus Cidade Universitária - Rio de Janeiro - Ilha do Fundão, CEP: 21941-972 - COPPE/PESC/LCG

Color Harmonization :: Método de Recolorização Baseado em Agrupamentos Harmônicos :: Seminários de Computação Gráfica II :: 15 de Agosto de 2013

Colorização/Recolorização

Os processos de colorização e recolorização

A obtenção desses conjuntos harmônicos pode ser enfadonha devido devido aotedioso trabalho de colorização/recolorização.

Michel Alves dos Santos: Laboratório de Computação Gráfica - LCG Pós-Graduação em Engenharia de Sistemas e Computação - PESC

É nesse momento que se fazem necessárias algumas abordagens mais inteligentes...

Page 22: Color Harmonization

Universidade Federal do Rio de Janeiro - UFRJ - Campus Cidade Universitária - Rio de Janeiro - Ilha do Fundão, CEP: 21941-972 - COPPE/PESC/LCG

Color Harmonization :: Método de Recolorização Baseado em Agrupamentos Harmônicos :: Seminários de Computação Gráfica II :: 15 de Agosto de 2013

Colorização/Recolorização

Os processos de colorização e recolorização

A obtenção desses conjuntos harmônicos pode ser enfadonha devido devido aotedioso trabalho de colorização/recolorização.

Michel Alves dos Santos: Laboratório de Computação Gráfica - LCG Pós-Graduação em Engenharia de Sistemas e Computação - PESC

Page 23: Color Harmonization

Universidade Federal do Rio de Janeiro - UFRJ - Campus Cidade Universitária - Rio de Janeiro - Ilha do Fundão, CEP: 21941-972 - COPPE/PESC/LCG

Color Harmonization :: Método de Recolorização Baseado em Agrupamentos Harmônicos :: Seminários de Computação Gráfica II :: 15 de Agosto de 2013

Colorização/Recolorização

Os processos de colorização e recolorização

A obtenção desses conjuntos harmônicos pode ser enfadonha devido devido aotedioso trabalho de colorização/recolorização.

Michel Alves dos Santos: Laboratório de Computação Gráfica - LCG Pós-Graduação em Engenharia de Sistemas e Computação - PESC

Tais como, as Técnicas de Harmonização!

Page 24: Color Harmonization

Universidade Federal do Rio de Janeiro - UFRJ - Campus Cidade Universitária - Rio de Janeiro - Ilha do Fundão, CEP: 21941-972 - COPPE/PESC/LCG

Color Harmonization :: Método de Recolorização Baseado em Agrupamentos Harmônicos :: Seminários de Computação Gráfica II :: 15 de Agosto de 2013

Técnicas de Harmonização

Veremos a técnica de Harmonização de Cores proposta porCohen-Or et al.

Michel Alves dos Santos: Laboratório de Computação Gráfica - LCG Pós-Graduação em Engenharia de Sistemas e Computação - PESC

Page 25: Color Harmonization

Universidade Federal do Rio de Janeiro - UFRJ - Campus Cidade Universitária - Rio de Janeiro - Ilha do Fundão, CEP: 21941-972 - COPPE/PESC/LCG

Color Harmonization :: Método de Recolorização Baseado em Agrupamentos Harmônicos :: Seminários de Computação Gráfica II :: 15 de Agosto de 2013

Técnica de Harmonização - Diagrama

Diagrama simplificado da técnica proposta por Cohen-Or et al.

O método proposto envolve:I Conversão de sistemas de cores, extração e manipulação de histogramas de

matiz (hue), rotulação de pixels e minimização de distâncias entre esquemas ehistogramas extraídos. Tal técnica possui várias aplicações práticas...

Michel Alves dos Santos: Laboratório de Computação Gráfica - LCG Pós-Graduação em Engenharia de Sistemas e Computação - PESC

Page 26: Color Harmonization

Universidade Federal do Rio de Janeiro - UFRJ - Campus Cidade Universitária - Rio de Janeiro - Ilha do Fundão, CEP: 21941-972 - COPPE/PESC/LCG

Color Harmonization :: Método de Recolorização Baseado em Agrupamentos Harmônicos :: Seminários de Computação Gráfica II :: 15 de Agosto de 2013

Técnica de Harmonização - Diagrama

Diagrama simplificado da técnica proposta por Cohen-Or et al.

O método proposto envolve:I Conversão de sistemas de cores, extração e manipulação de histogramas de

matiz (hue), rotulação de pixels e minimização de distâncias entre esquemas ehistogramas extraídos. Tal técnica possui várias aplicações práticas...

Michel Alves dos Santos: Laboratório de Computação Gráfica - LCG Pós-Graduação em Engenharia de Sistemas e Computação - PESC

Page 27: Color Harmonization

Universidade Federal do Rio de Janeiro - UFRJ - Campus Cidade Universitária - Rio de Janeiro - Ilha do Fundão, CEP: 21941-972 - COPPE/PESC/LCG

Color Harmonization :: Método de Recolorização Baseado em Agrupamentos Harmônicos :: Seminários de Computação Gráfica II :: 15 de Agosto de 2013

Técnica de Harmonização - Diagrama

Diagrama simplificado da técnica proposta por Cohen-Or et al.

O método proposto envolve:I Conversão de sistemas de cores, extração e manipulação de histogramas de

matiz (hue), rotulação de pixels e minimização de distâncias entre esquemas ehistogramas extraídos. Tal técnica possui várias aplicações práticas...

Michel Alves dos Santos: Laboratório de Computação Gráfica - LCG Pós-Graduação em Engenharia de Sistemas e Computação - PESC

Page 28: Color Harmonization

Universidade Federal do Rio de Janeiro - UFRJ - Campus Cidade Universitária - Rio de Janeiro - Ilha do Fundão, CEP: 21941-972 - COPPE/PESC/LCG

Color Harmonization :: Método de Recolorização Baseado em Agrupamentos Harmônicos :: Seminários de Computação Gráfica II :: 15 de Agosto de 2013

Aplicações da Técnica

Aplicações da técnica proposta por Cohen-Or et al.

I Auxilia na escolha de paletas de cores que vão compor um cenário;I Auxilia na combinação de cores vindas de diferente fontes ou elementos;I Auxilia na harmonização de imagens advindas do processo de foto-composição.

A seguir, iremos conhecer um pouco mais sobre as etapas da técnica...

Michel Alves dos Santos: Laboratório de Computação Gráfica - LCG Pós-Graduação em Engenharia de Sistemas e Computação - PESC

Page 29: Color Harmonization

Universidade Federal do Rio de Janeiro - UFRJ - Campus Cidade Universitária - Rio de Janeiro - Ilha do Fundão, CEP: 21941-972 - COPPE/PESC/LCG

Color Harmonization :: Método de Recolorização Baseado em Agrupamentos Harmônicos :: Seminários de Computação Gráfica II :: 15 de Agosto de 2013

Aplicações da Técnica

Aplicações da técnica proposta por Cohen-Or et al.

I Auxilia na escolha de paletas de cores que vão compor um cenário;I Auxilia na combinação de cores vindas de diferente fontes ou elementos;I Auxilia na harmonização de imagens advindas do processo de foto-composição.

A seguir, iremos conhecer um pouco mais sobre as etapas da técnica...

Michel Alves dos Santos: Laboratório de Computação Gráfica - LCG Pós-Graduação em Engenharia de Sistemas e Computação - PESC

Page 30: Color Harmonization

Universidade Federal do Rio de Janeiro - UFRJ - Campus Cidade Universitária - Rio de Janeiro - Ilha do Fundão, CEP: 21941-972 - COPPE/PESC/LCG

Color Harmonization :: Método de Recolorização Baseado em Agrupamentos Harmônicos :: Seminários de Computação Gráfica II :: 15 de Agosto de 2013

Aplicações da Técnica

Aplicações da técnica proposta por Cohen-Or et al.

I Auxilia na escolha de paletas de cores que vão compor um cenário;I Auxilia na combinação de cores vindas de diferente fontes ou elementos;I Auxilia na harmonização de imagens advindas do processo de foto-composição.

A seguir, iremos conhecer um pouco mais sobre as etapas da técnica...

Michel Alves dos Santos: Laboratório de Computação Gráfica - LCG Pós-Graduação em Engenharia de Sistemas e Computação - PESC

Page 31: Color Harmonization

Universidade Federal do Rio de Janeiro - UFRJ - Campus Cidade Universitária - Rio de Janeiro - Ilha do Fundão, CEP: 21941-972 - COPPE/PESC/LCG

Color Harmonization :: Método de Recolorização Baseado em Agrupamentos Harmônicos :: Seminários de Computação Gráfica II :: 15 de Agosto de 2013

Espaço de Cores HSV

Conversão para o espaço de cores HSV

I Dimensões perceptualmente mais significativas;I HSV = Hue, Saturation and Value (Intensity)

Michel Alves dos Santos: Laboratório de Computação Gráfica - LCG Pós-Graduação em Engenharia de Sistemas e Computação - PESC

Page 32: Color Harmonization

Universidade Federal do Rio de Janeiro - UFRJ - Campus Cidade Universitária - Rio de Janeiro - Ilha do Fundão, CEP: 21941-972 - COPPE/PESC/LCG

Color Harmonization :: Método de Recolorização Baseado em Agrupamentos Harmônicos :: Seminários de Computação Gráfica II :: 15 de Agosto de 2013

Hue Histogram

Extração do histograma de matiz

I Para analisar a harmonia de uma imagem de entrada X devemos analisar seuhistograma de matiz;

I Cada pixel p ∈ X contribui com a saturação S(p) e a matiz H(p).

Michel Alves dos Santos: Laboratório de Computação Gráfica - LCG Pós-Graduação em Engenharia de Sistemas e Computação - PESC

Page 33: Color Harmonization

Universidade Federal do Rio de Janeiro - UFRJ - Campus Cidade Universitária - Rio de Janeiro - Ilha do Fundão, CEP: 21941-972 - COPPE/PESC/LCG

Color Harmonization :: Método de Recolorização Baseado em Agrupamentos Harmônicos :: Seminários de Computação Gráfica II :: 15 de Agosto de 2013

Esquemas Harmônicos

Busca do esquema harmônico mais adequado

I Os gabaritos ou modelos harmônicos podem ser arbitrariamente rotacionados;I Um esquema harmônico é composto de um gabarito e uma rotação: Tm + α.I Os esquemas harmônicos são peças importantes na função de harmonização...

Michel Alves dos Santos: Laboratório de Computação Gráfica - LCG Pós-Graduação em Engenharia de Sistemas e Computação - PESC

Page 34: Color Harmonization

Universidade Federal do Rio de Janeiro - UFRJ - Campus Cidade Universitária - Rio de Janeiro - Ilha do Fundão, CEP: 21941-972 - COPPE/PESC/LCG

Color Harmonization :: Método de Recolorização Baseado em Agrupamentos Harmônicos :: Seminários de Computação Gráfica II :: 15 de Agosto de 2013

Função de Harmonização

Harmonia de uma determinada imagem X

A harmonia de uma imagem X em relação a um esquema (Tm, α) é dada por:

F(X, (Tm, α)) =∑p∈X

‖H(p)− ETm(α)(p)‖ · S(p)

I Onde H e S denotam os canais de matiz e saturação da imagem X ;I E ETm(α)(p) a borda do(s) setor(es) pertencente(s) ao esquema (Tm, α)

Michel Alves dos Santos: Laboratório de Computação Gráfica - LCG Pós-Graduação em Engenharia de Sistemas e Computação - PESC

Page 35: Color Harmonization

Universidade Federal do Rio de Janeiro - UFRJ - Campus Cidade Universitária - Rio de Janeiro - Ilha do Fundão, CEP: 21941-972 - COPPE/PESC/LCG

Color Harmonization :: Método de Recolorização Baseado em Agrupamentos Harmônicos :: Seminários de Computação Gráfica II :: 15 de Agosto de 2013

O Melhor Esquema Harmônico

Busca do esquema harmônico mais adequado

I Automaticamente computamos α que minimiza F(X, (Tm, α)) para cada Tm

I O Esquema mais apropriado é dado por: (Tm, α) = argminm,αF(X, (Tm, α))

Michel Alves dos Santos: Laboratório de Computação Gráfica - LCG Pós-Graduação em Engenharia de Sistemas e Computação - PESC

Page 36: Color Harmonization

Universidade Federal do Rio de Janeiro - UFRJ - Campus Cidade Universitária - Rio de Janeiro - Ilha do Fundão, CEP: 21941-972 - COPPE/PESC/LCG

Color Harmonization :: Método de Recolorização Baseado em Agrupamentos Harmônicos :: Seminários de Computação Gráfica II :: 15 de Agosto de 2013

O Processo de Harmonização

O processo de harmonização de uma imagem

I Dada a imagem X e o esquema harmônico mais apropriado (Tm, α)

I Iremos deslocar os valores de matiz para a região compreendida em (Tm, α)

I Este deslocamento irá obdecer a uma dada função de comportamento...

Michel Alves dos Santos: Laboratório de Computação Gráfica - LCG Pós-Graduação em Engenharia de Sistemas e Computação - PESC

Page 37: Color Harmonization

Universidade Federal do Rio de Janeiro - UFRJ - Campus Cidade Universitária - Rio de Janeiro - Ilha do Fundão, CEP: 21941-972 - COPPE/PESC/LCG

Color Harmonization :: Método de Recolorização Baseado em Agrupamentos Harmônicos :: Seminários de Computação Gráfica II :: 15 de Agosto de 2013

Deslocamento de Cores

Como é realizado o deslocamento de cores?

I O valor de matiz do pixel p é deslocado para o setor associado a ETm(α)(p);I A quantidade de compressão é controlada por uma função gaussiana de

decaimento (esse núcleo pode ser modificado para melhores resultados).

Michel Alves dos Santos: Laboratório de Computação Gráfica - LCG Pós-Graduação em Engenharia de Sistemas e Computação - PESC

Page 38: Color Harmonization

Universidade Federal do Rio de Janeiro - UFRJ - Campus Cidade Universitária - Rio de Janeiro - Ilha do Fundão, CEP: 21941-972 - COPPE/PESC/LCG

Color Harmonization :: Método de Recolorização Baseado em Agrupamentos Harmônicos :: Seminários de Computação Gráfica II :: 15 de Agosto de 2013

Deslocamento de Cores

Como é realizado o deslocamento de cores?

I O valor de matiz do pixel p é deslocado para o setor associado a ETm(α)(p);I A quantidade de compressão é controlada por uma função gaussiana de

decaimento (esse núcleo pode ser modificado para melhores resultados).

Michel Alves dos Santos: Laboratório de Computação Gráfica - LCG Pós-Graduação em Engenharia de Sistemas e Computação - PESC

Page 39: Color Harmonization

Universidade Federal do Rio de Janeiro - UFRJ - Campus Cidade Universitária - Rio de Janeiro - Ilha do Fundão, CEP: 21941-972 - COPPE/PESC/LCG

Color Harmonization :: Método de Recolorização Baseado em Agrupamentos Harmônicos :: Seminários de Computação Gráfica II :: 15 de Agosto de 2013

Superando Problemas de Segmentação

Como superar problemas de segmentação de regiões?

I A maioria dos problemas de segmentação para o método proposto ocorremdevido a medidas equidistantes de bordas dos setores de um esquema, quefazem com que valores de matiz sejam deslocados erroneamente.

Michel Alves dos Santos: Laboratório de Computação Gráfica - LCG Pós-Graduação em Engenharia de Sistemas e Computação - PESC

Page 40: Color Harmonization

Universidade Federal do Rio de Janeiro - UFRJ - Campus Cidade Universitária - Rio de Janeiro - Ilha do Fundão, CEP: 21941-972 - COPPE/PESC/LCG

Color Harmonization :: Método de Recolorização Baseado em Agrupamentos Harmônicos :: Seminários de Computação Gráfica II :: 15 de Agosto de 2013

Superando Problemas de Segmentação

Como superar problemas de segmentação de regiões?

I A maioria dos problemas de segmentação para o método proposto ocorremdevido a medidas equidistantes de bordas dos setores de um esquema, quefazem com que valores de matiz sejam deslocados erroneamente.

Michel Alves dos Santos: Laboratório de Computação Gráfica - LCG Pós-Graduação em Engenharia de Sistemas e Computação - PESC

Page 41: Color Harmonization

Universidade Federal do Rio de Janeiro - UFRJ - Campus Cidade Universitária - Rio de Janeiro - Ilha do Fundão, CEP: 21941-972 - COPPE/PESC/LCG

Color Harmonization :: Método de Recolorização Baseado em Agrupamentos Harmônicos :: Seminários de Computação Gráfica II :: 15 de Agosto de 2013

Superando Problemas de Segmentação

Como superar problemas de segmentação de regiões?

I Para fazer com que a colorização/recolorização seja mais coerente, os autores,usam uma técnica de otimização de rotulação de pixels associados: graph-cutotimization. Para maiores informações consultar [Boykov and Jolly, 2001]

Michel Alves dos Santos: Laboratório de Computação Gráfica - LCG Pós-Graduação em Engenharia de Sistemas e Computação - PESC

Page 42: Color Harmonization

Universidade Federal do Rio de Janeiro - UFRJ - Campus Cidade Universitária - Rio de Janeiro - Ilha do Fundão, CEP: 21941-972 - COPPE/PESC/LCG

Color Harmonization :: Método de Recolorização Baseado em Agrupamentos Harmônicos :: Seminários de Computação Gráfica II :: 15 de Agosto de 2013

Superando Problemas de Segmentação

Como superar problemas de segmentação de regiões?

I Para fazer com que a colorização/recolorização seja mais coerente, os autores,usam uma técnica de otimização de rotulação de pixels associados: graph-cutotimization. Para maiores informações consultar [Boykov and Jolly, 2001]

Michel Alves dos Santos: Laboratório de Computação Gráfica - LCG Pós-Graduação em Engenharia de Sistemas e Computação - PESC

Page 43: Color Harmonization

Universidade Federal do Rio de Janeiro - UFRJ - Campus Cidade Universitária - Rio de Janeiro - Ilha do Fundão, CEP: 21941-972 - COPPE/PESC/LCG

Color Harmonization :: Método de Recolorização Baseado em Agrupamentos Harmônicos :: Seminários de Computação Gráfica II :: 15 de Agosto de 2013

Resultados

Resultados da aplicação da técnica apresentada

I Escolha de cores e paletas;I Harmonização de planos de fundo;I Posters e demais peças publicitárias.

Michel Alves dos Santos: Laboratório de Computação Gráfica - LCG Pós-Graduação em Engenharia de Sistemas e Computação - PESC

Page 44: Color Harmonization

Universidade Federal do Rio de Janeiro - UFRJ - Campus Cidade Universitária - Rio de Janeiro - Ilha do Fundão, CEP: 21941-972 - COPPE/PESC/LCG

Color Harmonization :: Método de Recolorização Baseado em Agrupamentos Harmônicos :: Seminários de Computação Gráfica II :: 15 de Agosto de 2013

Resultados

Resultados da aplicação da técnica apresentada

I Escolha de cores e paletas;I Harmonização de planos de fundo;I Posters e demais peças publicitárias.

Michel Alves dos Santos: Laboratório de Computação Gráfica - LCG Pós-Graduação em Engenharia de Sistemas e Computação - PESC

Page 45: Color Harmonization

Universidade Federal do Rio de Janeiro - UFRJ - Campus Cidade Universitária - Rio de Janeiro - Ilha do Fundão, CEP: 21941-972 - COPPE/PESC/LCG

Color Harmonization :: Método de Recolorização Baseado em Agrupamentos Harmônicos :: Seminários de Computação Gráfica II :: 15 de Agosto de 2013

Conclusões

Conclusões a respeito dos tópicos apresentados e dotrabalho

O método proposto aperfeiçoa a harmonia deuma dada imagem.

Opera através do deslocamento de valores de matizpara uma determinada distribuição harmônica.

Especialmente útil para ‘cores artificiais’ ecomposição/combinação de imagens.

Michel Alves dos Santos: Laboratório de Computação Gráfica - LCG Pós-Graduação em Engenharia de Sistemas e Computação - PESC

Page 46: Color Harmonization

Universidade Federal do Rio de Janeiro - UFRJ - Campus Cidade Universitária - Rio de Janeiro - Ilha do Fundão, CEP: 21941-972 - COPPE/PESC/LCG

Color Harmonization :: Método de Recolorização Baseado em Agrupamentos Harmônicos :: Seminários de Computação Gráfica II :: 15 de Agosto de 2013

Conclusões

Conclusões a respeito dos tópicos apresentados e dotrabalho

O método proposto aperfeiçoa a harmonia deuma dada imagem.

Opera através do deslocamento de valores de matizpara uma determinada distribuição harmônica.

Especialmente útil para ‘cores artificiais’ ecomposição/combinação de imagens.

Michel Alves dos Santos: Laboratório de Computação Gráfica - LCG Pós-Graduação em Engenharia de Sistemas e Computação - PESC

Page 47: Color Harmonization

Universidade Federal do Rio de Janeiro - UFRJ - Campus Cidade Universitária - Rio de Janeiro - Ilha do Fundão, CEP: 21941-972 - COPPE/PESC/LCG

Color Harmonization :: Método de Recolorização Baseado em Agrupamentos Harmônicos :: Seminários de Computação Gráfica II :: 15 de Agosto de 2013

Conclusões

Conclusões a respeito dos tópicos apresentados e dotrabalho

O método proposto aperfeiçoa a harmonia deuma dada imagem.

Opera através do deslocamento de valores de matizpara uma determinada distribuição harmônica.

Especialmente útil para ‘cores artificiais’ ecomposição/combinação de imagens.

Michel Alves dos Santos: Laboratório de Computação Gráfica - LCG Pós-Graduação em Engenharia de Sistemas e Computação - PESC

Page 48: Color Harmonization

Universidade Federal do Rio de Janeiro - UFRJ - Campus Cidade Universitária - Rio de Janeiro - Ilha do Fundão, CEP: 21941-972 - COPPE/PESC/LCG

Color Harmonization :: Método de Recolorização Baseado em Agrupamentos Harmônicos :: Seminários de Computação Gráfica II :: 15 de Agosto de 2013

Videos Demonstrativos

Videos Demonstrativos das Técnicas Discutidas

PLAY FULLSCREEN

VIEW INSIDE

PLAY FULLSCREEN

VIEW INSIDE

Michel Alves dos Santos: Laboratório de Computação Gráfica - LCG Pós-Graduação em Engenharia de Sistemas e Computação - PESC

Page 49: Color Harmonization

Universidade Federal do Rio de Janeiro - UFRJ - Campus Cidade Universitária - Rio de Janeiro - Ilha do Fundão, CEP: 21941-972 - COPPE/PESC/LCG

Color Harmonization :: Método de Recolorização Baseado em Agrupamentos Harmônicos :: Seminários de Computação Gráfica II :: 15 de Agosto de 2013

Uma Último Questionamento...

Será que um dia seremos capazes de:

Captar e descrever o processo criativo e a sensibilidade de maneiraanalítica através de procedimentos reproduzíveis por máquinas?

Michel Alves dos Santos: Laboratório de Computação Gráfica - LCG Pós-Graduação em Engenharia de Sistemas e Computação - PESC

Page 50: Color Harmonization

Universidade Federal do Rio de Janeiro - UFRJ - Campus Cidade Universitária - Rio de Janeiro - Ilha do Fundão, CEP: 21941-972 - COPPE/PESC/LCG

Color Harmonization :: Método de Recolorização Baseado em Agrupamentos Harmônicos :: Seminários de Computação Gráfica II :: 15 de Agosto de 2013

Agradecimentos

Grato Pela Atenção!Michel Alves dos Santos - [email protected]

Michel Alves dos Santos: Laboratório de Computação Gráfica - LCG Pós-Graduação em Engenharia de Sistemas e Computação - PESC