Introdução à Classificação Introdução à Classificação ConceitualConceitual

Prof. Francisco de A. T. de Carvalhofatc@di.ufpe.br

Agrupamento (Clustering)Agrupamento (Clustering)Forma de aprendizagem de máquina não supervisionada

Dado: Um conjunto de objetos alguns critérios de agrupamento

Objetivo: Formar (encontrar) grupos (clusters) C1, C2, …, Ck, tal que o agrupamento obtido (ie, conjunto de grupos) é considerado de alta qualidade (talvez não otimo) em relação à qualidade dos critérios

Os metodos usuais de agrupamento são conhecidas como Taxinomia Numérica

Em Taxonomia Numerica, um objeto (individuo, observação) é descrito por p variáveis y1, yc, , yp

= (y1(), y2(), , yp())

Uma variável y (ou descritor) é uma funçãoy: D é o conjunto de observações y()

D é o domínio da variável y

As variáveis podem ser

quantitativascontínuas (ex, Peso, Altura)discretas (ex, numero de antenas, número de filhos)

qualitativas (ex, sexo, grau de instrução)binárias (ex, presença de asas)

com escala

nominal (ex, sexo (masculino, feminino)),ordinal (ex, Grau de instrução{primário, segundário,

superior})intervalar (ex, grau celsius)proporcional (ex, grau kelvin, idade)

Tabelas individuos variáveis

Nome Cobertura doCorpo

Cavidades doCoração

Temperaturado Corpo

Fertilização

mamífero pelos 4 regulada internapássaro penas 4 regulada interna

réptil pele seca 4 imperfeitas não regulada internaanfíbio pele úmida 3 não regulada externapeixe escamas 2 não regulada externa

Taxonomia Numerica:formar (encontrar) grupos (clusters) C1, C2, …, Ck, tal que dissimilaridade entre os objetos:

de um mesmo grupo tende a ser minimizada de grupos diferentes tende à ser maximizada

Um índice de dissimilaridade d é uma função

d: R+

(, ’) d(, ’)que satisfaz as seguintes propriedades a) , d (, ) = 0b) (, ’) , d(, ’) = d(’, ) (simetria)

Exemplos de índices de dissimilaridadeExemplos de índices de dissimilaridade

1,)()(),(

1

1

p

jbjajba yyd

a) Tabelas de variáveis quantitativas

b) Tabelas de variáveis binárias

a 1 0

b

1

0

x y

z w

wzyxzy

d ba ),(

Tipos de espaços de classificação (ie, estrutura a priori do espaço das Tipos de espaços de classificação (ie, estrutura a priori do espaço das observações)observações)

Seja Seja um conjunto de indivíduos à agrupar um conjunto de indivíduos à agrupar

PartiçãoPartição

Uma partição de Uma partição de é um conjunto de subconjuntos não vazios P = (P é um conjunto de subconjuntos não vazios P = (P11, , , , PPkk) de interseção vazia dois a dois e cuja união forma ) de interseção vazia dois a dois e cuja união forma

a) a) l l {1, {1, , k}, P, k}, Pll b) b) l,m l,m {1, {1, , k}, l , k}, l m, P m, Pll P Pmm = = c) c) ll P Pll = =

ObservaçõesObservações

**

* *

*

*

*

P1

P2

P3

**

* *

*

*

*

Partição

CoberturaCobertura

Uma cobertura de Uma cobertura de é um conjunto de subconjuntos não vazios P = (P é um conjunto de subconjuntos não vazios P = (P11, , , P, Pkk) cuja união forma ) cuja união forma

a) a) l l {1, {1, , k}, P, k}, Pll b) b) ll P Pll = =

* **

*

*

*

*

P1

P2

P3

* **

*

*

*

*

HierarquiaHierarquia

Seja H um conjunto de subconjuntos não vazios de Seja H um conjunto de subconjuntos não vazios de . H é uma hierarquia . H é uma hierarquia sese

a) a) H; H;b) b) , {, {} } H Hc) c) h, h h, h’’ H, tem-se: h H, tem-se: h h h’’ = = ou h ou h h h’’ ou h ou h’’ h h

* 7* 5

* 6 * 4

* 2

* 1

* 3

**

**

*

*

*

1 23 4 5 6 7

PiramidePiramide

Seja P um conjunto de subconjuntos não vazios de de Seja P um conjunto de subconjuntos não vazios de de . P é uma piramide . P é uma piramide sese

a) a) P; P;b) b) , {, {} } P Pc) c) h, h h, h’’ P, tem-se: h P, tem-se: h h h’’ = = ou h ou h h h’’ P Pd) Existe uma ordem d) Existe uma ordem tal que todo elemento de P seja um intervalo de tal que todo elemento de P seja um intervalo de

* 2* 1

* 3

1 23 4 5 6 7

* 7* 5

* 6 * 4

Em Taxonomia Numerica distingue-se tres grupos de métodosEm Taxonomia Numerica distingue-se tres grupos de métodos

Técnicas de OtimizaçãoTécnicas de Otimização

Objetivo: obter partição. Número de grupos sempre fornecido pelo usuárioObjetivo: obter partição. Número de grupos sempre fornecido pelo usuário

Técnicas hierarquicasTécnicas hierarquicas

Objetivo: obter uma hierarquia (ou uma piramide) Objetivo: obter uma hierarquia (ou uma piramide) Pode-se obter uma partição “cortando-se” a hierarquia em um determinado nível.Pode-se obter uma partição “cortando-se” a hierarquia em um determinado nível.

Técnicas de CoberturaTécnicas de Cobertura

Objetivo: obter grupos que eventualmente podem partilhar indivíduos.Objetivo: obter grupos que eventualmente podem partilhar indivíduos.

Abordagens para classificaçãoAbordagens para classificação

Agrupamento conceitual (intencional)• simbólico• híbrido (redes bayesianas)

Nebuloso (lógica fuzzy) Conexionista (redes neurais) Evolucionista (algoritmos genéticos) Estatística

IFCS

BCS SFC GfKlJCS

Congressos Bianuais da IFCS

Congressos anuais das Associações Nacionais

http://edfu.lis.uiuc.edu/~class/ifcs

CSNA•••

Agrupamento ConceitualAgrupamento Conceitual

Um grupo pode ser descrito em:Um grupo pode ser descrito em:

extensão (enumeração dos seus membros) ouextensão (enumeração dos seus membros) ouem compreensão (conjunto de propriedades que definem a pertinência de um em compreensão (conjunto de propriedades que definem a pertinência de um elemento à um grupo)elemento à um grupo)

Agrupamento não conceitual fornece:Agrupamento não conceitual fornece:

apenas descrição em extensão de cada grupo. apenas descrição em extensão de cada grupo. obtenção dos grupos leva em conta apenas as descrições dos individuos.obtenção dos grupos leva em conta apenas as descrições dos individuos.

Agrupamento conceitual fornece:Agrupamento conceitual fornece:também a descrição em compreensão (intencional) de cada grupo.também a descrição em compreensão (intencional) de cada grupo.formação dos grupos levam em consideração também a qualidade da descrição em formação dos grupos levam em consideração também a qualidade da descrição em compreensão de cada grupo compreensão de cada grupo

Agrupamento Conceitual funciona em 2 fases:Agrupamento Conceitual funciona em 2 fases:

agregação: agregação: encontrar grupos de um conjunto de individuos segundo uma estrutura encontrar grupos de um conjunto de individuos segundo uma estrutura considerada e um ou mais critérios fixadosconsiderada e um ou mais critérios fixados

caracterização: caracterização: determinar uma descrição (conceito) de cada um dos grupos determinar uma descrição (conceito) de cada um dos grupos obtidos na fase de agregaçãoobtidos na fase de agregação

Em aprendizagem caracterização = Em aprendizagem caracterização = aprendizagem à partir de exemplosaprendizagem à partir de exemplos

As 2 fases podem ser:As 2 fases podem ser:simultaneassimultaneassequênciadas (na maioria dos casos)sequênciadas (na maioria dos casos)

Geração de k AgrupamentosGeração de k Agrupamentosem competiçãoem competição

Iniciar com (Conjunto de Individuos)

Agrupamento 1Agrupamento k•••

{C11, …, C1m1} {Ck1, …, Ckmk}

Iniciar com um Agrupamento

•••

Geração de descrições conceituais em competição par o Agrupamento

{D1(C1), ... D1(C1m1) ... {Dn(C1), ... Dn(C1m1)

Tipos de abordagens em Agrupamento Conceitual:Tipos de abordagens em Agrupamento Conceitual:3 dimensões3 dimensões

Estrutura do espaço de observaçãoEstrutura do espaço de observação::partição, hierarquia, coberturapartição, hierarquia, cobertura

AlgoritmoAlgoritmo::incremental (incremental (FormaçãoFormação de Conceitos) ou batch ( de Conceitos) ou batch (DescobertaDescoberta de Conceitos) de Conceitos)

Linguagem de descriçãoLinguagem de descrição (representação do conhecimento): (representação do conhecimento):Logica de Atributos (ordem 0)Logica de Atributos (ordem 0)Logica de Predicados de 1a OrdemLogica de Predicados de 1a OrdemLogica de predicados de 2a OrdemLogica de predicados de 2a Ordem

Caracterização (descrição) dos grupos em lógica 0

Seja um conjunto de observações descritas por p atributos (variáveis) y1, …, yp cujos dominios são D1, …, Dp.

Um objeto simbólico a = [y1 A1] … [y1 Ap], onde

Ai Di, i {1, …, p}, expressa a condição “atributo y1 toma seus valores em A1 e … e atributo yp toma os seus valores em Ap

Pode-se associar à a uma função f: {1, 0} tal quefa() = 1 yi () Ai, i {1, …, p},

A extensão de a é definida como ext (a) = { / fa()=1}

Exemplo

variaveis Dominios

Cor

Tamanho

Forma

{azul, verm, verde}

{grande, medio, pequeno}

{esfera, bloco, triangulo}

Considere o seguinte objeto simbólico

a = [Cor {az,vm}] [Tam {g}] [Forma {e,b}]

a é uma generalização de qualquer conjunto de objetos cuja cor é azul ou vermelho, cujo tamanho é grande e cuja forma é esfera ou bloco

Da mesma forma, esta na extensão de a (é membro de a) sefa()=1, isto é, se sua cor é azul ou vermelha, seu tamanho é grande e sua forma é esfera ou bloco

Dizemos que um objeto simbolico a é uma generalização de um conjunto de individuos se , fa()=1

Sejam dois objetos simbólicos a = i [yi Ai] e b = i [yi Bi]. Diz-se que b < a se Bi Ai i. Nesse caso diz-se que a é mais geral do que b

e b é menos geral do que a

Diz-se que um objeto simbólico a é maximamente especifico de um conjunto de indivíduos se a é uma generalização de e não existe um outro objeto simbólico b generalização de tal que b < a

Sejam os individuos

1 = [Cor {az}] [Tam {g}] [Forma {e}]

2 = [Cor {az}] [Tam {m}] [Forma {e}]

3 = [Cor {az}] [Tam {p}] [Forma {b}]

Tres possíveis generalizações desses conjuntos pour um objeto simbolico

a = [Cor {az}] [Tam {g,m,p}] [Forma {e,b}]b = [Cor {az}] [Tam {g,m,p}] [Forma {e,b,t}]c = [Cor {az,vm,vd}] [Tam {g,m,p}] [Forma {e,b,t}]

c é mais geral do que b que é mais geral do que aa é maximamente especifico do conjunto de indivíduos acima.

Um objeto simbolico a é uma descrição discriminante de um conjunto 1 de individuos em relação à um outro conjunto 2 de individuos se a é uma generalização de 1 e não existe 2 tal que fa()=1

Um objeto simbólico a é uma descrição maximalmente discriminante de um conjunto 1 de indivíduos em relação à um outro conjunto 2 de indivíduos se a é uma descrição discriminante de 1 em relação à 2 e não existe um outro objeto b a) que seja uma descrição discriminante de 1 em relação à 2; b) que seja mais geral do que a (b > a)

ExemploGrupo 1(G1)1 = [Cor {az}] [Tam {l}] [Forma {e}]

Grupo 2 (G2)1 = [Cor {vm}] [Tam {l}] [Forma {b}]

1 = [Cor {vm}] [Tam {l}] [Forma {t}]

Descrições maximalmente discriminantes de G1 em relação à G2a = [Cor {az,vd}] [Tam {l,m,p}] [Forma {e,b,t}]b = [Cor {az,vm,vd}] [Tam {l,m,p}] [Forma {e}]

Descrições maximalmente discriminantes de G2 em relação à G1c = [Cor {vm,vd}] [Tam {l,m,p}] [Forma {e,b,t}]d = [Cor {az,vm,vd}] [Tam {l,m,p}] [Forma {b,t}]

Atribuição de descrições maximamente discriminantes aos Grupos 1 e 2

Descrições

disjuntas

Descrições

não disjuntas

Grupo1 Grupo 2

b = …[Forma {e}] d = …[Forma {b,t}]

a = [Cor {az,vd}] … c = [Cor {vm,vd}] …

a = [Cor {az,vd}] … d = …[Forma {b,t}]

b = …[Forma {e}] c = [Cor {vm,vd}] …

Em geral conjuntos disjuntos da mesma variável implicarão em descrições maximamente discriminantes de um grupo em relação à outros grupos

Algoritmo CLUSTER/2Algoritmo CLUSTER/2

Descoberta de Conceitos (em batch) Dois módulos

• Partição• Hieraráquico

Exemplo

Nome Cobertura doCorpo

Cavidades doCoração

Temperaturado Corpo

Fertilização

mamífero pelos 4 regulada internapássaro penas 4 regulada internaréptil pele seca 4 imperfeitas não regulada interna

Anfíbio-1 pele úmida 3 não regulada internaAnfibio-2 Pele-úmida 3 não regulada externa

Módulo partiçãoMódulo partição

Formando Agrupamentos inicias

Semente 1 Semente 2 Semente k

D11 D12 D1n1 D21D21 D2n2……

Encontrar descrições maximamente discriminantes

Atribuir os objetos à cada descrição Dij obtendo as classes Cij

C11C12

… C1n1 C21C21 … C2n2

• seleção de k(2) sementes aleatoriamente

Nome Cobertura doCorpo

Cavidades doCoração

Temperaturado Corpo

Fertilização

Semente 1 mamífero pelos 4 regulada internaSemente 2 réptil pele seca 4 imperfeitas não regulada interna

encontrar descrições maximamente discriminantes de cada um dos k (2) grupos à partir das sementes

a1=[Cobertura do Corpo={pelos, penas, pele úmida}]

a2= [Cavidades do Coração = {3, 4}]a3= [Temperatura do Corpo= {regulada}]

b1=[Cobertura do Corpo={penas, pele seca, pele úmida}]

b2= [Cavidades do Coração = {3, 4 imperfeitas}]

b3= [Temperatura do Corpo= {não regulada}]

Semente 1 Semente 2

• Atribuição dos objetos à cada descrição Dij obtendo as classes Cij

a2= [Cavidades do Coração = {3, 4}]

b2= [Cavidades do Coração = {3, 4 imperfeitas}]

Semente 1 Semente 2

G1=Ext(a2)={Mamífero, Pássaro, Anfíbio-1, Anfíbio-2}

G2=Ext(a2)={Réptil, Anfíbio-1, Anfíbio-2}

Obtendo descrições dos grupos

Tornando os grupos disjuntos

G1G2

G1={Mamífero, Pássaro} G2={Réptil}

Lista de exceções

{Anfíbio-1, Anfíbio-2}

• Obtendo descrições maximamente específicas de cada grupo

a2= [Cobertura do Corpo = {pelos, penas}] [Cavidades do Coração = {4}] [Temperatura do Corpo = {regulada}] [Fertilização = {interna}]

G1 = {Mamífero, Pássaro} G2 = {Réptil}

b2= [Cobertura do Corpo = {pele seca}] [Cavidades do Coração = {4 imperfeitas}] [Temperatura do Corpo = {não regulada}] [Fertilização = {interna}]

a1= [Cobertura do Corpo = {pelos, penas,pele úmida}] [Cavidades do Coração = {3,4}] [Temperatura do Corpo = {regulada,não regulada}] [Fertilização = {interna}]

Agrupamento A (G1 + Anfíbio-1)

C1

C2

Agrupamento B (G2 + Anfíbio-1)

b1= [Cobertura do Corpo = {pele seca}] [Cavidades do Coração = {4 imperfeitas}] [Temperatura do Corpo = {não regulada}] [Fertilização = {interna}]

a2= [Cobertura do Corpo = {pelos, penas}] [Cavidades do Coração = {4}] [Temperatura do Corpo = {regulada}] [Fertilização = {interna}]

b2= [Cobertura do Corpo = {pele úmida, pele seca}] [Cavidades do Coração = {3,4 imperfeitas}] [Temperatura do Corpo = {não regulada}] [Fertilização = {interna}]

Inserindo o primeiro objetos da lista de exceções nos grupos e obtendo descrições maximamente específicas de cada grupo

Avaliação dos Agrupamentos obtidos em função da qualidade das descriçõesCritério: a) para cada par de descrições de agrupamentos diferentes calcula-se o número de variáveis cuja interseção é vazia; b) faz-se a soma para cada par; o agrupamento escolhido é aquele cuja soma é máxima

o Agrupamento B é selecionadoO segundo objeto da lista de exceções é inserido no agrupamento B

um processo semelhante ao descrito para a incorporação de anfíbio-1 é relizado

O processo descrito deve ser realizado para todas as 9 combinações de descrições maximamente discriminantes

Das 9 possibilidades, escolhe-se a melhor partição em dois grupos

Em seguida, novas sementes são selecionadas e o processo continua

O módulo hierárquico construi uma árvore de classificação Nessa árvore os arcos representam as descrições e nós a extensão de

cada grupo

Módulo Hierarquico

[Cobertura do Corpo = {pelos, penas}] [Cavidades do Coração = {4}] [Temperatura do Corpo = {regulada}] [Fertilização = {interna}]

[Cobertura do Corpo = {pele úmida, pele seca}] [Cavidades do Coração = {3,4 imperfeitas}] [Temperatura do Corpo = {não regulada}] [Fertilização = {interna, externa}]

{mamífero, pássaro, réptil, anfíbio-1, anfíbio-2}

{mamífero, pássaro} {réptil,anfíbio-1,anfíbio-2}

Classificação politética Construção de árvore de cima para baixo O módulo hierárquico usa o módulo partição como uma subrotina o módulo partição fornece partições de vários tamanhos (2, 3 e 4) e

seleciona a melhor O módulo hierárquico construi um nível da árvore de cada vez A construção da árvore finaliza quando a qualidade da partição obtida

no nível seguinte não é melhorada

Referências Fisher, D.H. and Langley, P. W., “ Methods of Conceptual Clustering

and their relation to Numerical Taxonomy”, Technical Report 85-26, University of California, Irvine, 1985

Fisher, D. H., “ Knowledg Acquisition via Incremental Conceptual Clustering”, Machine Leaning, Vol2, No. 2, pp. 139-172, 1987

Guenoche, ª , “Generalization and Conceptual Classification: Indices and Algorithms”, Proceedings of the Conference on Data Analysis, Learning symbolic and Numeric Knowledg, pp. 503-510, INRIA, Antibes, 1989

Kodratoff, Y. and Ganascia, J., “Improving the Generalization Step in Learning,” Chapter in the book, Machine Learning:An Artificial Intelligence Approach, R. S. Michalski, J.G. Carbonell and T.M. Mitchell (Eds.), TIOGA Publishing Co., PaloAlto, pp. 215-244, 1983.

Lebowitz, M., “Experiments with Incremental Concept Formulation: UNIMEN”, Machine Learning, Vol. 2, No. 2, pp. 103-138, 1987. Michalski, R. S., Stepp, R., and Diday, E., "A Recent Advance in Data

Analysis: Clustering Objects into Classes Characterized by Conjunctive Concepts," Chapter in the book Progress in Pattern Recognition, Vol. 1, L. Kanal and A. Rosenfeld (Editors), North-Holland, pp. 33-55, 1981

Michalski, R. S. and Stepp, R., "Learning from Observation: Conceptual Clustering," Chapter in the book, Machine Learning:An Artificial Intelligence Approach, R. S. Michalski, J.G. Carbonell and T.M. Mitchell (Eds.), TIOGA Publishing Co., PaloAlto, pp. 331-363, 1983.

Michalski, R.S. and Kaufman, K.A., "Data Mining and Knowledge Discovery: A Review of Issues and a Multistrategy Approach," Reports of the Machine Learning and Inference Laboratory, MLI 97-2, George Mason University, Fairfax, VA, 1997.