algoritmos para descoberta de conhecimento em bases de dados prof. luis otavio alvares ii/ufrgs
TRANSCRIPT
ALGORITMOS para Descoberta de Conhecimento em Bases de Dados
prof. Luis Otavio Alvares
II/UFRGS
Sumário
Regras de associação: Apriori Classificação: ID3, C4.5 Formação de agrupamentos: k-médias Detecção de desvios
Regras de Associação
Regras de associação
Regras de associação ou regras associativas têm a forma
{X1, X2, ..., Xn} Y
significando que se encontrarmos todos os itens X1, X2, ..., Xn
numa transação, então temos uma boa chance de encontrar também Y.
dada a regra de associação X Y
X implica Y
se X então Y
se compra X então compra Y
define-se
suporte = Número de registros com X e Y
Número total de registros
confiança = Número de registros com X e Y
Número de registros com X
AIS SETM
Apriori Apriori -TID
Apriori-Hybrid Dense – Miner
MiRABIT
Algoritmos de Regras de Associação
(1) Dado um limiar de suporte minsup, no primeiro passo encontre os itens que aparecem ao menos numa fração das transações igual a minsup. Este conjunto é chamado L1, dos itens freqüentes.
(2) Os pares dos itens em L1 se tornam pares candidatos C2 para o segundo passo. Os pares em C2 cuja contagem alcançar minsup são os pares freqüentes L2.
(3) As trincas candidatas C3 são aqueles conjuntos {A, B, C} tais que todos os {A, B}, {A, C} e {B, C} estão em L2. No terceiro passo, conte a ocorrência das trincas em C3; aquelas cuja contagem alcançar minsup são as trincas freqüentes, L3.
(4) Proceda da mesma forma para tuplas de ordem mais elevada, até os conjuntos se tornarem vazios. Li são os conjuntos freqüentes de tamanho i; Ci+1 é o conjunto de tamanho i+1 tal que cada subconjunto de tamanho i está em Li.
Algoritmo Apriori
Dada a tabela abaixo onde cada registro corresponde a uma transação de um cliente, com itens assumindo valores binários (sim/não), indicando se o cliente comprou ou não o respectivo item, descobrir todas as regras associativas, determinando o seu suporte (sup) e grau de certeza (conf).
Exemplo de descoberta de regras associativas
TID leite café cerveja pão manteiga arroz feijão1 não sim não sim sim não não2 sim não sim sim sim não não3 não sim não sim sim não não4 sim sim não sim sim não não5 não não sim não não não não6 não não não não sim não não7 não não não sim não não não8 não não não não não não sim9 não não não não não sim sim
10 não não não não não sim não
(1) Calcular o suporte de conjuntos com um item.
Determinar os itens freqüentes com sup 0,3.
(2) Calcular o suporte de conjuntos com dois itens.
Determinar conjuntos de itens freqüentes com sup 0,3.
Obs: se um item não é freqüente em (1), pode ser ignorado aqui.
Descobrir as regras com alto fator de certeza.
(3) Calcular o suporte de conjuntos com três itens.
Determinar conjuntos de itens freqüentes com sup 0,3.
Obs: pelo mesmo motivo anterior, só é necessário se considerar conjuntos de itens que são freqüentes pelo passo anterior.
Descobrir regras com alto fator de certeza.
Dada uma regra de associação “Se compra X então compra Y”, os fatores sup e conf são:
sup = Número de registros com X e Y
Número total de registros
conf = Número de registros com X e Y
Número de registros com X
Conjunto de itens suporte{leite} 2{café} 3
{cerveja} 2{pão} 5
{manteiga} 5{arroz} 2{feijão} 2
Conjunto de itens suporte{café} 3{pão} 5
{manteiga} 5
C1
L1
C2 , L2
C3, L3
Conjunto de itens suporte{café, pão} 3
{café, manteiga} 3{pão, manteiga} 4
Conjunto de itens suporte{café, pão, manteiga} 3
Regras candidatas com dois itens com o seu valor de certeza:
Conjunto de itens: {café, pão}
Se café Então pão conf = 1,0
Se pão Então café conf = 0,6
Conjunto de itens: {café, manteiga}
Se café Então manteiga conf = 1,0
Se manteiga Então café conf = 0,6
Conjunto de itens: {pão, manteiga}
Se pão Então manteiga conf = 0,8
Se manteiga Então pão conf = 0,8
Regras candidatas com três itens com o seu valor de certeza:
Conjunto de itens: {café, manteiga, pão}
Se café, manteiga Então pão conf = 1,0
Se café, pão Então manteiga conf = 1,0
Se manteiga, pão Então café conf = 0,75
Se café Então manteiga, pão conf = 1,0
Se manteiga Então café, pão conf = 0,6
Se pão Então café, manteiga conf = 0,6
Padrões descobertos, minsup = 0,3 e minconf = 0,8:
Se café Então pão conf = 1,0
Se café Então manteiga conf = 1,0
Se pão Então manteiga conf = 0,8
Se manteiga Então pão conf = 0,8
Se café, manteiga Então pão conf = 1,0
Se café, pão Então manteiga conf = 1,0
Se café Então manteiga, pão conf = 1,0
portanto, suporte e confiança são usados como filtros, para diminuir o número de regras geradas
mas, se considerarmos a regra
Se A então B com confiança de 90%
podemos garantir que seja uma regra interessante?
LIFT
a regra (1) Se A então B com confiança de 90% NÃO é interessante se B aparece em cerca de 90% das
transações, pois a regra não acrescentou nada em termos de conhecimento.
já a regra (2): Se C então D com confiança de 70% e´ muito mais importante se D aparece, digamos, em 10% das transações.
lift = confiança da regra / suporte do conseqüente
lift da regra (1) = 0,9 / 0,9 = 1
lift da regra (2) = 0,7 / 0,1 = 7
Improvement
Foi proposto para diminuir o número de regras geradas, utilizando o princípio de que uma regra mais simples é uma regra melhor, desde que a regra mais complexa ou mais longa tenha confiança menor ou igual do que a regra mais simples ou menor.
Exemplos
78,78% das cirurgias múltiplas são realizadas em pessoas do sexo masculino. Esta regra se mostra interessante, pois a concentração para o sexo masculino não condiz com a realidade da base de dados que na sua maioria é do sexo feminino. Ao se estudar esta regra foi encontrada além da relação do procedimento com o sexo masculino também com a faixa etária de 0 a 9 anos. Não foram encontradas razões, dentro dos atributos da base de dados, que justificassem a concentração deste procedimento neste sexo e faixa etária. Esta situação foi encaminhada para o setor de avaliação e controle para um melhor estudo.
80,45% das herniorrafias inguinais (unilateral) múltiplas são realizadas em pessoas do sexo masculino. Estudando mais profundamente foi verificado que este procedimento estava concentrado em crianças de 0 a 4 anos, caracterizando um erro de nomenclatura nos procedimentos, pois nesta idade um procedimento de urologia muito comum é o tratamento da hidrocele comunicante muito parecido com a herniorrafia inguinal. Foram tomadas medidas para que tal procedimento fosse registrado de forma correta pelos hospitais, pois a herniorrafia inguinal pode levar a uma internação de urgência ou emergência, aumentado seu custo, já o tratamento da hidrocele comunicante é um procedimento eletivo.
Exemplo: Conhecer o perfil do cliente associado com as compras que o mesmo faz na loja
Regras geradas:
6.CASAAPTO=CASA SEXO=F 1036 ==> RESIDPROPALUG=PROPRIA 1033 conf:(1) 22.ESTADOCIVIL=CASADO 2330 ==> RESIDPROPALUG=PROPRIA 2243 conf:(0.96) 39.NODEFILHOS=0 1061 ==> CASAAPTO=CASA 1017 conf:(0.96) 98.ESTADOCIVIL=CASADO SEXO=M 1390 ==> CASAAPTO=CASA 1279 conf:(0.92)176.SEXO=F 1369 ==> RESIDPROPALUG=PROPRIA 1164 conf:(0.85) 5.ESTADOCIVIL=SOLTEIRO BAIRRO=BELA_VISTA RESIDPROPALUG=ALUGADA 282 ==> MORAQTTEMPO=1 282 conf:(1) 11.ESTADOCIVIL=VIUVO OBJCOMPRA=CONSTR_PREDIO/APTO/CASA_PROPRIA 200 ==> CASAAPTO=APTO 200 conf:(1) 13.ESTADOCIVIL=VIUVO RESIDPROPALUG=ALUGADA 192 ==> CASAAPTO=APTO 192 conf:(1) 37.PRIMEIRAVEZ=NAO FAIXETFILHO=SEM_FILHOS SEXO=M 700 ==> CASAAPTO=CASA 697 conf:(1) 67.BAIRRO=CENTRO SEXO=F 811 ==> PRIMEIRAVEZ=NAO 798 conf:(0.98) 69.ESTADOCIVIL=CASADO OBJCOMPRA=REFORMA_EM_CASA 840 ==> RESIDPROPALUG=PROPRIA 819 conf:(0.98) 13.ESTADOCIVIL=CASADO FAIXETFILHO=ADULTO 819 ==> RESIDPROPALUG=PROPRIA 819 conf:(1) 16.FAIXETFILHO=SEM_FILHOS BAIRRO=BELA_VISTA MORAQTTEMPO=1 282 ==> ESTADOCIVIL=SOLTEIRO 282 conf:(1)384.ESTADOCIVIL=SOLTEIRO BAIRRO=BELA_VISTA 331 ==> FAIXETFILHO=SEM_FILHOS 327 conf:(0.99) 79.FAIXETFILHO=ADULTO RESIDPROPALUG=ALUGADA SEXO=F 192 ==> CASAAPTO=APTO 192 conf:(1)379.OBJCOMPRA=REFORMA_EM_CASA 993 ==> RESIDPROPALUG=PROPRIA 957 conf:(0.96) 17.SUBCATEGPRODUTO=ROLO_PARA_PINTURA 41 ==> OBJCOMPRA=REFORMA_EM_CASA 22 conf:(0.54) 9.PRIMEIRAVEZ=SIM SEXO=F 84 ==> FAIXETFILHO=SEM_FILHOS 71 conf:(0.85) 34.PRIMEIRAVEZ=SIM 343 ==> SEXO=M 259 conf:(0.76) 35.SUBCATEGPRODUTO=LUVA 96 ==> SEXO=M 72 conf:(0.75) 41.SUBCATEGPRODUTO=ADAPTADOR 30 ==> SEXO=M 22 conf:(0.73) 44.FAIXETFILHO=ADULTO SUBCATEGPRODUTO=REJUNTE 28 ==> SEXO=F 20 conf:(0.71) 46.SUBCATEGPRODUTO=CHUVEIRO 38 ==> SEXO=M 27 conf:(0.71) 47.SUBCATEGPRODUTO=REDUCAO 27 ==> SEXO=M 19 conf:(0.7) 52.SEXO=F SUBCATEGPRODUTO=PISO 31 ==> FAIXETFILHO=ADULTO 21 54.SUBCATEGPRODUTO=TOMADA 70 ==> SEXO=M 47 conf:(0.67) 56.SUBCATEGPRODUTO=FITA_VEDA_ROSCA 30 ==> SEXO=M 20 conf:(0.67) 72.FAIXETFILHO=ADULTO 1136 ==> SEXO=F 705 conf:(0.62)269.SUBCATEGPRODUTO=LUVA 96 ==> SEXO=M 72 conf:(0.75)344.FAIXETFILHO=CRIANCA 765 ==> SEXO=M 487 conf:(0.64)386.SUBCATEGPRODUTO=PISO 74 ==> SEXO=M 43 conf:(0.58) 88.PRIMEIRAVEZ=NAO 3065 ==> SEXO=F 1285 conf:(0.42)226.SUBCATEGPRODUTO=PISO 74 ==> RESIDPROPALUG=PROPRIA 60 conf:(0.81)
Classificação: árvores de decisão
Árvore de decisão
montante
médio baixo alto
contasalário
baixo alto não sim
E=simE=não E=não E=sim
E=sim
Árvores de Decisão
As árvores de decisão são representações gráficas que consistem:
de nodos que representam os atributos; de arcos que correspondem ao valor de um
atributo; de nodos folha que designam uma classificação.
Árvores de decisão
As árvores de decisão: particionam recursivamente um conjunto de
dados, até que cada subconjunto obtido deste particionamento contenha casos de uma única classe;
organizam dados de maneira compacta; classificam novos casos.
Exemplo:
caso montante idade salário conta empréstimo 1 médio sênior baixo sim não 2 médio sênior baixo não não 3 baixo sênior baixo sim sim 4 alto média baixo sim sim 5 alto jovem alto sim sim 6 alto jovem alto não não 7 baixo jovem alto não sim 8 médio média baixo sim não 9 médio jovem alto sim sim 10 alto média alto sim sim 11 médio média alto não sim 12 baixo jovem baixo não sim 13 baixo sênior alto sim sim 14 alto média baixo não não
Algoritmo ID3 [Quinlan 86]
Passos para construção de uma árvore de decisão:1. Seleciona um atributo como sendo o nodo raiz ;
2. Arcos são criados para todos os diferentes valores do atributo selecionado no passo 1;
3. Se todos os exemplos de treinamento sobre uma folha pertencerem a uma mesma classe, esta folha recebe o nome da classe. Se todas as folhas possuem uma classe, o algoritmo termina;
4. Senão, o nodo é determinado com um atributo que não ocorra no trajeto da raiz, e arcos são criados para todos os valores. O algoritmo retorna ao passo 3.
Algoritmo ID3
EntropiaEntropia
Quantidade necessária de informação para identificar a classe de um caso
Entropia(S) = -(p1 log 2 p1 + p2 log 2 p2 + ...+ pn log 2 pn )
sendo n o número de valores possíveis da classe
Ganho de informaçãoGanho de informação
Redução esperada da entropia Ganho (S, A) = Entropia(S) - ((|Sv| / |S|)*Entropia(Sv))onde Sv é um subconjunto de S correspondente a um valor do atributo A
Entropia e Ganho de Informação
Considerando apenas 2 valores possíveis, a entropia é dada pela fórmula:
Entropia (S) = - (p+ log2 p+ + p- log2 p-)
Onde:
S é a totalidade de amostras do conjunto
p+ é a proporção de amostras positivas
p- é a proporção de amostras negativas
Exemplo:
Se S é uma coleção de 14 exemplos com 9 instâncias positivas e 5 negativas, então:
Entropia (S) = - (9/14) Log 2 (9/14) – (5/14) Log 2 (5/14) = 0.940
Ganho de Informação
O ganho de informação é dado por:Gain (S, A) = Entropia (S) - ((|Sv| / |S|) * Entropia (Sv))
Onde: Gain (S, A) é o ganho do atributo A sobre o conjunto SSv = subconjunto de S para um valor do atributo A|Sv| = número de elementos de Sv|S| = número de elementos de S
Nodo raiz
Selecionando o melhor atributo:
Entropia(S) = - 9/14 log2 (9/14) - 5/14 log 2 (5/14) = 0,940
caso montante idade salário conta empréstimo1 médio sênior baixo sim não2 médio sênior baixo não não3 baixo sênior baixo sim sim4 alto média baixo sim sim5 alto jovem alto sim sim6 alto jovem alto não não7 baixo jovem alto não sim8 médio média baixo sim não9 médio jovem alto sim sim10 alto média alto sim sim11 médio média alto não sim12 baixo jovem baixo não sim13 baixo sênior alto sim sim14 alto média baixo não não
Entropia(montante=médio) = - 2/5 log2 (2/5) - 3/5 log 2 (3/5) = 0,971
Entropia(montante=baixo) = - 4/4 log2 (4/4) - 0/4 log2 (0/4) = 0
Entropia(montante=alto) = - 3/5 log2 (3/5) - 2/5 log2 (2/5) = 0,971
Gain (S,montante) = 0,940 - (5/14) 0,971 - (4/14) 0 - (5/14) 0,971 = 0,246
Gain (S,idade) = 0,940 - (4/14) 1 - (5/14) 0,971 - (5/14) 0,722 = 0,049
Gain (S,salário) = 0,940 - (7/14) 0,592 - (7/14) 0,985 = 0,151
Gain (S,conta) = 0,940 - (8/14) 0,811 - (6/14) 1 = 0,047
Escolha do próximo atributo
Qual atributo pode ser testado aqui?
montante
médio baixo alto
?? sim
{C1,C2,...C14}[9+, 5-]
{C1,C2,C8,C9,C11}[2+, 3-]
{C3,C7,C12,C13}[4+, 0-]
{C4,C5,C6,C10,C14}[3+, 2-]
Escolha o próximo atributo
Qual é o melhor atributo?
Smédio = {C1,C2,C8,C9,C11}
Gain (Smédio, idade) = 0,971 - (2/5)0 - (2/5)1 - (1/5)0 = 0,571
Gain (Smédio, salário) = 0,971 - (3/5)0 - (2/5)0 = 0,971
Gain (Smédio, conta) = 0,971 - (3/5)0,918 - (2/5)1= 0,020
montante
médio baixo alto
?salário sim
{C1,C2,...C14}[9+, 5-]
{C1,C2,C8,C9,C11}[2+, 3-]
{C3,C7,C12,C13}[4+, 0-]
{C4,C5,C6,C10,C14}[3+, 2-]
baixo alto
{C1,C2,C8}[0+, 3-]
{C9,C11}[2+, 0-]
Resultado
montante
médio baixo alto
contasalário
baixo alto não sim
E=simE=não E=não E=sim
E=sim
Avaliação da árvore de decisão
Avaliação através da taxa de acertos/erros: taxa_de_acertos = Nacertos / Ntotal taxa_de_erros = Nerros / Ntotal
Utilizando o conjunto de treinamento: proporção_de_acertos = 14 / 14 = 100% proporção_de_erros = 0 / 14 = 0%
Conjunto de teste
caso montante idade salário conta empréstimo empréstimo(predito)
15 médio sênior alto sim sim sim 16 médio sênior alto não não sim 17 baixo jovem alto sim sim sim 18 baixo sênior alto não não sim 19 alto média alto não não não 20 alto jovem alto sim sim sim 21 médio jovem alto sim sim sim
Proporção de acertos/erros
Utilizando o conjunto de teste: proporção_de_acertos = Nacertos / Ntotal
proporção_de_acertos = 5 / 7 = 71,4%
proporção_de_erros = Nerros / Ntotal
proporção_de_erros = 2 / 7 = 28,6%
Algoritmo C4.5 [Quinlan 93]
O algoritmo C4.5 possibilita: trabalhar com valores contínuos trabalhar com valores indisponíveis podar árvores de decisão derivar regras
Atributos com valores contínuos
caso montante Idade salário conta empréstimo1 médio sênior 780 sim não2 médio sênior 980 não não3 baixo sênior 860 sim sim4 alto média 760 sim sim5 alto jovem 1250 sim sim6 alto jovem 3210 não não7 baixo jovem 4560 não sim8 médio média 990 sim não9 médio jovem 1250 sim sim10 alto média 6780 sim sim11 médio média 8900 não sim12 baixo jovem 670 não sim13 baixo sênior 567 sim sim14 alto média 670 não não
Atributos com valores contínuos
Envolve o seguinte teste:atributo <= valor ou atributo > valor
e os seguintes passos: ordenar os valores de forma crescente (670, 760, ... 8900)
selecionar o valor que favorecerá na redução da informação necessária (990)
Atributos com valores contínuos
Considerando o teste:
salário <= 990 ou salário > 990
obtemos a árvore:
montante
médio baixo alto
contasalário
não sim não sim
sim
< = 990 > 990 não sim
Poda de árvores de decisão
A poda de uma árvore de decisão é realizada: considerando a taxa de erros substituindo uma subárvore por um nodo folha
Derivação de regras
se (montante = médio) e (salário = baixo) então empréstimo = não
se (montante = médio) e (salário = alto) então empréstimo = sim
se (montante = baixo) então empréstimo = sim
...
montante
médio baixo alto
contasalário
não sim não sim
sim
baixo alto não sim
Detecção de desvios
Desvios: árvores de decisão
dados que não se enquadram no modelo pré-definido
Desvios: formação de agrupamentos
agrupamentos com um número pequeno de casos
Desvios: regras de associação
se tenho uma regra do tipo
X Y
com grau de confiança de 98%, podemos considerar os 2% restantes como desvio
Desvios: estatística
análise univariada: usada para atributos isolados
se o atributo for numérico, pode-se utilizar o desvio padrão
Numa distribuição normal N (,2) onde é a média e 2 a variância podemos considerar desvio os valores que estão a 3
ou mais desvios-padrão da média, para mais ou para menos
Desvios: estatística
Análise multivariada: para análise de mais de uma variável
regressão linear (para dados numéricos)
qui-quadrado (para dados categóricos)
análise de correspondência (para dados categóricos)
análise de resíduos em tabelas de contingência (para dados categóricos)
Formação de agrupamentos
Exemplos
Objetivo : Conhecer o perfil do cliente que compra na loja
Cluster 0
51,82% da população - perfil de um consumidor casado, com residência própria, predominantemente em casas contra uma pequena parcela que reside em apartamentos, que já fez mais de uma compra na loja, dividindo-se quase que igualmente entre homens e mulheres.
Objetivo : Conhecer o perfil do cliente que compra na loja
Cluster 1
17,15% da população - clientes sem filhos, solteiros, que residem em casas próprias, sendo a maioria cliente antigo; 47% com estado civil casado estão, na sua grande maioria, casados a menos de 1 ano.
Objetivo : Conhecer o perfil do cliente que compra na loja
Cluster 3
14,60% da população - clientes do sexo feminino, com filhos adultos, com idade dos 50 aos 65 anos em sua maioria, residindo a maior parte em casas mas com um número relativamente grande morando em apartamentos (25%), todos com residência própria, e que também já compraram mais de uma vez na loja; o bairro, para 60% dos casos, é “CENTRO”.
Objetivo : Conhecer o perfil do cliente que compra na loja
Cluster 4
9,49% dos casos - pessoas que moram em residências alugadas, sem filhos ou com filhos pequenos, a maioria do sexo masculino, morando predominantemente em casas. Dividem-se principalmente entre solteiros e casados, sendo grande parte deles casada a menos de 1 ano.
Softwares p/ mineração
Intelligent Miner – IBM Weka – softwre livre – Nova Zelândia Darwin – Oracle Sipina – universitário p/ árvores de decisão Clementine – 1º? Microsoft OLE DB for Data Mining ...