Árvores de decisÃopaginapessoal.utfpr.edu.br/kathya/disciplinas/sistemas...12 Árvores de decisÃo...
TRANSCRIPT
![Page 1: ÁRVORES de DECISÃOpaginapessoal.utfpr.edu.br/kathya/Disciplinas/sistemas...12 ÁRVORES de DECISÃO • Método para inferência indutiva –Auxilia a predizer a classe de um objeto](https://reader036.vdocuments.com.br/reader036/viewer/2022081611/5f0271347e708231d40448de/html5/thumbnails/1.jpg)
1
• Inferência indutiva de fatos providos por um professor ou ambiente. – O estudo e modelagem desta forma de aprendizagem é um
dos tópicos centrais de aprendizagem de máquina.
– Em aprendizagem indutiva, um programa aprende a classificar objetos baseados nos rótulos que lhe são apresentados.
– Deve tentar recuperar a função desconhecida ou uma aproximação.
– Inferência de uma regra geral (hipótese) a partir de exemplos particulares
– Precisão diretamente proporcional à quantidade de exemplos
Aprendizagem indutiva
![Page 2: ÁRVORES de DECISÃOpaginapessoal.utfpr.edu.br/kathya/Disciplinas/sistemas...12 ÁRVORES de DECISÃO • Método para inferência indutiva –Auxilia a predizer a classe de um objeto](https://reader036.vdocuments.com.br/reader036/viewer/2022081611/5f0271347e708231d40448de/html5/thumbnails/2.jpg)
2
• Dada uma coleção de exemplos de f, retornar uma função h que se aproxime de f.
• A função h é chamada hipótese
– Não é fácil saber se uma h específica é uma boa aproximação de f
– Uma boa h irá generalizar bem – prever corretamente exemplos ainda não vistos
– Esse é o problema fundamental da indução
Aprendizagem indutiva
![Page 3: ÁRVORES de DECISÃOpaginapessoal.utfpr.edu.br/kathya/Disciplinas/sistemas...12 ÁRVORES de DECISÃO • Método para inferência indutiva –Auxilia a predizer a classe de um objeto](https://reader036.vdocuments.com.br/reader036/viewer/2022081611/5f0271347e708231d40448de/html5/thumbnails/3.jpg)
3
Aprendizagem Indutiva
• Atividade de um agente =
função f (percepção) ação
• Idéia:
–aprender, a partir de exemplos (x,f(x)), representação de uma função h que aproxima f
![Page 4: ÁRVORES de DECISÃOpaginapessoal.utfpr.edu.br/kathya/Disciplinas/sistemas...12 ÁRVORES de DECISÃO • Método para inferência indutiva –Auxilia a predizer a classe de um objeto](https://reader036.vdocuments.com.br/reader036/viewer/2022081611/5f0271347e708231d40448de/html5/thumbnails/4.jpg)
4
• Exemplo: Ajustar uma função de uma única variável a alguns pontos de dados – Exemplos são pares (x, f(x)) de números reais
Aprendizagem Indutiva
![Page 5: ÁRVORES de DECISÃOpaginapessoal.utfpr.edu.br/kathya/Disciplinas/sistemas...12 ÁRVORES de DECISÃO • Método para inferência indutiva –Auxilia a predizer a classe de um objeto](https://reader036.vdocuments.com.br/reader036/viewer/2022081611/5f0271347e708231d40448de/html5/thumbnails/5.jpg)
5
• Exemplo:
Aprendizagem Indutiva
![Page 6: ÁRVORES de DECISÃOpaginapessoal.utfpr.edu.br/kathya/Disciplinas/sistemas...12 ÁRVORES de DECISÃO • Método para inferência indutiva –Auxilia a predizer a classe de um objeto](https://reader036.vdocuments.com.br/reader036/viewer/2022081611/5f0271347e708231d40448de/html5/thumbnails/6.jpg)
6
• Exemplo:
Aprendizagem Indutiva
![Page 7: ÁRVORES de DECISÃOpaginapessoal.utfpr.edu.br/kathya/Disciplinas/sistemas...12 ÁRVORES de DECISÃO • Método para inferência indutiva –Auxilia a predizer a classe de um objeto](https://reader036.vdocuments.com.br/reader036/viewer/2022081611/5f0271347e708231d40448de/html5/thumbnails/7.jpg)
7
• Exemplo:
Aprendizagem Indutiva
![Page 8: ÁRVORES de DECISÃOpaginapessoal.utfpr.edu.br/kathya/Disciplinas/sistemas...12 ÁRVORES de DECISÃO • Método para inferência indutiva –Auxilia a predizer a classe de um objeto](https://reader036.vdocuments.com.br/reader036/viewer/2022081611/5f0271347e708231d40448de/html5/thumbnails/8.jpg)
8
• Exemplo:
Aprendizagem Indutiva
A verdadeira f é desconhecida, mas existem muitas opções para h. Sem contar
com mais conhecimento, não há razão que nos faça preferir uma das opções.
![Page 9: ÁRVORES de DECISÃOpaginapessoal.utfpr.edu.br/kathya/Disciplinas/sistemas...12 ÁRVORES de DECISÃO • Método para inferência indutiva –Auxilia a predizer a classe de um objeto](https://reader036.vdocuments.com.br/reader036/viewer/2022081611/5f0271347e708231d40448de/html5/thumbnails/9.jpg)
9
Aprendizagem Indutiva
• Aprender de uma vez ou aos poucos?
– Incremental (on-line): atualiza hipótese a cada novo exemplo
• mais flexível, ... Porém a ordem de apresentação é importante (backtracking)
–não incremental (off-line): gerada a partir de todo conjunto de exemplos
• mais eficiente e prática
• mais usado
![Page 10: ÁRVORES de DECISÃOpaginapessoal.utfpr.edu.br/kathya/Disciplinas/sistemas...12 ÁRVORES de DECISÃO • Método para inferência indutiva –Auxilia a predizer a classe de um objeto](https://reader036.vdocuments.com.br/reader036/viewer/2022081611/5f0271347e708231d40448de/html5/thumbnails/10.jpg)
10
Modelo do Agente Aprendiz (on-line)
t
sensores
efetuadores
Agente
Gerador de problemas
crítico
elemento de aprendizagem
avaliação
objetivos de
aprendizagem
elemento ator
trocas
conhecimento
a m
b i e
n t
e
t + 1
![Page 11: ÁRVORES de DECISÃOpaginapessoal.utfpr.edu.br/kathya/Disciplinas/sistemas...12 ÁRVORES de DECISÃO • Método para inferência indutiva –Auxilia a predizer a classe de um objeto](https://reader036.vdocuments.com.br/reader036/viewer/2022081611/5f0271347e708231d40448de/html5/thumbnails/11.jpg)
11
Modelo do Agente Aprendiz (off-line)
Algoritmo de Aprendizagem
elemento ator
exemplos
conhecimento
sensores
efetuadores a m
b i e
n t e
Tre
inam
ento
U
so
![Page 12: ÁRVORES de DECISÃOpaginapessoal.utfpr.edu.br/kathya/Disciplinas/sistemas...12 ÁRVORES de DECISÃO • Método para inferência indutiva –Auxilia a predizer a classe de um objeto](https://reader036.vdocuments.com.br/reader036/viewer/2022081611/5f0271347e708231d40448de/html5/thumbnails/12.jpg)
12
ÁRVORES de DECISÃO
• Método para inferência indutiva – Auxilia a predizer a classe de um objeto em estudo em base a
um treinamento prévio.
– Uma árvore representa uma função discreta para aproximar/representar os dados de treinamento
– Uma das formas mais simples de algoritmos de aprendizagem
– Árvores de decisão classificam instâncias ordenando-as da raiz para algúm nó folha.
• Entrada: um objeto ou situação descrito por um conjunto de propriedades ou atributos;
• Saída: uma decisão.
![Page 13: ÁRVORES de DECISÃOpaginapessoal.utfpr.edu.br/kathya/Disciplinas/sistemas...12 ÁRVORES de DECISÃO • Método para inferência indutiva –Auxilia a predizer a classe de um objeto](https://reader036.vdocuments.com.br/reader036/viewer/2022081611/5f0271347e708231d40448de/html5/thumbnails/13.jpg)
13
ÁRVORES de DECISÃO
![Page 14: ÁRVORES de DECISÃOpaginapessoal.utfpr.edu.br/kathya/Disciplinas/sistemas...12 ÁRVORES de DECISÃO • Método para inferência indutiva –Auxilia a predizer a classe de um objeto](https://reader036.vdocuments.com.br/reader036/viewer/2022081611/5f0271347e708231d40448de/html5/thumbnails/14.jpg)
ÁRVORES de DECISÃO
• Cada nó de decisão (ou nó não folha) contem um teste de atributo
• Cada ramo descendente corresponde a um possível valor deste atributo
• Cada nó folha (ou nó resposta) esta associada a uma classe
• Cada percurso na árvore (da raiz à folha) corresponde a uma regra de classificação
14
![Page 15: ÁRVORES de DECISÃOpaginapessoal.utfpr.edu.br/kathya/Disciplinas/sistemas...12 ÁRVORES de DECISÃO • Método para inferência indutiva –Auxilia a predizer a classe de um objeto](https://reader036.vdocuments.com.br/reader036/viewer/2022081611/5f0271347e708231d40448de/html5/thumbnails/15.jpg)
15
Árvores de decisão: Conceitos
• Exemplo - descrito pelos valores dos atributos e o valor do predicado meta(p).
• Valor do predicado meta é chamado classificação do exemplo.
• Se o predicado meta é verdadeiro para algum exemplo: é exemplo positivo(+), caso contrário é exemplo negativo(-).
• O conjunto completo de exemplos é chamado conjunto de treinamento.
• Classificação é a aplicação do predicado meta (p) a um exemplo
• Objetivo da aprendizagem
– gerar a descrição d de p segundo os atributos dados
– d deve ser consistente (cobre todos positivos e exclui todos negativos) e preditiva/geral (vai além da memorização)
– d deve ser a mais simples possível
![Page 16: ÁRVORES de DECISÃOpaginapessoal.utfpr.edu.br/kathya/Disciplinas/sistemas...12 ÁRVORES de DECISÃO • Método para inferência indutiva –Auxilia a predizer a classe de um objeto](https://reader036.vdocuments.com.br/reader036/viewer/2022081611/5f0271347e708231d40448de/html5/thumbnails/16.jpg)
16
Expressividade de árvores de decisão
• Qualquer função booleana pode ser escrita como uma árvore de decisão.
![Page 17: ÁRVORES de DECISÃOpaginapessoal.utfpr.edu.br/kathya/Disciplinas/sistemas...12 ÁRVORES de DECISÃO • Método para inferência indutiva –Auxilia a predizer a classe de um objeto](https://reader036.vdocuments.com.br/reader036/viewer/2022081611/5f0271347e708231d40448de/html5/thumbnails/17.jpg)
17
Exemplo do Restaurante: Esperar ou não uma mesa?
• Atributos disponíveis:
– Alternativa: há um outro restaurante apropriado por perto?
– Bar: o restaurante tem uma área de bar confortável para esperar?
– Sex/Sab: verdadeiro às sextas e sábados
– Faminto: Estamos com fome?
– Clientes: Quantas pessoas estão no restaurante?
– Preço: A faixa de preços do restaurante
– Chovendo: Está chovendo do lado de fora?
– Reserva: Fizemos uma reserva?
– Tipo: Qual o tipo do restaurante?
– Espera estimada: A espera estimada pelo gerente
Expressividade de árvores de decisão
![Page 18: ÁRVORES de DECISÃOpaginapessoal.utfpr.edu.br/kathya/Disciplinas/sistemas...12 ÁRVORES de DECISÃO • Método para inferência indutiva –Auxilia a predizer a classe de um objeto](https://reader036.vdocuments.com.br/reader036/viewer/2022081611/5f0271347e708231d40448de/html5/thumbnails/18.jpg)
18
Ex Alt Bar Sex Fam Cli Pre Chu Res Tipo Tem Meta
X1 Sim Não Não Sim Alg $$$ Não Sim Fra 0-10 Sim
X2 Sim Não Não Sim Che $ Não Não Tai 30-60 Não
X3 Não Sim Não Não Alg $ Não Não Ham 0-10 Sim
X4 Sim Não Sim Sim Che $ Sim Não Tai 10-30 Sim
X5 Sim Não Sim Não Che $$$ Não Sim Fra >60 Não
X6 Não Sim Não Sim Alg $$ Sim Sim Ita 0-10 Sim
X7 Não Sim Não Não Ne $ Sim Não Ham 0-10 Não
X8 Não Não Não Sim Alg $$ Sim Sim Tai 0-10 Sim
X9 Não Sim Sim Não Che $ Sim Não Ham >60 Não
X10 Sim Sim Sim Sim Che $$$ Não Sim Ita 10-30 Não
X11 Não Não Não Não Ne $ Não Não Tai 0-10 Não
X12 Sim Sim Sim Sim Che $ Não Não Ham 30-60 Sim
Conjunto de treinamento para o exemplo do restaurante
![Page 19: ÁRVORES de DECISÃOpaginapessoal.utfpr.edu.br/kathya/Disciplinas/sistemas...12 ÁRVORES de DECISÃO • Método para inferência indutiva –Auxilia a predizer a classe de um objeto](https://reader036.vdocuments.com.br/reader036/viewer/2022081611/5f0271347e708231d40448de/html5/thumbnails/19.jpg)
19
Clientes?
Tem Bar?
É Sex/Sab? Fiz Reserva?
Faminto? Alternativa:
Rest. Perto?
EsperaEstimada?
Chovendo?
Não Não
Não
Não
Não
Sim Sim Sim
Sim
Sim
Sim
Alternativa: Rest. Perto?
Sim Sim
Nenhum alguns cheio
>60 30-60 10-30 0-10
Não Sim Não Sim
Não Sim Não Sim Não Sim
Não Sim Não Sim
![Page 20: ÁRVORES de DECISÃOpaginapessoal.utfpr.edu.br/kathya/Disciplinas/sistemas...12 ÁRVORES de DECISÃO • Método para inferência indutiva –Auxilia a predizer a classe de um objeto](https://reader036.vdocuments.com.br/reader036/viewer/2022081611/5f0271347e708231d40448de/html5/thumbnails/20.jpg)
20
Expressividade de árvores de decisão
• Qualquer hipótese de árvore de decisão específica para o predicado meta VaiEsperar pode ser vista como uma asserção da forma:
∀x VaiEsperar(x) (P1(x) v P2(x) v ... v Pn(x))
• Cada condição Pi(x) é uma conjunção de testes que pode corresponder a um caminho da raiz até uma folha da árvore com resultado positivo.
• A árvore pode ser representada por um conjunto de conjunções que implicam uma conclusão positiva e estas correspondem aos caminhos que vão da raiz até o nó folha Sim.
∀rClientes (r, Cheio) TempoEsperaEstimado(r, 10-30) TerFome(r,N) Esperará(r)
![Page 21: ÁRVORES de DECISÃOpaginapessoal.utfpr.edu.br/kathya/Disciplinas/sistemas...12 ÁRVORES de DECISÃO • Método para inferência indutiva –Auxilia a predizer a classe de um objeto](https://reader036.vdocuments.com.br/reader036/viewer/2022081611/5f0271347e708231d40448de/html5/thumbnails/21.jpg)
21
Indução de árvores de decisão
• Algoritmo de aprendizagem em árvore de decisão:
– Top-down (dirigida a modelo) - conjunto de possíveis
generalizações na tentativa de encontrar as melhores hipóteses que satisfaçam certos requerimentos;
– A idéia é testar o atributo mais importante – aquele que faz a maior diferença para a classificação de um exemplo.
– Obter a classificação correta com pequeno nº de testes = caminhos curtos e árvore pequena.
Limitação: A árvore memoriza as observações. Ela não extrai
qualquer padrão dos exemplos e, assim, não podemos esperar que
ela esteja apta a extrapolar para exemplos não vistos antes.
![Page 22: ÁRVORES de DECISÃOpaginapessoal.utfpr.edu.br/kathya/Disciplinas/sistemas...12 ÁRVORES de DECISÃO • Método para inferência indutiva –Auxilia a predizer a classe de um objeto](https://reader036.vdocuments.com.br/reader036/viewer/2022081611/5f0271347e708231d40448de/html5/thumbnails/22.jpg)
22
Indução de árvores de decisão
A idéia base: 1. Começar com todos os exemplos de treino
2. Escolher o teste (atributo) que melhor divide os exemplos, ou seja agrupar exemplos da mesma classe ou exemplos semelhantes
3. Para o atributo escolhido adicionar um ramo (nó filho) para cada valor possível do atributo.
4. Passar os exemplos para as folhas (cada nó filho) tendo em conta o valor do atributo escolhido
5. Para cada folha • Se todos os exemplos são da mesma classe, associar essa classe à
folha (filhos “puros” pois cada atributo ‘x’ tem o mesmo valor em todos os exemplos)
• Senão repetir os passos 1 a 4 ( criar novos ramos para cada classe)
![Page 23: ÁRVORES de DECISÃOpaginapessoal.utfpr.edu.br/kathya/Disciplinas/sistemas...12 ÁRVORES de DECISÃO • Método para inferência indutiva –Auxilia a predizer a classe de um objeto](https://reader036.vdocuments.com.br/reader036/viewer/2022081611/5f0271347e708231d40448de/html5/thumbnails/23.jpg)
23
Indução de árvores de decisão
• Exemplo Cachaçaria
• predicado-objetivo: vaiACachaçaria
– Atributos considerados:
• Sono: Estou com sono?
• Transporte: Tenho como ir de carro? Carona? etc.
• UTFPR: Devo estar amanhã cedo na UTFPR?
• Álcool: Estou precisando de álcool?
• Sair: Quero sair de casa?
• Fome: Estou com fome?
![Page 24: ÁRVORES de DECISÃOpaginapessoal.utfpr.edu.br/kathya/Disciplinas/sistemas...12 ÁRVORES de DECISÃO • Método para inferência indutiva –Auxilia a predizer a classe de um objeto](https://reader036.vdocuments.com.br/reader036/viewer/2022081611/5f0271347e708231d40448de/html5/thumbnails/24.jpg)
24
Indução de árvores de decisão
• Atributos: (Sono, Transporte, UTFPR, Álcool, Sair, Fome)-> propriedade-objetivo – E01: (Pouco,Carro,Sim,Sim,Não,Sim) -> Sim! – E02: (Pouco,Carona,Não,Não,Sim,Sim) -> Sim! – E03: (Sim,Carro,Não,Sim,Sim,Sim) -> Não. – E04: (Pouco,Carona,Não,Não,Sim,Não) -> Sim! – E05: (Sim,Outros,Sim,Sim,Sim,Não) -> Não. – E06: (Pouco,Outros,Não,Sim,Não,Sim) -> Não. – E07: (Pouco,Carro,Sim,Não,Sim,Sim) -> Sim! – E08: (Pouco,Carona,Não,Não,Não,Sim) -> Não. – E09: (Sim,Carro,Não,Sim,Sim,Não) -> Não. – E10: (Não,Outros,Sim,Sim,Sim,Sim) -> Sim! – E11: (Não,Carro,Não,Sim,Sim,Não) -> Sim! – E12: (Não,Carona,Não,Sim,Sim,Sim) -> Sim!
![Page 25: ÁRVORES de DECISÃOpaginapessoal.utfpr.edu.br/kathya/Disciplinas/sistemas...12 ÁRVORES de DECISÃO • Método para inferência indutiva –Auxilia a predizer a classe de um objeto](https://reader036.vdocuments.com.br/reader036/viewer/2022081611/5f0271347e708231d40448de/html5/thumbnails/25.jpg)
25
Indução de árvores de decisão
Sono?
UTFPR? Não. UTFPR?
Carona
Sim. Não.
Quer sair? Não.
Sim. Meio de
transporte?
Não.
Sim. Precisa de
álcool?
Sim. Não.
![Page 26: ÁRVORES de DECISÃOpaginapessoal.utfpr.edu.br/kathya/Disciplinas/sistemas...12 ÁRVORES de DECISÃO • Método para inferência indutiva –Auxilia a predizer a classe de um objeto](https://reader036.vdocuments.com.br/reader036/viewer/2022081611/5f0271347e708231d40448de/html5/thumbnails/26.jpg)
26
Indução de árvores de decisão
• Escolha do melhor atributo
– O que discrimina o maior número de exemplos
• Candidatos:
– Transporte: Não classifica imediatamente nenhum dos exemplos
– Sono: Classifica de imediato 6 dos 12 exemplos
– ...
![Page 27: ÁRVORES de DECISÃOpaginapessoal.utfpr.edu.br/kathya/Disciplinas/sistemas...12 ÁRVORES de DECISÃO • Método para inferência indutiva –Auxilia a predizer a classe de um objeto](https://reader036.vdocuments.com.br/reader036/viewer/2022081611/5f0271347e708231d40448de/html5/thumbnails/27.jpg)
27
Indução de árvores de decisão atributo Transporte
Transporte?
carro outros
+:E01,E02,E04,E07,E10,E11,E12
- :E03,E05,E06,E08,E09
carona
+: E10
-: E05,E06
+: E01,E07,E11
-: E03,E09
+: E02,E04,E12
-: E08
![Page 28: ÁRVORES de DECISÃOpaginapessoal.utfpr.edu.br/kathya/Disciplinas/sistemas...12 ÁRVORES de DECISÃO • Método para inferência indutiva –Auxilia a predizer a classe de um objeto](https://reader036.vdocuments.com.br/reader036/viewer/2022081611/5f0271347e708231d40448de/html5/thumbnails/28.jpg)
28
Indução de árvores de decisão atributo Sono
Sono?
sim pouco não
+:E01,E02,E04,E07,E10,E11,E12
- :E03,E05,E06,E08,E09
+: E1,E2,E4, E7
-: E6,E8
+: - - -
-: E3, E5, E9
+: E10,E11,E12
-: - - -
![Page 29: ÁRVORES de DECISÃOpaginapessoal.utfpr.edu.br/kathya/Disciplinas/sistemas...12 ÁRVORES de DECISÃO • Método para inferência indutiva –Auxilia a predizer a classe de um objeto](https://reader036.vdocuments.com.br/reader036/viewer/2022081611/5f0271347e708231d40448de/html5/thumbnails/29.jpg)
Escolha dos atributos preditivos para os nós da árvore
• Como medir a habilidade de um dado atributo discriminar as classes?
• Existem muitas medidas e todas concordam em dois pontos: – Uma divisão que mantêm as proporções de classes
em todas as partições é inútil.
– Uma divisão onde em cada partição todos os
exemplos são da mesma classe tem utilidade máxima.
![Page 30: ÁRVORES de DECISÃOpaginapessoal.utfpr.edu.br/kathya/Disciplinas/sistemas...12 ÁRVORES de DECISÃO • Método para inferência indutiva –Auxilia a predizer a classe de um objeto](https://reader036.vdocuments.com.br/reader036/viewer/2022081611/5f0271347e708231d40448de/html5/thumbnails/30.jpg)
30
• Como escolher o melhor atributo?
– Entropia
– Ganho
Escolha dos atributos preditivos para os nós da árvore
![Page 31: ÁRVORES de DECISÃOpaginapessoal.utfpr.edu.br/kathya/Disciplinas/sistemas...12 ÁRVORES de DECISÃO • Método para inferência indutiva –Auxilia a predizer a classe de um objeto](https://reader036.vdocuments.com.br/reader036/viewer/2022081611/5f0271347e708231d40448de/html5/thumbnails/31.jpg)
31
Entropia
• A entropia de um conjunto pode ser definida como sendo uma medida do grau de impureza do conjunto.
• Este conceito define a medida de "falta de informação", mais precisamente o número de bits necessários, em média, para representar a informação em falta, usando codificação ótima.
• Entropia é uma medida da aleatoriedade de uma variável.
Escolha dos atributos preditivos para os nós da árvore
![Page 32: ÁRVORES de DECISÃOpaginapessoal.utfpr.edu.br/kathya/Disciplinas/sistemas...12 ÁRVORES de DECISÃO • Método para inferência indutiva –Auxilia a predizer a classe de um objeto](https://reader036.vdocuments.com.br/reader036/viewer/2022081611/5f0271347e708231d40448de/html5/thumbnails/32.jpg)
32
Entropia
• Dado um conjunto S, com instâncias pertencentes à classe i, com probabilidade pi, tem-se:
• Pode-se ter:
– S é o conjunto de exemplo de treino;
– p+ é a porção de exemplos positivos;
– p- é a porção de exemplos negativos.
Escolha dos atributos preditivos para os nós da árvore
c
i iippSE
1 2log)(
ppppSE
22loglog)(
![Page 33: ÁRVORES de DECISÃOpaginapessoal.utfpr.edu.br/kathya/Disciplinas/sistemas...12 ÁRVORES de DECISÃO • Método para inferência indutiva –Auxilia a predizer a classe de um objeto](https://reader036.vdocuments.com.br/reader036/viewer/2022081611/5f0271347e708231d40448de/html5/thumbnails/33.jpg)
33
Entropia
– A Entropia(S) tem máximo (log2 i) se pi = pj para qualquer i j
– A Entropia(S) = 0 se existe um i tal que pi = 1
– É assumido que 0 * log2 0 = 0
Escolha dos atributos preditivos para os nós da árvore
c
i iippSE
1 2log)(
ppppSE
22loglog)(
![Page 34: ÁRVORES de DECISÃOpaginapessoal.utfpr.edu.br/kathya/Disciplinas/sistemas...12 ÁRVORES de DECISÃO • Método para inferência indutiva –Auxilia a predizer a classe de um objeto](https://reader036.vdocuments.com.br/reader036/viewer/2022081611/5f0271347e708231d40448de/html5/thumbnails/34.jpg)
34
Escolha dos atributos preditivos para os nós da árvore
Entropia
ppppSEntropia 22 loglog)(
Variação da Entropia a medida que a proporção de positivos e negativos se altera.
![Page 35: ÁRVORES de DECISÃOpaginapessoal.utfpr.edu.br/kathya/Disciplinas/sistemas...12 ÁRVORES de DECISÃO • Método para inferência indutiva –Auxilia a predizer a classe de um objeto](https://reader036.vdocuments.com.br/reader036/viewer/2022081611/5f0271347e708231d40448de/html5/thumbnails/35.jpg)
35
Exemplo:
• Se p é 1, o destinatário sabe que o exemplo selecionado será positivo – Nenhuma mensagem precisa ser enviada – Entropia é 0 (mínima)
• Se p é 0.5, um bit é necessário para indicar se o exemplo
selecionado é ou – Entropia é 1 (máxima)
Escolha dos atributos preditivos para os nós da árvore
![Page 36: ÁRVORES de DECISÃOpaginapessoal.utfpr.edu.br/kathya/Disciplinas/sistemas...12 ÁRVORES de DECISÃO • Método para inferência indutiva –Auxilia a predizer a classe de um objeto](https://reader036.vdocuments.com.br/reader036/viewer/2022081611/5f0271347e708231d40448de/html5/thumbnails/36.jpg)
36
Ganho • Define a redução na entropia.
• Ganho(S,A) significa a redução esperada na entropia de S, ordenado pelo atributo A.
• Para responder à pergunta anterior, "Como escolher o melhor atributo?" é usado o ganho.
– Em cada iteração do algoritmo é escolhido o atributo que apresente uma maior ganho.
Escolha dos atributos preditivos para os nós da árvore
)(
)( ),( Avaloresv v
v SES
SSEASGanho
Obs.: valores(A) é o conjunto de todos possíveis valores para o atributo A, e Sv é o subconjunto de S para qual o atributo A tem valor v.
![Page 37: ÁRVORES de DECISÃOpaginapessoal.utfpr.edu.br/kathya/Disciplinas/sistemas...12 ÁRVORES de DECISÃO • Método para inferência indutiva –Auxilia a predizer a classe de um objeto](https://reader036.vdocuments.com.br/reader036/viewer/2022081611/5f0271347e708231d40448de/html5/thumbnails/37.jpg)
37
• Entropia - medida da impureza do conjunto de treino. – Assumindo o valor máximo (1) quando existem tantos elementos
positivos como negativos, e o valor mínimo (0) quando todos os elementos são da mesma classe.
• Ganho de informação - redução esperada no valor da Entropia, devido à ordenação do conjunto de treino segundo os valores do atributo A.
Escolha dos atributos preditivos para os nós da árvore
![Page 38: ÁRVORES de DECISÃOpaginapessoal.utfpr.edu.br/kathya/Disciplinas/sistemas...12 ÁRVORES de DECISÃO • Método para inferência indutiva –Auxilia a predizer a classe de um objeto](https://reader036.vdocuments.com.br/reader036/viewer/2022081611/5f0271347e708231d40448de/html5/thumbnails/38.jpg)
38
Exemplo
Conjunto de dados
Fonte: GFBioinfo
Dia Aspecto Temp. Umidade Vento Jogar Tênis
D1 Sol Quente Elevada Fraco Não
D2 Sol Quente Elevada Forte Não
D3 Nuvens Quente Elevada Fraco Sim
D4 Chuva Ameno Elevada Fraco Sim
D5 Chuva Fresco Normal Fraco Sim
D6 Chuva Fresco Normal Forte Não
D7 Nuvens Fresco Normal Fraco Sim
D8 Sol Ameno Elevada Fraco Não
D9 Sol Fresco Normal Fraco Sim
D10 Chuva Ameno Normal Forte Sim
D11 Sol Ameno Normal Forte Sim
D12 Nuvens Ameno Elevada Forte Sim
D13 Nuvens Quente Normal Fraco Sim
D14 Chuva Ameno Elevada Forte Não
![Page 39: ÁRVORES de DECISÃOpaginapessoal.utfpr.edu.br/kathya/Disciplinas/sistemas...12 ÁRVORES de DECISÃO • Método para inferência indutiva –Auxilia a predizer a classe de um objeto](https://reader036.vdocuments.com.br/reader036/viewer/2022081611/5f0271347e708231d40448de/html5/thumbnails/39.jpg)
39
• Primeiro passo: são analisados todos os atributos, começando pela Umidade.
Exemplo
940,014
5log14
514
9log14
9)(
]5 ,9[
22
EntropiaE
S
Umidade ?
Elevada Normal
[3+, 4-] [6+, 1-]
E=0,985 E=0,592
151,0),(
592,014
7985,014
7940,0),(
UmidadeSGanho
UmidadeSGanho Obs.:
![Page 40: ÁRVORES de DECISÃOpaginapessoal.utfpr.edu.br/kathya/Disciplinas/sistemas...12 ÁRVORES de DECISÃO • Método para inferência indutiva –Auxilia a predizer a classe de um objeto](https://reader036.vdocuments.com.br/reader036/viewer/2022081611/5f0271347e708231d40448de/html5/thumbnails/40.jpg)
40
• Calculando o ganho para todos os atributos o que o tem maior ganho é o Aspecto.
Exemplo
940,0
]5 ,9[
E
S
247,0),(
971,014
50,014
4971,014
5940,0),(
AspectoSGanho
AspectoSGanho
Aspecto
Sol Nuvens Chuva
[2+, 3-] [4+, 0-]
E=0,971 E=0 E=0,971
[3+, 2-]
029,0.),(
247,0),(
048,0),(
151,0),(
TempSGanho
AspectoSGanho
VentoSGanho
UmidadeSGanho
MAX
![Page 41: ÁRVORES de DECISÃOpaginapessoal.utfpr.edu.br/kathya/Disciplinas/sistemas...12 ÁRVORES de DECISÃO • Método para inferência indutiva –Auxilia a predizer a classe de um objeto](https://reader036.vdocuments.com.br/reader036/viewer/2022081611/5f0271347e708231d40448de/html5/thumbnails/41.jpg)
41
• No próximo passo o atributo Aspecto já não é considerado.
Exemplo
Aspecto
Sol Nuvens Chuva
? ? Sim
[2+, 3-] [4+, 0-] [3+, 2-]
[9+, 5-]
[D1, D2, ..., D14]
SSol =[D1, D2, D8, D9, D11] SNuvens =[D3, D7, D12, D13] SChuva =[D4, D5, D6, D10, D14]
019,0918,05
30,15
2971,0),(
570,00,05
10,15
20,05
2971,0.),(
971,00,05
20,05
3971,0),(
VentoSGanho
TempSGanho
UmidadeSGanho
MAX
Sol
Sol
Sol
![Page 42: ÁRVORES de DECISÃOpaginapessoal.utfpr.edu.br/kathya/Disciplinas/sistemas...12 ÁRVORES de DECISÃO • Método para inferência indutiva –Auxilia a predizer a classe de um objeto](https://reader036.vdocuments.com.br/reader036/viewer/2022081611/5f0271347e708231d40448de/html5/thumbnails/42.jpg)
42
• Quando em todos os nós a entropia for nula, o algoritmo para e obtêm-se a seguinte Árvore de decisão:
Exemplo
Aspecto
Sol Nuvens Chuva
Umidade
Elevada Normal
Vento
Fraco Forte
Não Não Sim
Sim
Sim
[D1, D2, ..., D14]
SNuvens =[D3, D7, D12, D13]
SSol,Elevada=[D1, D2, D8] SSol,Normal=[D9, D11] SChuva,Fraco=[D6, D14] SChuva,Forte=[D4, D5, D10]