Árvore de decisão - universidade estadual de londrina · a construção de uma árvore de...

Árvore de Decisão

Árvore de Decisão www.ipardes.gov.br

Introdução

Construção

Dificuldades

Exemplos

Árvore de Decisão - Introdução www.ipardes.gov.br

Que tipo de chato você é?

Árvore de Decisão - Introdução www.ipardes.gov.br

Árvore de Decisão - Introdução www.ipardes.gov.br

Árvore de Decisão www.ipardes.gov.br

Introdução

Construção

Dificuldades

Exemplos

Árvore de Decisão – Construção www.ipardes.gov.br

• Sistemas de Apoio à Decisão tradicionais partem de premissas previamente estabelecidas pelos gestores/usuários

• Ferramentas que descobrem conhecimento/padrões em Bases de Dados são mais independentes

Árvore de Decisão – Construção www.ipardes.gov.br

SITradicionais

Conhecimento

Plan

ejad

oN

ão-p

lane

jado

Res

post

a

Antecipado Não-antecipado

Estímulo

Árvore de Decisão – Construção www.ipardes.gov.br

“Em todo o mundo, os governos são os maiores produtores e

consumidores de informações”

OASIS - Organization for the Advancement of StructuredInformation Standards

Árvore de Decisão – Construção www.ipardes.gov.br

O custo da não localização da Informação

Trabalhador do conhecimento gasta em média 15% a 35% do seu tempo procurando informação!

Sucesso de 50% ou menos!! Feldman, 2004 – KmWorld Magazine

Árvore de Decisão – Construção www.ipardes.gov.br

AssisteSimSimSimSim

ãoNãoNãoNão

ãoNão

Idade Casa Própria Est. Civil35 Sim Casado31 Sim Divorc.33 Não Casado44 Não Divorc.40 Não Casado N31 Sim Solteiro30 Sim Solteiro28 Não Solteiro44 Não Casado N65 Sim Casado

Árvore de Decisão – Construção www.ipardes.gov.br

Est.Civil

SolteiroDivor.Casado

Sim Não

Árvore de Decisão – Construção www.ipardes.gov.br

Idade Casa Própria Est. Civil Assiste35 Sim Casado Sim31 Sim Divorc. Sim33 Não Casado Sim44 Não Divorc. Sim40 Não Casado Não31 Sim Solteiro Não30 Sim Solteiro Não28 Não Solteiro Não44 Não Casado Não65 Sim Casado Não

Árvore de Decisão – Construção www.ipardes.gov.br

Próximo passo: Entre idade e casa própria fica:

Est.Civil

SolteiroDivor.Casado

Sim NãoIdade

<=35

Sim

>35

Não

Árvore de Decisão – Construção www.ipardes.gov.br

Árvore de Decisão – Construção www.ipardes.gov.br

Árvore de Decisão – Construção www.ipardes.gov.br

FAYYAD 1996

?

CONHECIMENTO

PADRÕES

DADOTRANSFORMADO

DATA MINING

INTERPRETAÇÃO/AVALIAÇÃO

DADOS

SELEÇÃO

PRÉ-PROCESSAMENTO

DADOANALISADO

DADOPROCESSADO

TRANSFORMAÇÃO

KDD - Knowledge Discovery in Databases

Árvore de Decisão – Construção www.ipardes.gov.br

A construção de uma árvore de decisão parte da descrição de um problemaDo qual deve ser especificado:

• as variáveis, • ações

• seqüência lógica para a tomada de decisão.

Difere

Árvore de Decisão – Construção www.ipardes.gov.br

Árvore de Decisão – Construção www.ipardes.gov.br

Árvore de Decisão – Construção www.ipardes.gov.br

Árvore de Decisão para jogar Tenis

Árvore de Decisão – Construção www.ipardes.gov.br

Árvore de Decisão para jogar Tenis

Árvore de Decisão – Construção www.ipardes.gov.br

Forma de apresentação do conhecimento Idade Casa Própria Est. Civil Assiste

35 Sim Casado Sim31 Sim Divorc. Sim33 Não Casado Sim44 Não Divorc. Sim40 Não Casado Não31 Sim Solteiro Não30 Sim Solteiro Não28 Não Solteiro Não44 Não Casado Não65 Sim Casado Não

• Implícito

• Explícito

• Tácito

Mineração - automático

Avaliação - manual

Árvore de Decisão – Construção www.ipardes.gov.br

Conhecendo o programa que constrói Árvore de Decisão

Árvore de Decisão www.ipardes.gov.br

Introdução

Construção

Dificuldades

Exemplos

Árvore de Decisão – Dificuldades www.ipardes.gov.br

• Não constitui a solução para “TODOS OS MALES”

• Trata-se de uma “aposta”

• Alto custo computacional / equipe

Árvore de Decisão – Dificuldades www.ipardes.gov.br

ÉÉ uma moda ouuma moda ou éé algo persistentealgo persistente??

Mineração de Dados é uma tecnologiaCiclo de vida tecnológico• Inovação• Adesão inicial• Ruptura• Maioridade

Árvore de Decisão – Dificuldades www.ipardes.gov.br

Impactos SociaisImpactos Sociais:: AmeaçaAmeaça aaprivacidadeprivacidade e ae a segurançasegurança dos dados?dos dados?

Mineração de Dados é uma ameaça para a privacidade e segurança dos dados?• “Big Brother”, “Big Banker”, e “Big Business” estão vigiando você

cuidadosamente• Informações de perfil são coletadas o tempo todo

cartão de crédito, cartão de fidelidade, etcSurfar a Web, alugar um vídeo, preencher um formulário,

• Coletar dados pessoais pode ser benéfico para as organizações e as pessoas, mas existe o perigo de uso indevido

Registros médicos, Avaliação do empregado, Etc.

Árvore de Decisão www.ipardes.gov.br

Introdução

Construção

Dificuldades

Exemplos

Árvore de Decisão – Exemplos www.ipardes.gov.br

• Prever classes de futuros pacientes de alto risco que devem fazer cesareana

• Análise de risco de crédito: prever clientes não solventes

• Prever comportamento de compra de clientes

• Recomendar filmes para clientes• etc.

Árvore de Decisão – Exemplos www.ipardes.gov.br

Conhecimento das doenças para Vigilância Epidemiológica

Comportamento das Hepatites Virais

• # de atributos original 134

• # 65 atributos selecionados -> redução para 6 (interação com o

especialista)

Eliminados: referentes a hospital (endereço, telefone, etc.)

datas

único valor no domínio

dados que identificavam o paciente

% de preenchimento baixo

5063 registros originalmente, dos quais 4738 foram utilizados

Árvore de Decisão – Exemplos www.ipardes.gov.br

Aplicações de Mineração de Dados

Quantidade de atributos Regras Avaliadas Zeradas

Simplificada 19 11 3Completa 31 18 5Simplificada 8 7 1Completa 41 24 7

11

6

Regra considerada mais interessante = Municípios nos quais

ocorreram casos de Hepatite B, com evolução de cronicidade,

em pacientes de até 12 anos.

Árvore de Decisão – Exemplos www.ipardes.gov.br

Árvore de Decisão – Exemplos www.ipardes.gov.br

Gestão de Curso de Graduação

Dados disponiveis:

• notas bimestrais;

• faltas;

• condição de aprovação;

• sexo;

• idade;

• cidade de residência;

• ano de conclusão de segundo grau;

• etc.

Árvore de Decisão – Exemplos www.ipardes.gov.br

• Tendo em vista a algumas constatações:

•Todas as associações de reprovações mais fortes ocorreram em

disciplinas do primeiro ano do curso; e

• Aproveitamento baixo no primeiro bimestre aumenta a incidência de

reprovação.

• Algumas ações foram tomadas:

• já para 2003 foi criado o período de nivelamento para os alunos de

primeiro ano;

•disciplina de trabalho interdisciplinar.

Árvore de Decisão – Exemplos www.ipardes.gov.br

Situação 2002 2003Aprovado 62,0 73,7Reprovado 18,4 17,2Desistente 19,6 9,1

Conforme pode ser observado, a redução na desistência implicou no equivalente aumento no índice de aprovação. Ao observar o volume de desistências nos dois anos, houve uma redução em torno de 60%.

Árvore de Decisão – Exemplos www.ipardes.gov.br

2002 2003CALC DIF E INTEG I PROG DE COMPUT IALGEBRA LINEAR ALGEBRA LINEARCIRCUITOS DIGITAIS CIRCUITOS DIGITAISPROG DE COMPUT I GEOMETRIA ANALITICAENG DE SW I CALC DIF E INTEG IGEOMETRIA ANALITICA ENG DE SW IINTROD A COMPUTACAO EST DE DADOS/GRAFOSLOG DE PROGRAMACAO HABILID ACADEMICASEST DE DADOS/GRAFOS INTROD A COMPUTACAOHABILID ACADEMICAS LOGICA MATEMATICA

Apesar da disciplina de Álgebra Linear aparecer nos dois anos como sendo a segunda disciplina com os maiores índices de desistência, houve uma redução de 50% no número de alunos desistentes. No caso de Introdução a Computação, que também aparece nos dois anos, essa redução chegou a ser de 69%.

Árvore de Decisão – Exemplos www.ipardes.gov.br

Verificar o nível de preconceito em relação a homossexualidade em estudantes do último ano do curso de Psicologia

de uma determinada região

Questionário:

• 36 perguntas objetivas;

• 159 respondentes.

Árvore de Decisão – Exemplos www.ipardes.gov.br

Simplified Decision Tree:

Q23_4 = nenhum:| cod <= 19 : sim (2.0/1.0)| cod > 19 :| | sexo = masculino: sim (2.0/1.0)| | sexo = feminino:| | | Q19_6 in {nenhum,pouco,medio}: nao (15.7/3.0)| | | Q19_6 in {muito,total}: sim (2.3/1.3)Q23_4 in {pouco,medio,muito,total}:| Q20_1 in {discordototalmente,nemconcordo/nemdiscordo}: sim (129.2/8.0)| Q20_1 = concordoemparte: nao (1.0/0.8)| Q20_1 = concordototalmente: sim (0.0)| Q20_1 = discordoemparte:| | Q20_2 in {discordototalmente,concordoemparte}: sim (4.0/1.2)| | Q20_2 in {discordoemparte,nemconcordo/nemdiscordo}: nao (2.9/1.1)| | Q20_2 = concordototalmente: sim (0.0)

Tree saved

Evaluation on training data (159 items):

Before Pruning After Pruning---------------- ---------------------------Size Errors Size Errors Estimate

32 4( 2.5%) 16 7( 4.4%) (10.8%) <<

Atributo meta:Discutiu sobreHomossexualidade<sim, nao>

Contato www.ipardes.gov.br

Obrigada pela atenção.

deborah@utp.br

deborah@ipardes.pr.gov.br