Árvore de decisão - universidade estadual de londrina · a construção de uma árvore de...

Árvore de Decisão

Árvore de Decisão www.ipardes.gov.br

Introdução

Construção

Dificuldades

Exemplos

Árvore de Decisão - Introdução www.ipardes.gov.br

Que tipo de chato você é?

Árvore de Decisão - Introdução www.ipardes.gov.br


Introdução

Construção

Dificuldades

Exemplos

Árvore de Decisão – Construção www.ipardes.gov.br

• Sistemas de Apoio à Decisão tradicionais partem de premissas previamente estabelecidas pelos gestores/usuários

• Ferramentas que descobrem conhecimento/padrões em Bases de Dados são mais independentes


SITradicionais

Conhecimento

Plan

ejad

oN

ão-p

lane

jado

Res

post

a

Antecipado Não-antecipado

Estímulo


“Em todo o mundo, os governos são os maiores produtores e

consumidores de informações”

OASIS - Organization for the Advancement of StructuredInformation Standards


O custo da não localização da Informação

Trabalhador do conhecimento gasta em média 15% a 35% do seu tempo procurando informação!

Sucesso de 50% ou menos!! Feldman, 2004 – KmWorld Magazine


AssisteSimSimSimSim

ãoNãoNãoNão

ãoNão

Idade Casa Própria Est. Civil35 Sim Casado31 Sim Divorc.33 Não Casado44 Não Divorc.40 Não Casado N31 Sim Solteiro30 Sim Solteiro28 Não Solteiro44 Não Casado N65 Sim Casado


Est.Civil

SolteiroDivor.Casado

Sim Não


Idade Casa Própria Est. Civil Assiste35 Sim Casado Sim31 Sim Divorc. Sim33 Não Casado Sim44 Não Divorc. Sim40 Não Casado Não31 Sim Solteiro Não30 Sim Solteiro Não28 Não Solteiro Não44 Não Casado Não65 Sim Casado Não


Próximo passo: Entre idade e casa própria fica:

Est.Civil

SolteiroDivor.Casado

Sim NãoIdade

<=35

Sim

>35

Não


FAYYAD 1996

?

CONHECIMENTO

PADRÕES

DADOTRANSFORMADO

DATA MINING

INTERPRETAÇÃO/AVALIAÇÃO

DADOS

SELEÇÃO

PRÉ-PROCESSAMENTO

DADOANALISADO

DADOPROCESSADO

TRANSFORMAÇÃO

KDD - Knowledge Discovery in Databases


A construção de uma árvore de decisão parte da descrição de um problemaDo qual deve ser especificado:

• as variáveis, • ações

• seqüência lógica para a tomada de decisão.

Difere


Árvore de Decisão para jogar Tenis


Forma de apresentação do conhecimento Idade Casa Própria Est. Civil Assiste

35 Sim Casado Sim31 Sim Divorc. Sim33 Não Casado Sim44 Não Divorc. Sim40 Não Casado Não31 Sim Solteiro Não30 Sim Solteiro Não28 Não Solteiro Não44 Não Casado Não65 Sim Casado Não

• Implícito

• Explícito

• Tácito

Mineração - automático

Avaliação - manual


Conhecendo o programa que constrói Árvore de Decisão


Introdução

Construção

Dificuldades

Exemplos

Árvore de Decisão – Dificuldades www.ipardes.gov.br

• Não constitui a solução para “TODOS OS MALES”

• Trata-se de uma “aposta”

• Alto custo computacional / equipe


ÉÉ uma moda ouuma moda ou éé algo persistentealgo persistente??

Mineração de Dados é uma tecnologiaCiclo de vida tecnológico• Inovação• Adesão inicial• Ruptura• Maioridade


Impactos SociaisImpactos Sociais:: AmeaçaAmeaça aaprivacidadeprivacidade e ae a segurançasegurança dos dados?dos dados?

Mineração de Dados é uma ameaça para a privacidade e segurança dos dados?• “Big Brother”, “Big Banker”, e “Big Business” estão vigiando você

cuidadosamente• Informações de perfil são coletadas o tempo todo

cartão de crédito, cartão de fidelidade, etcSurfar a Web, alugar um vídeo, preencher um formulário,

• Coletar dados pessoais pode ser benéfico para as organizações e as pessoas, mas existe o perigo de uso indevido

Registros médicos, Avaliação do empregado, Etc.


Introdução

Construção

Dificuldades

Exemplos

Árvore de Decisão – Exemplos www.ipardes.gov.br

• Prever classes de futuros pacientes de alto risco que devem fazer cesareana

• Análise de risco de crédito: prever clientes não solventes

• Prever comportamento de compra de clientes

• Recomendar filmes para clientes• etc.


Conhecimento das doenças para Vigilância Epidemiológica

Comportamento das Hepatites Virais

• # de atributos original 134

• # 65 atributos selecionados -> redução para 6 (interação com o

especialista)

Eliminados: referentes a hospital (endereço, telefone, etc.)

datas

único valor no domínio

dados que identificavam o paciente

% de preenchimento baixo

5063 registros originalmente, dos quais 4738 foram utilizados


Aplicações de Mineração de Dados

Quantidade de atributos Regras Avaliadas Zeradas

Simplificada 19 11 3Completa 31 18 5Simplificada 8 7 1Completa 41 24 7

11

6

Regra considerada mais interessante = Municípios nos quais

ocorreram casos de Hepatite B, com evolução de cronicidade,

em pacientes de até 12 anos.


Gestão de Curso de Graduação

Dados disponiveis:

• notas bimestrais;

• faltas;

• condição de aprovação;

• sexo;

• idade;

• cidade de residência;

• ano de conclusão de segundo grau;

• etc.


• Tendo em vista a algumas constatações:

•Todas as associações de reprovações mais fortes ocorreram em

disciplinas do primeiro ano do curso; e

• Aproveitamento baixo no primeiro bimestre aumenta a incidência de

reprovação.

• Algumas ações foram tomadas:

• já para 2003 foi criado o período de nivelamento para os alunos de

primeiro ano;

•disciplina de trabalho interdisciplinar.


Situação 2002 2003Aprovado 62,0 73,7Reprovado 18,4 17,2Desistente 19,6 9,1

Conforme pode ser observado, a redução na desistência implicou no equivalente aumento no índice de aprovação. Ao observar o volume de desistências nos dois anos, houve uma redução em torno de 60%.


2002 2003CALC DIF E INTEG I PROG DE COMPUT IALGEBRA LINEAR ALGEBRA LINEARCIRCUITOS DIGITAIS CIRCUITOS DIGITAISPROG DE COMPUT I GEOMETRIA ANALITICAENG DE SW I CALC DIF E INTEG IGEOMETRIA ANALITICA ENG DE SW IINTROD A COMPUTACAO EST DE DADOS/GRAFOSLOG DE PROGRAMACAO HABILID ACADEMICASEST DE DADOS/GRAFOS INTROD A COMPUTACAOHABILID ACADEMICAS LOGICA MATEMATICA

Apesar da disciplina de Álgebra Linear aparecer nos dois anos como sendo a segunda disciplina com os maiores índices de desistência, houve uma redução de 50% no número de alunos desistentes. No caso de Introdução a Computação, que também aparece nos dois anos, essa redução chegou a ser de 69%.


Verificar o nível de preconceito em relação a homossexualidade em estudantes do último ano do curso de Psicologia

de uma determinada região

Questionário:

• 36 perguntas objetivas;

• 159 respondentes.


Simplified Decision Tree:

Q23_4 = nenhum:| cod <= 19 : sim (2.0/1.0)| cod > 19 :| | sexo = masculino: sim (2.0/1.0)| | sexo = feminino:| | | Q19_6 in {nenhum,pouco,medio}: nao (15.7/3.0)| | | Q19_6 in {muito,total}: sim (2.3/1.3)Q23_4 in {pouco,medio,muito,total}:| Q20_1 in {discordototalmente,nemconcordo/nemdiscordo}: sim (129.2/8.0)| Q20_1 = concordoemparte: nao (1.0/0.8)| Q20_1 = concordototalmente: sim (0.0)| Q20_1 = discordoemparte:| | Q20_2 in {discordototalmente,concordoemparte}: sim (4.0/1.2)| | Q20_2 in {discordoemparte,nemconcordo/nemdiscordo}: nao (2.9/1.1)| | Q20_2 = concordototalmente: sim (0.0)

Tree saved

Evaluation on training data (159 items):

Before Pruning After Pruning---------------- ---------------------------Size Errors Size Errors Estimate

32 4( 2.5%) 16 7( 4.4%) (10.8%) <<

Atributo meta:Discutiu sobreHomossexualidade<sim, nao>

Contato www.ipardes.gov.br

Obrigada pela atenção.

[email protected]

[email protected]

Árvore de decisão - universidade estadual de londrina · a construção de uma árvore de...

Documents