Weka - Um framework para Mineração de Dados

fé

Fábio de Sousa LealGMF/DSC/CEEI/UFCG

1

GMF Café 22/04/2009

Apresentação da palestra

• Introdução a KDD e Data Mining

• Weka• ARFF• Explorer

GMF - Café25/04/2009

Fábio de Sousa LealGMF/DSC/CEEI/UFCG

2

• Explorer• Preprocess• Classify• Associate• Visualize

• Experimenter

• Knowledge Flow

• Simple CLI

KDD – Knowledge Discovery in Databases

• Definição:• “KDD é todo o processo de transformação de dados

puros em informação valiosa.”Introduction to Data MiningTan,Steinbach, Kumar.

GMF - Café25/04/2009

Fábio de Sousa LealGMF/DSC/CEEI/UFCG

3

Data Preprocessing

Data Mining PostprocessingInput

DataInformation

Processo de KDD

KDD – Knowledge Discovery in Databases

GMF - Café25/04/2009

Fábio de Sousa LealGMF/DSC/CEEI/UFCG

4

Data Mining

• Data Mining é uma parte integral da KDD.• Data Mining != Information retrieval

• Definições:• “É o processo de descoberta automática de

GMF - Café25/04/2009

Fábio de Sousa LealGMF/DSC/CEEI/UFCG

5

• “É o processo de descoberta automática de informações úteis em grandes repositórios de dados.”

Introduction to Data Mining Tan,Steinbach, Kumar.

• “Mineração de Dados é uma tecnologia capaz de descobrir padrões de informação ‘escondidos’ em um BD”

Marcus Sampaio – Professor da disciplina de Mineração de Dadosda UFCG – 2008.2

Aplicações de Data Mining

• Comércio e Indústria

• Biologia

• Física…Em quase todas

GMF - Café25/04/2009

Fábio de Sousa LealGMF/DSC/CEEI/UFCG

6

• Física

• Química

• Medicina

• GMF

…Em quase todasas áreas da ciênciapodemos perceberalguma aplicaçãode DM.

Data Mining

Data Mining

IAAprendizagem de Máquina

Reconhecimentode padrões

GMF - Café25/04/2009

Fábio de Sousa LealGMF/DSC/CEEI/UFCG

7

Mining

BD’s Computação Paralela e Distribuída

Weka

• Ferramenta para mineração de dados/aprendizagem de máquina escrita em Java (Multiplataforma)

• Usada para pesquisas, educação e aplicações

GMF - Café25/04/2009

Fábio de Sousa LealGMF/DSC/CEEI/UFCG

8

• É descrita detalhadamente no livro “Data Mining” de Witten & Frank.

• Boa documentação (JavaDoc)

• Várias versões

Formatos de dados no Weka

• Vários formatos aceitos: • .arff• .csv• .bsi

GMF - Café25/04/2009

Fábio de Sousa LealGMF/DSC/CEEI/UFCG

9

• .bsi• .names

• Formato padrão: .ARFF

ARFF

• Exemplo de arquivo ARFF:

@RELATION GmfExample

#Os comentarios sao escritos assim@ATTRIBUTE idade numeric

GMF - Café25/04/2009

Fábio de Sousa LealGMF/DSC/CEEI/UFCG

10

@ATTRIBUTE idade numeric@ATTRIBUTE classe {graduando, mestrando, doutorando,professor titular, professor adjunto}@ATTRIBUTE sexo {masculino,feminino}@ATTRIBUTE remuneracao numeric #Comentarios podem vir em qualquer parte do ARFF.

@DATA 18,graduando,masculino,30020,graduando,feminino,45024,mestrando,feminino,150028,doutorando,masculino,300035,”professor titular”,masculino,12000

Weka

GMF - Café25/04/2009

Fábio de Sousa LealGMF/DSC/CEEI/UFCG

11

Weka – Simple CLI

• Simple CLI: Simple Command Line Interpreter

• Muitos parâmetros nas chamadas dos algoritmos.

• Tudo é feito manualmente, via linha de comando.

GMF - Café25/04/2009

Fábio de Sousa LealGMF/DSC/CEEI/UFCG

12

• Tudo é feito manualmente, via linha de comando.

• Ferramenta útil, pois “adaptamos” o algoritmo para trabalhar da melhor maneira para cada caso.

Weka - Explorer

• Módulo Principal do programa.• Possibilidade de importar os dados via URL ou de um BD SQL

(através do JDBC).• As ferramentas para pré-processamento são chamadas “filters”.

GMF - Café25/04/2009

Fábio de Sousa LealGMF/DSC/CEEI/UFCG

13

• As ferramentas para pré-processamento são chamadas “filters”.

• Filtros Disponíveis:• Discretização• Normalização• Seleção de atributos específicos• Combinação de atributos• Além de vários outros

11/28/2009 University of Waikato 14

11/28/2009 University of Waikato 15

11/28/2009 University of Waikato 16

11/28/2009 University of Waikato 17

11/28/2009 University of Waikato 18

11/28/2009 University of Waikato 19

11/28/2009 University of Waikato 20

11/28/2009 University of Waikato 21

11/28/2009 University of Waikato 22

11/28/2009 University of Waikato 23

11/28/2009 University of Waikato 24

11/28/2009 University of Waikato 25

11/28/2009 University of Waikato 26

11/28/2009 University of Waikato 27

11/28/2009 University of Waikato 28

11/28/2009 University of Waikato 29

11/28/2009 University of Waikato 30

11/28/2009 University of Waikato 31

11/28/2009 University of Waikato 32

11/28/2009 University of Waikato 33

11/28/2009 University of Waikato 34

11/28/2009 University of Waikato 35

11/28/2009 University of Waikato 36

11/28/2009 University of Waikato 37

11/28/2009 University of Waikato 38

11/28/2009 University of Waikato 39

11/28/2009 University of Waikato 40

11/28/2009 University of Waikato 41

11/28/2009 University of Waikato 42

11/28/2009 University of Waikato 43

11/28/2009 University of Waikato 44

11/28/2009 University of Waikato 45

11/28/2009 University of Waikato 46

11/28/2009 University of Waikato 47

11/28/2009 University of Waikato 48

11/28/2009 University of Waikato 49

11/28/2009 University of Waikato 50

11/28/2009 University of Waikato 51

11/28/2009 University of Waikato 52

11/28/2009 University of Waikato 53

11/28/2009 University of Waikato 54

11/28/2009 University of Waikato 55

11/28/2009 University of Waikato 56

11/28/2009 University of Waikato 57

11/28/2009 University of Waikato 58

11/28/2009 University of Waikato 59

11/28/2009 University of Waikato 60

11/28/2009 University of Waikato 61

11/28/2009 University of Waikato 62

11/28/2009 University of Waikato 63

11/28/2009 University of Waikato 64

11/28/2009 University of Waikato 65

11/28/2009 University of Waikato 66