Download - Weka
Weka - Um framework para Mineração de Dados
fé
Fábio de Sousa LealGMF/DSC/CEEI/UFCG
1
GMF Café 22/04/2009
Apresentação da palestra
• Introdução a KDD e Data Mining
• Weka• ARFF• Explorer
GMF - Café25/04/2009
Fábio de Sousa LealGMF/DSC/CEEI/UFCG
2
• Explorer• Preprocess• Classify• Associate• Visualize
• Experimenter
• Knowledge Flow
• Simple CLI
KDD – Knowledge Discovery in Databases
• Definição:• “KDD é todo o processo de transformação de dados
puros em informação valiosa.”Introduction to Data MiningTan,Steinbach, Kumar.
GMF - Café25/04/2009
Fábio de Sousa LealGMF/DSC/CEEI/UFCG
3
Data Preprocessing
Data Mining PostprocessingInput
DataInformation
Processo de KDD
KDD – Knowledge Discovery in Databases
GMF - Café25/04/2009
Fábio de Sousa LealGMF/DSC/CEEI/UFCG
4
Data Mining
• Data Mining é uma parte integral da KDD.• Data Mining != Information retrieval
• Definições:• “É o processo de descoberta automática de
GMF - Café25/04/2009
Fábio de Sousa LealGMF/DSC/CEEI/UFCG
5
• “É o processo de descoberta automática de informações úteis em grandes repositórios de dados.”
Introduction to Data Mining Tan,Steinbach, Kumar.
• “Mineração de Dados é uma tecnologia capaz de descobrir padrões de informação ‘escondidos’ em um BD”
Marcus Sampaio – Professor da disciplina de Mineração de Dadosda UFCG – 2008.2
Aplicações de Data Mining
• Comércio e Indústria
• Biologia
• Física…Em quase todas
GMF - Café25/04/2009
Fábio de Sousa LealGMF/DSC/CEEI/UFCG
6
• Física
• Química
• Medicina
• GMF
…Em quase todasas áreas da ciênciapodemos perceberalguma aplicaçãode DM.
Data Mining
Data Mining
IAAprendizagem de Máquina
Reconhecimentode padrões
GMF - Café25/04/2009
Fábio de Sousa LealGMF/DSC/CEEI/UFCG
7
Mining
BD’s Computação Paralela e Distribuída
Weka
• Ferramenta para mineração de dados/aprendizagem de máquina escrita em Java (Multiplataforma)
• Usada para pesquisas, educação e aplicações
GMF - Café25/04/2009
Fábio de Sousa LealGMF/DSC/CEEI/UFCG
8
• É descrita detalhadamente no livro “Data Mining” de Witten & Frank.
• Boa documentação (JavaDoc)
• Várias versões
Formatos de dados no Weka
• Vários formatos aceitos: • .arff• .csv• .bsi
GMF - Café25/04/2009
Fábio de Sousa LealGMF/DSC/CEEI/UFCG
9
• .bsi• .names
• Formato padrão: .ARFF
ARFF
• Exemplo de arquivo ARFF:
@RELATION GmfExample
#Os comentarios sao escritos assim@ATTRIBUTE idade numeric
GMF - Café25/04/2009
Fábio de Sousa LealGMF/DSC/CEEI/UFCG
10
@ATTRIBUTE idade numeric@ATTRIBUTE classe {graduando, mestrando, doutorando,professor titular, professor adjunto}@ATTRIBUTE sexo {masculino,feminino}@ATTRIBUTE remuneracao numeric #Comentarios podem vir em qualquer parte do ARFF.
@DATA 18,graduando,masculino,30020,graduando,feminino,45024,mestrando,feminino,150028,doutorando,masculino,300035,”professor titular”,masculino,12000
Weka
GMF - Café25/04/2009
Fábio de Sousa LealGMF/DSC/CEEI/UFCG
11
Weka – Simple CLI
• Simple CLI: Simple Command Line Interpreter
• Muitos parâmetros nas chamadas dos algoritmos.
• Tudo é feito manualmente, via linha de comando.
GMF - Café25/04/2009
Fábio de Sousa LealGMF/DSC/CEEI/UFCG
12
• Tudo é feito manualmente, via linha de comando.
• Ferramenta útil, pois “adaptamos” o algoritmo para trabalhar da melhor maneira para cada caso.
Weka - Explorer
• Módulo Principal do programa.• Possibilidade de importar os dados via URL ou de um BD SQL
(através do JDBC).• As ferramentas para pré-processamento são chamadas “filters”.
GMF - Café25/04/2009
Fábio de Sousa LealGMF/DSC/CEEI/UFCG
13
• As ferramentas para pré-processamento são chamadas “filters”.
• Filtros Disponíveis:• Discretização• Normalização• Seleção de atributos específicos• Combinação de atributos• Além de vários outros
11/28/2009 University of Waikato 14
11/28/2009 University of Waikato 15
11/28/2009 University of Waikato 16
11/28/2009 University of Waikato 17
11/28/2009 University of Waikato 18
11/28/2009 University of Waikato 19
11/28/2009 University of Waikato 20
11/28/2009 University of Waikato 21
11/28/2009 University of Waikato 22
11/28/2009 University of Waikato 23
11/28/2009 University of Waikato 24
11/28/2009 University of Waikato 25
11/28/2009 University of Waikato 26
11/28/2009 University of Waikato 27
11/28/2009 University of Waikato 28
11/28/2009 University of Waikato 29
11/28/2009 University of Waikato 30
11/28/2009 University of Waikato 31
11/28/2009 University of Waikato 32
11/28/2009 University of Waikato 33
11/28/2009 University of Waikato 34
11/28/2009 University of Waikato 35
11/28/2009 University of Waikato 36
11/28/2009 University of Waikato 37
11/28/2009 University of Waikato 38
11/28/2009 University of Waikato 39
11/28/2009 University of Waikato 40
11/28/2009 University of Waikato 41
11/28/2009 University of Waikato 42
11/28/2009 University of Waikato 43
11/28/2009 University of Waikato 44
11/28/2009 University of Waikato 45
11/28/2009 University of Waikato 46
11/28/2009 University of Waikato 47
11/28/2009 University of Waikato 48
11/28/2009 University of Waikato 49
11/28/2009 University of Waikato 50
11/28/2009 University of Waikato 51
11/28/2009 University of Waikato 52
11/28/2009 University of Waikato 53
11/28/2009 University of Waikato 54
11/28/2009 University of Waikato 55
11/28/2009 University of Waikato 56
11/28/2009 University of Waikato 57
11/28/2009 University of Waikato 58
11/28/2009 University of Waikato 59
11/28/2009 University of Waikato 60
11/28/2009 University of Waikato 61
11/28/2009 University of Waikato 62
11/28/2009 University of Waikato 63
11/28/2009 University of Waikato 64
11/28/2009 University of Waikato 65
11/28/2009 University of Waikato 66