rafael lima(ragpl) recife, 29 de junho de 2010. descrição do problema redes neurais artificiais ...
TRANSCRIPT
Redes Neurais
Rafael Lima(ragpl)
Recife, 29 de Junho de 2010
Descrição do problema
Redes Neurais Artificiais
Preparação dos dados
O experimento
Resultados
Conclusões
Bibliografia
Roteiro
Descrição do problema
Cross-Selling
Deseja fritas para
acompanhar!?
Direcionamento de Produtos 35% das vendas do Amazom
Redes Neurais Artificiais
Baseadas nas redes neurais biológicas Neurônio de McCulloch & Pitts Caracteristicas desejadas◦ Aprendizagem através de exemplos◦ Adaptabilidade◦ Capacidade de generalização◦ Tolerância a ruídos
Redes Neurais Artificiais
Dendritos
Axônio
Multilayer Perceptron (MLP) Rede feed forward com mais de uma camada de
neurônios Aproximador universal de funções Uma única camada é suficiente para aproximar
qualquer superficie contida num hipercubo
Preparação dos dados
Base de dados PAKDD:◦ 40700 amostras
Processamento para procura de inconsistências:◦ 23 instancias repetidas removidas
PAKDD:◦ 39977 amostras de C1◦ 700 amostras de C2
Preparação dos dados
4070040677
Divisão dos dados◦ 39977 amostras de C1◦ 700 amostras de C2
40677700 39977
Preparação dos dados
Divisão dos dados◦ 39977 amostras de C1◦ 700 amostras de C2
Treinamento com validação cruzada◦ 50% treinamento◦ 25% validação◦ 25% teste
Conjuntos de dados são normalizados◦ Replicar dados do conjunto menor◦ Selecionar dados do conjunto maior
Randomização
700 39977
350
175
175
19989
9994
9994
C2 C1
Preparação dos dados
O experimento
Primeira fase
O experimento
Parâmetro Valores testadosNúmero máximo de iterações de treinamento (épocas)
50, 250 e 1250
Quantidade máxima de erros na validação
20
Algoritmo de aprendizagem Back Propagation e Levenberg-MarquardtAlgoritmo de treinamento ‘learngdm’Função de ativação das camadas intermediária e de saída
Sigmóide Logística e Tangente Hiperbólica
Taxa de aprendizagem 0.01, 0.001 e 0.0001Quantidade de neurônios na camada escondida
1, 6 e 36
Primeira fase (REPLICADA)◦ 90 redes testadas◦ Script MATLAB calculou, gerou gráficos de desempenho e
curvas ROC automaticamente.◦Dados guardados em arquivos txt e bmp◦ Configurações comparadas com auxílio do excel
O experimento
Segunda fase (REDUZIDA)◦ As 5 redes com menor MSE de teste da primeira fase
Terceira fase (REPETIÇÃO)◦ Selecionadas duas redes:
Menor MSE de teste Maior AUC da curva ROC
O experimento
Resultados primeira fase:◦ 32 configurações com MSE teste < 0.22
Resultados segunda fase:◦Das 5 configurações apenas uma apresentou MSE de teste
maior do que na primeira fase Resultados terceira fase:◦ BTA x BNME = Rede instável◦ Aleatorização inicial dos pesos com alta influência
O experimento
O experimento Primeira Fase
ConfiguraçãoNúmero de iterações de treinamento
50
Taxa de aprensizagem 0.001Nós da camada intermediaria 6Função de ativação Sigmóide LogísticaAlgoritmo de aprendizagem Gradient descent
backpropagation
ResultadosMSE Treinamento 0.16142MSE Validação 0.26122MSE Teste 0.02630Taxa de erro % (TESTE) 1.72075Área sob a curva 0.495
Matriz de Confusão
Resposta
desejada
Resposta da rede
C1 C2C1 0.00 1.00C2 0.00 1.00
Segunda fase:
O experimento
ConfiguraçãoNúmero de iterações de treinamento
50
Taxa de aprensizagem 0.001Nós da camada intermediaria 6Função de ativação Sigmóide LogísticaAlgoritmo de aprendizagem Gradient descent
backpropagation
ResultadosMSE Treinamento 0.44149MSE Validação 0.44455MSE Teste 0.39563Taxa de erro % (TESTE) 36.5129Área sob a curva 0.522
Matriz de ConfusãoResposta
desejada
Resposta da rede C1 C2
C1 0.31 0.69C2 0.36 0.64
Tegunda fase:
O experimento
Taxa de Erro(%) MSE de Teste Área sob a Curva ROC1 30.1415 0.11521 0.52 58.64307 0.48654 0.553 1.72075 0.11232 0.5584 20.435 0.09843 0.5235 4.31704 0.27977 0.5446 18.34989 0.22173 0.5327 28.38037 0.35849 0.5668 17.36651 0.23564 0.519 27.31832 0.23098 0.663
10 33.2321 0.14791 0.6Media 23.990455 0.2287 0.5546
Desvio Padrão 15.2502788 0.1166 0.04535Máximo 58.64307 0.48654 0.663Mínimo 1.72075 0.09843 0.5
Primeira fase:
O experimento
ConfiguraçãoNúmero de iterações de treinamento
1250
Taxa de aprensizagem 0.001Nós da camada intermediaria 6Função de ativação Sigmóide LogísticaAlgoritmo de aprendizagem Levenberg-
Marquardt
ResultadosMSE Treinamento 0.13392MSE Validação 0.36347MSE Teste 0.16030Taxa de erro % (TESTE) 14.05113Área sob a curva 0.696
Matriz de ConfusãoResposta
desejada
Resposta da rede C1 C2
C1 0.35 0.65C2 0.13 0.87
Segunda fase
O experimento
ResultadosMSE Treinamento 0.37513MSE Validação 0.37741MSE Teste 0.13487Taxa de erro % (TESTE) 1.72075Área sob a curva 0.657
Matriz de ConfusãoResposta
desejada
Resposta da rede C1 C2
C1 0.00 1.00C2 0.00 1.00
ConfiguraçãoNúmero de iterações de treinamento
1250
Taxa de aprensizagem 0.001Nós da camada intermediaria 6Função de ativação Sigmóide LogísticaAlgoritmo de aprendizagem Levenberg-
Marquardt
Terceira fase
O experimento
Taxa de Erro(%) MSE de Teste Área sob a Curva ROC1 12.3424 0.15221 0.6022 13.2452 0.22212 0.653 5.1871 0.15312 0.6584 10.2342 0.13042 0.6235 7.1234 0.09312 0.6446 10.4941 0.09921 0.5327 2.01454 0.11234 0.6768 15.6783 0.07992 0.5089 7.124 0.12332 0.663
10 3.0456 0.14221 0.6Media 8.648884 0.15112 0.6156
Desvio Padrão 4.26786308 0.0385090 0.0536Máximo 15.6783 0.22212 0.676Mínimo 2.01454 0.07992 0.508
Dúvidas?
