meta-aprendizado para otimização de parâmetros de redes neurais

Meta-aprendizado para otimização de parâmetros de redes neuraisAndré Ricardo FredericoOrlando da Silva Junior

O Artigo• Título• Meta-aprendizado para otimização de parâmetros de redes

neurais

• Autores• Tarcísio D. P. Lucas, Teresa B. Ludermir, Ricardo B. C. Prudêncio

(UFPE)• Carlos Soares (Univ. Porto, Portugal)

• Publicação• Encontro Nacional de Inteligência Artificial (ENIA 2011)

Problema• Problema• Como otimizar os parâmetros de uma rede neural artificial

(RNA)?

• Hipótese• O meta-aprendizado pode ser utilizado para a otimização de

parâmetros de RNAs.

Objetivo• Investigar o uso de meta-aprendizado para otimização de

parâmetros de redes neurais

• Justificativa: a otimização de RNAs é uma tarefa importante para o sucesso do uso desses modelos em aplicações reais.

Conceitos – RNAs• RNAs são utilizadas para resolver problemas em diferentes áreas do

conhecimento

• O desempenho de uma RNA depende da escolha de seus parâmetros de treinamento e arquitetura

• A definição dos parâmetros depende do problema ou tarefa de aprendizagem sendo resolvida

• A otimização dos parâmetros é um problema complexo e várias soluções já foram propostas:• Tentativa e erro (experiência do usuário)• Algoritmos genéticos• Enxame de partículas• Têmpera simulada• Etc.

Conceitos – Meta-aprendizado

• Meta-aprendizado é um processo de aquisição automática de conhecimento que relaciona o desempenho dos algoritmos de aprendizado com as características dos problemas.

• No meta-aprendizado, há uma BD com diversos meta-exemplos, onde cada um é composto por:• Um conjunto de meta-atributos: estatísticas que descrevem o

conjunto de dados (número de exemplos, número de atributos, entropia, etc.)

• Um meta-rótulo: melhor algoritmo aplicado ao problema

Metodologia• Desenvolvimento de um estudo de caso que aplica meta-aprendizado para a escolha

da quantidade de neurônios escondidos em uma rede perceptron multi-camadas (MLP).

• Avaliação de 93 bases de dados de dados para a construção da base de meta-exemplos, variando o número de neurônios escondidos

• Cada meta-exemplo é associado a um problema de regressão e armazena:• 16 características descrevendo os dados do problema;• O melhor número de neurônios para a rede MLP do problema

• Um algoritmo de regressão é usado como meta-aprendiz para predizer o melhor número de neurônios para um novo problema a partir de suas características. Quatro algoritmos são testados:• Regressão linear• kNN• M5• SVM

Experimentos• A otimização é realizada em cima de um dos parâmetros de

uma rede MLP com uma camada escondida

• Por ser veloz no treinamento e só possuir 2 parâmetros, o algoritmo de treinamento escolhido foi o Extreme Learning Machine (ELM)• Parâmetro escolhido: quantidade de neurônios escondidos

• A função de ativação sigmoidal foi fixada e foram testadas as quantidades de neurônios escondidos entre 1 e 300 para cada uma das 93 bases

Experimentos• Cada experimento foi repetido 10 vezes, com diferentes pesos

e bias

• O número de neurônios ideal é o menor erro médio no conjunto de teste nas 10 repetições, calculado com a raiz quadrada média dos erros

Experimentos

Experimentos• Com a meta-base pronta, os meta-exemplos foram

submetidos a 4 algoritmos de meta-aprendizado:• kNN: com 1 vizinho mais próximo• M5 (indução de árvores de regressão)• Regressão linear• SVM: polinomial e RBF

• Todos eles foram testados nos parâmetros default do WEKA, exceto a SVM

Resultados• A validação cruzada leave-one-out foi utilizada para testar a

precisão dos meta-aprendizes, resultando em 93 treinamentos

• Em seguida, foi observado o erro médio absoluto (RAE) e a correlação entre as respostas dos meta-aprendizes e as saídas desejadas• Um RAE próximo de 100% indica que o algoritmo não é um

regressor útil• A correlação indica a regularidade nos meta-atributos,

informando que podem ser utilizados para predizer o número de neurônios ocultos

Resultados

Conclusão• O melhor erro foi obtido tendo o SVM como meta-aprendiz

(52,85%)

• O meta-aprendizado ainda é menos custoso que abordagens com algoritmos de busca

• Trabalhos futuros• Melhorar a precisão do meta-aprendizado através de uma melhor

seleção de meta-atributos• Aplicação em MLP treinada com backpropagation

Referências• LUCAS, T. D. P. ; PRUDENCIO, R. B. C. ; LUDERMIR, T. B. ;

SOARES, C. . Meta-aprendizado para otimização de parâmetros de redes neurais. In: VIII Encontro Nacional de Inteligência Artificial (ENIA), 2011, Natal. Anais do Encontro Nacional de Inteligência Artificial 2011, 2011.

• http://www.lbd.dcc.ufmg.br/colecoes/enia/2011/0061.pdf