uma análise da aplicaçãp do modelo de rede neural repart em comitês de classificadores araken de...
TRANSCRIPT
Uma Análise da aplicaçãp do Uma Análise da aplicaçãp do Modelo de Rede Neural RePART Modelo de Rede Neural RePART em Comitês de Classificadoresem Comitês de Classificadores
Araken de Medeiros Santos
Anne Magály de Paula Canuto
Orientadora
ROTEIROROTEIRO
Trabalhos anteriores
Motivação
Objetivos
Redes Neurais e Comitês
Metodologia dos experimentos
Análise dos resultados experimentais
Considerações Finais
Trabalhos Futuros
TRABALHOS ANTERIORESTRABALHOS ANTERIORES
Análise comparativa do desempenho do
RePART com o FA, AIC e MLP
RePART
• Estrutura menos complexa
• Desempenho igual ou superior aos demais
modelos
MOTIVAÇÃOMOTIVAÇÃO
Qual o comportamento do RePART
em Comitês de classificadores?
OBJETIVOSOBJETIVOS
Definir o impacto, em termos de
acurácia, que a utilização do RePART
em comitês utilizando modelos ARTMAP
OBJETIVOSOBJETIVOS
Análises adicionais em termos de:
• Número de classificadores base
• Número de tipos de classificadores base
• Estratégias de aprendizado de comitês
• Relacionamento entre acurácia e
diversidade
ART ART (Adaptive Resonance Theory)(Adaptive Resonance Theory)
Dilema estabilidade-plasticidade
RNA incremental
Grau de similaridade
Aprendizagem não-supervisionada
ART x Fuzzy ARTART x Fuzzy ART
Mesma estrutura
ART => teoria dos conjuntos clássica
Fuzzy ART => teoria dos conjuntos fuzzy
Cálculo dos neurônios F2
ART => AND booleano (x*y)
Fuzzy ART => AND fuzzy [min(x, y)]
,j
j
jw
wIT
,
j
j
jw
wIT
,j
j
jw
wIT
ARTMAP/Fuzzy ARTMAPARTMAP/Fuzzy ARTMAP
Dois módulos ART/Fuzzy ART
• ARTa => padrão de entrada
• ARTb => saída desejada
Map Field
Aprendizagem supervisionada
ESTRUTURA DO ARTMAPESTRUTURA DO ARTMAP
I = (a, 1-a)
a b
Wj
J = (b, 1-b)
PROBLEMAS DO ARTMAPPROBLEMAS DO ARTMAP
Sensibilidade a ruídos
Proliferação de categoria
Má classificação (1 vencedor)
ARTMAP-ICARTMAP-IC
Mesmo processo de aprendizagem
Melhorias na fase de reconhecimento
Suavizar o problema de má classificação
Codificação distribuída (grupo de vencedores)
Parâmetro contador de instância
RePARTRePART
Suavizar problemas de proliferação de
categoria e má classificação Codificação distribuída (grupo de vencedores +
grupo de perdedores) Parâmetro contador de instância Mecanismos Adicionais:
• Vigilância variável individual (proliferação de
jhcategorias)• Recompensa/Punição (má classificação)
Vigilância VariávelVigilância Variável
Dilema bias/variância Individual Freqüência relativa de ativação (RFA)
Inversa da média relativa de ativação (RIAA)
k
k
TN
N
c
ctRFA
jkj
ii *001.1*)(
ΔRIAA ΔRFA 1)-(tVig (t)Vig ii
RECOMPENSA/PUNIÇÃORECOMPENSA/PUNIÇÃO
Vencedores => recompensa
Perdedores => punição
Má classificação
APRENDIZAGEMAPRENDIZAGEM
Semelhante ao FA e AIC
Diferença básica => cálculo das
vigilâncias de todos os neurônios
RECONHECIMENTORECONHECIMENTO
Neurônios F2 de ARTa
Ranking dos neurônios
Divisão em vencedores e perdedores
Neurônios Map Field => duas fases
NEURÔNIOS MAP FIELDNEURÔNIOS MAP FIELD
jjjk
jjj
jjjkk Rw
Tc
TcwU *
*
**
jjjk
jjj
jjjkk Pw
Tc
TcwU *
*
**
),()(1
N
kkUMaxIW
Comitês de Classificadores Comitês de Classificadores (1/4)(1/4)
M 1
M 2
M 3
M n
•
•
•
Módulo Combinador de Decisão
Padrão
Desconhecido
Decisão
Final
Comitês de Classificadores(2/4)Comitês de Classificadores(2/4)
Como combinar as saídas dos classificadores?
Como criar os classificadores membros do comitê?
Que métodos levam a comitês mais efetivos?
Comitês de Classificadores (3/4)Comitês de Classificadores (3/4)
Boosting• Processo incremental• Atribuição de pesos aos padrões de treinamento • A cada passo do boosting, a distribuição do
conjunto de treinamento é alterado• Variações:
Aggressive
Conservative
Inverse
Comitês de Classificadores Comitês de Classificadores (4/4)(4/4)
Diversidade• Diferença de generalização
• Não há vantagens em se combinar
classificadores idênticos (que generalizem
da mesma forma)
• Medidas de diversidade
Experimentos (1/5)Experimentos (1/5)
Bases de dados Breast-Cancer Database Satimage Database
Experimentos (2/5)Experimentos (2/5)
Métodos de combinação • Soma• Árvore de decisão• MLP• RBF• Naive Bayesian• KNN• SVM
Experimentos (3/5)Experimentos (3/5)
Boosting• Agressive Boosting• Conservative Boosting• Inverse Boosting
Experimentos (4/5)Experimentos (4/5)
Validação cruzada : 10 gruposTeste de Hipótese
• T-teste de variância combinada
Comitês Homogêneos e Heterogêneos• 3, 6, 12, 24 e 48 classificadores base• Diferentes tipos de classificadores
• 0, 33, 66 e 100% RePART
Experimentos (3/5)Experimentos (3/5)
Medidas de diversidade• Medida de Entropia• Q-estatístico• Medida de Desacordo• Medida de Dupla-Falha
Resultados ExperimentaisResultados Experimentais
Classificadores Individuais
• RePART apresentou uma taxa de erro estatisticamente inferior à do Artmap-IC e Fuzzy Artmap, mesmo com uma complexidade de 30% a menos.
• O aumento no número de classificadores ocasionou um aumento no erro médio
BreastCancer Satimage
Resultados ExperimentaisResultados Experimentais
Individuais vs. Comitês• Os comitês com 3, 6, 12, 24 e 48 classificadores
base apresentaram uma taxa de erro inferior aos classificadores individuais.
• Verificou-se significância estatística dos comitês com relação ao Fuzzy Artmap e Artmap-IC
• Com relação ao RePART verificou-se significância estatística apenas em alguns casos
Resultados ExperimentaisResultados Experimentais
3 Classificadores base
• Menor Taxa de Erro: Naive Bayesian
• Influência significante do RePART : • Base de Câncer: SVM e Soma
• Base SatImage: Naïve Bayesian, KNN e RBF
• Maior Impacto do RePART: Soma (Câncer) e RBF(SatImage)
BreastCancer Satimage
Resultados ExperimentaisResultados Experimentais
3 Classificadores base
• Comitê com RePART apresentaram taxa de erro estatisticamente inferior aos que não possuem RePART
BreastCancer Satimage
Resultados ExperimentaisResultados Experimentais
3 Classificadores base
• A influência do RePART na diminuição do erro médio dos comitês é estatisticamente significante
• O uso do RePART em comitês com 3 classificadores base melhorou o desempenho
BreastCancer Satimage
Resultados ExperimentaisResultados Experimentais
6 Classificadores base
• Menor Taxa de Erro: Naive Bayesian e
• Influência significante do RePART : • Base de Câncer: MLP, SVM e Soma
• Base SatImage: Naive Bayesian , SVM, RBF e Soma
• Maior Impacto do RePART: Soma (Câncer) e RBF (SatImage)
BreastCancer Satimage
Resultados ExperimentaisResultados Experimentais
6 Classificadores base
• Comitê com RePART apresentaram taxa de erro estatisticamente inferior aos que não possuem RePART
BreastCancer Satimage
Resultados ExperimentaisResultados Experimentais
6 Classificadores base
• A influência do RePART na diminuição do erro médio dos comitês é estatisticamente significante
• O uso do RePART em comitês com 6 classificadores base melhorou o desempenho
BreastCancer Satimage
Resultados ExperimentaisResultados Experimentais
12 Classificadores base
• Menor Taxa de Erro: Naive Bayesian
• Influência significante do RePART : • Base de Câncer: MLP e Soma
• Base SatImage: Naive Bayesian , MLP, e Árvore de decisão
• Maior Impacto do RePART: Soma (Câncer) e MLP(SatImage)
BreastCancer Satimage
Resultados ExperimentaisResultados Experimentais
12 Classificadores base
• Comitê com RePART apresentaram taxa de erro estatisticamente inferior aos que não possuem RePART
BreastCancer Satimage
Resultados ExperimentaisResultados Experimentais
12 Classificadores base
• A influência do RePART na diminuição do erro médio dos comitês é estatisticamente significante
• O uso do RePART em comitês com 12 classificadores base melhorou o desempenho
BreastCancer Satimage
Resultados ExperimentaisResultados Experimentais
24 Classificadores base
• Menor Taxa de Erro: Naive Bayesian(Câncer) e SVM(SatImage)
• Influência significante do RePART : • Base de Câncer: MLP, RBF, SVM e Soma
• Base SatImage: Árvore de decisão
• Maior Impacto do RePART: Soma (Câncer) e MLP(SatImage)
BreastCancer Satimage
Resultados ExperimentaisResultados Experimentais
24 Classificadores base
• Comitê com RePART apresentaram taxa de erro estatisticamente inferior aos que não possuem RePART
BreastCancer Satimage
Resultados ExperimentaisResultados Experimentais
24 Classificadores base
• A influência do RePART na diminuição do erro médio dos comitês é estatisticamente significante
• O uso do RePART em comitês com 24 classificadores base melhorou o desempenho
BreastCancer Satimage
Resultados ExperimentaisResultados Experimentais
48 Classificadores base
• Menor Taxa de Erro: Naive Bayesian e RBF(Câncer) e SVM(SatImage)
• Influência significante do RePART : • Base de Câncer: MLP, SVM e Soma
• Base SatImage: Árvore de decisão e MLP
• Maior Impacto do RePART: Soma (Câncer) e MLP(SatImage)
BreastCancer Satimage
Resultados ExperimentaisResultados Experimentais
48 Classificadores base
• Comitê com RePART apresentaram taxa de erro estatisticamente inferior aos que não possuem RePART
BreastCancer Satimage
Resultados ExperimentaisResultados Experimentais
48 Classificadores base
• A influência do RePART na diminuição do erro médio dos comitês é estatisticamente significante
• O uso do RePART em comitês com 48 classificadores base melhorou o desempenho
BreastCancer Satimage
Resultados ExperimentaisResultados Experimentais
Homogêneos vs. Heterogêneos
• Em geral, comitês Heterogêneos apresentam taxa de erro inferior à taxa dos Homogêneos
• O aumento no número de tipos de classificadores base ocasionou aumento na diversidade
BreastCancer Satimage
Resultados Experimentais Resultados Experimentais
Aggressive, Conservative e Inverse
• Menor taxa de erro:• Câncer: Conservative, Inverse e Aggressive
• SatImage: Aggressive, Conservative e Inverse
• Bases com características distintas
• Houve pouca variação no grau de diversidade apresentado pelas três variações do Boosting
BreastCancer Satimage
Resultados ExperimentaisResultados Experimentais
Número de Classificadores base
• O aumento no número de classificadores base ocasiona diminuição na taxa de erro
• Ao aumentar demasiadamente as melhorias começão a degenerar
• Comportamento da diversidade bastante semelhante em ambas as bases de dados
BreastCancer Satimage
Resultados ExperimentaisResultados Experimentais
Número de Classificadores base
• Entropia: aumento no grau de diversidade
• Dupla-falha: redução no grau de diversidade• O aumento no número de classificadores aumenta a probabilidade dos
classificadores apresentarem o mesmo resultado
BreastCancer Satimage
Resultados ExperimentaisResultados Experimentais
Influência do RePART
• A inclusão do RePART ocasionou uma diminuição na taxa de erro
• Aumento no grau de diversidade: Entropia, Q-Estatístico e desacordo
• Redução no grau de diversidade: Dupla-falha
BreastCancer Satimage
ConsideraçõesConsiderações FinaisFinais
Combinar classificadores ARTMAP melhorou os resultados em relação aos classificadores Individuais
Comitês Heterogêneos em geral apresentam desempenho e grau de diversidade superior aos Comitês Homogêneos
O aumento no número de classificadores base causou uma diminuição na taxa de erro e aumento no grau de diversidade
Ao aumentar demasiadamente o número de classificadores o desempenho é degenerado
ConsideraçõesConsiderações FinaisFinais
As três variantes do boosting apresentaram resultados bastante semelhantes
Comitês com maior grau de diversidade em geral apresentam taxa de erro igual ou inferior aos comitês com menor grau de diversidade
O RePART influência positivamente o desempenho de comitês compostos por classificadores ARTMAP
ConsideraçõesConsiderações FinaisFinais
As três variantes do boosting apresentaram resultados bastante semelhantes
Comitês com maior grau de diversidade em geral apresentam taxa de erro igual ou inferior aos comitês com menor grau de diversidade
O RePART influência positivamente o desempenho de comitês compostos por classificadores ARTMAP
Trabalhos FuturosTrabalhos Futuros
Realizar uma investigação interclasse, ou seja, utilizando comitês que apresentam além dos modelos baseados no ARTMAP, modelos de redes neurais de outras classes, como por exemplo o Fuzzy MLP;
Realizar uma investigação mais aprofunda acerca da relação entre a diversidade e a acurácia dos comitês, assim como buscar novos métodos de quantificar e analisar a diversidade sob a ótica da influência na acurácia de comitês
Realizar um estudo mais aprofundado para identificar qual das variantes do boosting apresentam melhorias mais significativas no desempenho de comitês
FIM