modelos de redes neurais construtivas para classificação e verificação de padrões

Modelos de Redes Neurais Construtivas para Classificação e

Verificação de Padrões

Juliana Neiva de Gouvêa Ribeiro

Orientador: Germano Crispim Vasconcelos

Departamento de Informática - UFPE

Recife, 23 de Abril de 1999

Motivações

• Redes Feedforward têm sido bastante utilizadas em aplicações de Reconhecimento de Padrões

• Problemas apresentados pelas redes MLP e RBF

• Redes Construtivas X Arquiteturas Fixas

• Redes construtivas pouco investigadas na teoria e na prática

Objetivos

• Investigação dos modelos de Redes Construtivas – Aplicações práticas de Classificação e Verificação de

Padrões– Identificar propriedades, vantagens e deficiências

• Investigação comparativa com redes tradicionais

• Identificação de modificações nos modelos

• Avaliação da solução proposta

Problemas das Redes de Topologia Fixa

• Dilema de definição a priori do número de camadas e unidades intermediárias necessárias para a solução de um dado problema

• Lentidão de processo de treinamento

Redes Neurais Construtivas

• Constróem gradualmente suas próprias estruturas até atingirem uma solução satisfatória

• Configuração inicial mínima

• Adotam estratégias de inserção e treinamento distintas

• Treinam, em geral, mais rápido

Cascade-Correlation

Entradas

+1

Saídas

XXX

X

X

X

XX

XX

XX

UnidadeEscondida 2

UnidadeEscondida 1

C =p(ypoyo)(epo -eo)|

Características da Cascor

• Rede razoavelmente pequena é construída

• Aprendizagem rápida (problema fixo X dança complexa )

• Detectores de características de alta ordem (redes profundas)

A Arquitetura Tower

• Constrói uma torre de TLUs

• Cada nova camada adicionada à rede recebe estímulos da camada de entrada e da camada imediatamente abaixo dela

• O algoritmo utilizado é do tipo perceptron

( pocket with ratchet)

Camada Intermediária 1 Camada Intermediária 2

A Arquitetura Tower

Camada de SaídaCamada de Entrada

A Arquitetura Pyramid

• Constrói uma rede de forma similar à rede Tower

• Cada nova camada recebe estímulos tanto da camada de entrada como de todas as camadas previamente inseridas na rede

• A diferença chave em relação à Cascor é a forma de treinamento das novas unidades

A Rede Upstart

• As unidades são inseridas em uma única camada

• Unidades “filhas” wrongly-on ou wrongly-off corrigem erros das unidades ascendentes que cometeram mais erros

• Algoritmo de treinamento tipo perceptron (Barycentric Correction Procedure - BCP)

A Rede Upstart

...

...

Camada de Saída

Camada de Entrada

Camada Intermediária

Unidade Filha Atual

Filhas Previamente Inseridas

CONEXÃO INDIVIDUAL ENTRE 2 UNIDADESCONEXÃO EM BLOCO

...

A Rede Tiling

• Constrói uma rede em camadas contendo unidades TLUs através de algoritmos do tipo perceptron

• Unidades “mestres” são inseridas na rede de modo a classificar corretamente mais padrões que as unidades mestres das camadas anteriores

• Unidades auxiliares são inseridas nas camadas para se atingir uma representação fiel do problema

A Rede Tiling

Camada Intermediária 1

Unidades “auxiliares”


Camada de Saída

Camada de Entrada

A Rede Perceptron-Cascade

• Baseia-se na estratégia da rede Upstart e constrói uma rede com topologia similar à Cascor

• Utiliza algoritmo do tipo perceptron (Thermal Perceptron)

• Convergência robusta, incluindo unidades de forma bastante otimizada

A Rede Perceptron-Cascade



. . .

Camada de Saída

Conexões em Grupo Conexões Individuais

Camada de Entrada

.

.

.

A Rede DistAl

• Utiliza TLUs esféricas definindo clusters

• Calcula distância entre pares de padrões, utilizando várias métricas de distância

• Tenta classificar o maior número de padrões possível com a inserção de cada unidade

• Treinamento do tipo one-shot

Problemas Práticos de Classificação

• Análise de crédito ao consumidor - CARD

• Diagnóstico de problemas cardíacos - HEART

• Reconhecimento de caracteres manuscritos

Problema Prático de Verificação Investigado

Verificação de Assinaturas

Classificação de Padrões( Estrutura Experimental)

• Foram investigados sete modelos construtivos

• Experimentos preliminares para ajuste de parâmetros

• Esquema extensivo de investigação experimental

• Repetições das melhores simulações para extração de estatísticas como médias e desvios-padrão


• Os resultados relativos à MLP são extraídos do PROBEN1

• Foram realizadas simulações com as redes RBF seguindo o mesmo esquema experimental


• Investigação comparativa entre modelos construtivos e arquiteturas convencionais

• Propriedades de generalização, convergência, tamanhos de redes geradas e tempo de treinamento

Análise Comparativa dos Modelos(Classificação de Padrões)

CascorTowerPyramidDistAlPercCascUpstartTilingMLPRBF

REDE UNID. INTERM DESEMPENHO DP

Análise de Crédito - CARD1

896962710663810

84.00%84.88%86.05%84.35%87.58%90.70%80.23%86.00%88.00%

2.482.411.872.322.122.032.741.030.67





884602710751440

79.00%78.49%79.07%84.06%86.80%86.05%79.05%81.00%82.00%

1.872.912.974.102.971.962.480.860.70





8966027107712420

82.00%79.65%79.07%82.90%84.07%83.72%79.07%81.00%83.00%

1.972.263.453.542.112.532.081.190.70




Detecção de Problemas Cardíacos -HEART1

8969640129129810

82.00%78.70%79.57%79.13%82.72%84.05%76.52%80.00%82.00%

1.962.732.934.032.642.481.980.961.20




Detecção de Problemas Cardíacos - HEART2

8609638129101420

80.00%78.26%78.26%80.87%82.56%81.45%71.74%82.00%82.00%

1.663.112.692.923.032.062.021.141.72




Detecção de Problemas Cardíacos - HEART3

89696371291282460

74.00%70.87%76.09%82.61%80.96%80.78%77.39%76.00%79.00%

1.973.362.382.712.022.652.181.120.48


Reconhecimento de Caracteres

Cascor MLP RBF Cascor MLP RBF

Taxa de Reconhecimento Taxa de Erro

NC

00.150.250.350.450.550.65

8.0%5.3%5.3%3.7%2.6%3.0%1.7%

92.0%89.4%88.2%84.4%80.8%81.3%72.9%

91.1%85.7%80.3%74.9%66.7%55.8% -

8.8%4.5%3.7%3.4%3.0%2.6%2.2%

91.1%84.7%83.2%81.4%80.3%79.1%77.8%

8.8%3.4%1.4%0.5%0.4%0.2% -

Gráfico Comparativo(Número de Épocas Médio)

0

200

400

600

800

1000

1200

Redes Investigadas

Nú

me

ro d

e É

po

ca

s

Considerações sobre Classificação

• Destaque das redes Perceptron-Cascade, Upstart, DistAl e Cascor

• As redes Tower e Pyramid consideram um fator de rejeição, tornando seus resultados mais robustos

• As redes construtivas apresentam desvios-padrão muito altos

Problema Prático de Verificação de Padrões

• Reconhecimento de Assinaturas

• Base de dados contendo imagens de assinaturas juntamente com suas características extraídas

• Exemplos de assinaturas genuínas, falsas habilidosas e falsas simples

• 21 classes foram consideradas

Exemplo de uma Classe de Assinaturas

Assinatura Genuína

Assinatura Falsa Habilidosa

Assinatura Falsa Simples

Modelos Autoassociativos

• Saídas são obrigadas a reproduzirem as entradas

• Geram superfícies de separação fechadas cobrindo os dados de treinamento

• Poucas unidades intermediárias, filtrando as informações mais relevantes

• A verificação é estabelecida através da distância entre os vetores de entrada e saída (maxerr)

Arquiteturas Investigadas

• Cascor autoassociativa

• MLP autoassociativa

• Tower-autoassociativa

• Pyramid-autoassociativa

Extração de Características

• Das imagens de esqueleto, bordas e regiões de alta pressão são extraídas 12 características através da técnica de Momentos

• Para efeito comparativo, foi aplicada a técnica de Análise dos Componentes Principais (PCA)

Modificações Propostas

• Tower e Pyramid originais não adequadas ao paradigma autoassociativo

• Modificações nos mecanismos de treinamento

• Tower-autoassociativa e Pyramid-autoassociativa

Análise Comparativa dos Modelos(Verificação de Padrões)

MLP autoassociativaCascor autoassociativaTowerPyramid

60%70%100%100%

Rede Unidades I II III

1081224

100%100%25%50%

100%100%100%75%

Desempenhos relativos à classe 0



90%70%100%100%


1052424

75%50%0%25%

100%100%50%50%




80%70%100%90%


1081212

75%75%25%25%

100%100%75%75%



MLP autoassociativaCascor autoassociativaTower-autoassociativaPyramid-autoassociativa

60%70%100%100%


108612

100%100%50%75%

100%100%100%100%




90%70%100%80%


1051212

75%50%75%75%

100%100%100%75%




80%70%90%90%


1081212

75%75%75%75%

100%100%100%75%


Número de Épocas

Os número de épocas médios para as redes MLP, Cascor, Tower-autoassociativa e Pyramid-autoassociativa foram 100, 100, 1500 e 1500 épocas, respectivamente

Análise Comparativa de Técnicas de Extração de Características

MLP autoassociativaCascor autoassociativaMLP com PCACascor com PCA

60%70%70%80%


108108

100%100%50%75%

100%100%100%100%


Análise Comparativa de Técnicas de Extração de Características

MLP autoassociativaCascor autoassociativaMLP com PCACascor com PCA

90%70%60%70%


105108

75%50%50%50%

100%100%50%75%


Conclusões

• Para os problemas de Classificação de Padrões, as redes construtivas se mostraram bastante eficientes

• Os melhores resultados foram apresentados pelas redes Perceptron-Cascade, Upstart, DistAl e Cascor

• Os resultados foram muito próximos e muitas vezes superiores aos obtidos com a MLP e a RBF

Conclusões

• Tower e Pyramid originais não são apropriadas à verificação de padrões sob a autoassociação

• Foi realizada uma adaptação destes modelos ao paradigma autoassociação

• Em relação à taxa de reconhecimento de assinaturas genuínas, as redes construtivas obtiveram, em geral, resultados melhores que a rede MLP autoassociativa (70% a 100%)

Conclusões

• A rede Pyramid-autoassociativa obteve os melhores resultados

• Em relação às taxas de rejeição de assinaturas falsas simples, as redes apresentaram resultados bastante satisfatórios e semelhantes aos da MLP

(entre 75% e 100%)

Conclusões

• Os resultados relativos à rejeição de falsas habilidosas foram aquém do desejado para os

dois modelos de redes (às vezes chegando a 50%)

• Os índices alcançados com a aplicação da técnica de PCA foram inferiores aos obtidos com a técnica de Momentos, porém considerados satisfatórios

Conclusões

Através dos resultados obtidos, conclui-se seguramente que os modelos construtivos

podem ser considerados como uma alternativa aos modelos mais tradicionais de

redes feedforward

Contribuições

• Avaliação dos modelos tradicionais MLP e RBF nas tarefas práticas investigadas

• Investigação comparativa dos modelos construtivos Cascade-Correlation, Tower, Pyramid, DistAl, Upstart, Tiling e Perceptron-Cascade em problemas reais de classificação de padrões

Contribuições

• Investigação comparativa dos modelos construtivos Cascade-Correlation, Tower e Pyramid, sob a abordagem autoassociativa, em um problema real de verificação de padrões

• Modificação dos algoritmos Tower e Pyramid, adequando-os à aplicação de verificação de padrões

Trabalhos Futuros

• Investigar todos os demais modelos construtivos na tarefa de verificação de padrões

• Investigar os modelos utilizando um conjunto ainda mais extenso de problemas práticos de classificação, devido ao patamar incipiente das pesquisas

Trabalhos Futuros

• Investigar os modelos construtivos em outros tipos de problemas: previsão, otimização, controle e aproximação de funções

• Investigar outros modelos de redes construtivas como o RBF-DDA

• Investigar a adequabilidade das redes construtivas ao paradigma de aprendizagem recorrente

Publicações Geradas

1. An Experimental Evaluation of the Cascade-Correlation Network in Pattern Recognition Problems. Fourth International Conference on Neural Information Processing - ICONIP'97, New Zealand, Springer Verlag Singapore, 1133-1136, 1997

2. Verificação Off-line de Assinaturas Baseada em uma Arquitetura Cascade-Correlation Autoassociativa. V Simpósio Brasileiro de Redes Neurais, 305-310, 1998

3. A Comparative Study of the Cascade-Correlation Architecture in Pattern recognition Applications . IEEE Computer Society, IV th Brazilian Symposium on

Neural Networks, (1):31- 40,1997

Publicações Geradas

4. Off-Line Signature Verification using an Autoassociator Cascade-Correlation Architecture. A ser publicado nos anais da IJCNN’99 (International Joint Conference on Neural Networks), Washington, 10-16 de julho de 1999

5. Redes Neurais Construtivas para Classificação de Padrões, submetido ao ENIA’99

6. Constructive Neural Networks for Pattern Classification and Verification, submetido ao ICONIP’99

7. Arquiteturas Autoassociativas Construtivas para Verificação Automática de Assinaturas, submetido ao CBRN’99

“Não chegar ao FIM ao que a tua grandeza...” Goethe

modelos de redes neurais construtivas para classificação e verificação de padrões

Documents