projeto e implementação de circuitos classificadores digitais com controle da generalização...

Projeto e Implementação de Circuitos Classificadores Digitais com Controle da Generalização Baseado na Regra

do Vizinho-mais-próximo Modificada

Autor: Wilian Soares Lacerda

Orientador: Antônio Pádua Braga

UFMG – Escola de Engenharia – PPGEE

Belo Horizonte - 22 de fevereiro de 2006

Tese de doutorado - Universidade Federal de Minas Gerais - Escola de Engenharia - PPGEE 2

Sumário• Introdução• Objetivos• Síntese de circuitos• Controle da generalização• Regra do vizinho-mais-próximo• Métricas de distância• Metodologia de projeto• Seleção das amostras• Experimentos• Processador NIOS II• Implementação

• Conclusões• Contribuições• Propostas de continuidade• Agradecimentos


Introdução

• Classificadores de padrões são sistemas capazes de determinar a classe (ou categoria) de uma dada amostra (ou padrão) dentre um conjunto de categorias conhecidas.

• Aplicações:

reconhecimento automático da fala;

identificação de manuscritos e caracteres ópticos;

identificação de seqüência de DNA;

reconhecimento de face humana;

identificação para radar.


• Classificadores de padrões binários podem ser implementados em circuitos digitais combinacionais utilizando um algoritmo de minimização lógica.

• Um algoritmo de minimização lógica gera a função Booleana com o menor número de produtos (ou somas), de tal forma que o circuito contenha menos portas lógicas.

• Minimizar o número de entradas por porta AND e o número total de portas AND em um circuito VLSI é análogo a minimizar o número de antecedentes por regra e o número total de regras em uma base de regras em inteligência artificial.


• Em problemas de classificação é mais interessante acertar a resposta para os dados desconhecidos do que acertar a resposta para os dados conhecidos.

• O classificador deve errar nos dados de treinamento para acertar mais nos dados desconhecidos.

• Para que um circuito combinacional digital tenha uma boa capacidade de generalização, não basta apenas utilizar o minimizador Booleano para o projeto do circuito.


Objetivos• Projeto e implementação de circuitos digitais

combinacionais para atuarem como classificadores de padrões binários com capacidade de generalização.

• Desenvolvimento de um algoritmo de seleção mínima de amostras baseada na Regra do Vizinho-mais-próximo para que a fase de projeto do classificador necessite de menos recursos de armazenamento e processamento, e ainda melhorando a capacidade de generalização.

• Implementação de um sistema classificador de padrões binários em um circuito embarcado com características de portabilidade, funcionamento rápido em tempo real e com treinamento on-line para atuar em problemas críticos de classificação de padrões.


Síntese de circuitos digitais

Suponha o conjunto de dados binários na forma de tabela:

x y z S

0 0 0 1

0 0 1 0

0 1 1 1

0 1 0 1

1 1 0 1

1 1 1 X

1 0 1 0

1 0 0 0

Entradas: x, y, z

Saída: S


O mesmo conjunto de dados binários na forma gráfica:


Métodos para determinação da função Booleana (algoritmos de minimização lógica):

• Mapa de Karnaugh

• Método tabular de Quine-McCluskey

• Espresso

• BOOM


Exemplo de cobertura para minimização lógica:

S = y + z´.x´


Outro exemplo de cobertura:

S = z´.x´ + z´.y + y.x´


Melhor superfície de separação entre as classes “quadrado” e “círculo”:

S = z´.x´ + z´.y + y.x´


Implementação do circuito lógico:

• PAL - Programmable Array Logic

• PLA - Programmable Logic Array

• FPGA - Field Programmable Gate Array


Controle da generalização

Em uma Máquina de Vetores de Suporte (SVM), o hiperplano ótimo de separação das classes é determinado em função das amostras que se encontram entre as margens (i = C) e nas margens (0 < i < C). Amostras externas às margens (i = 0) são ignoradas.


No treinamento de uma máquina de aprendizado com técnica de Boosting, os padrões com maior erro de classificação tem sua probabilidade de apresentação aumentada. Estes padrões são justamente aqueles mais próximos da fronteira de decisão das classes.


• É possível controlar a forma da superfície de separação das classes determinada pelo circuito digital por meio da escolha seletiva dos dados de projeto (treinamento). Os dados descartados se tornam don´t care os quais permitem a expansão dos hipercubos formados durante o processo de minimização Booleana.

• As melhores amostras são aquelas que estão fora das margens de separação das classes, porém perto das margens.

• A superfície de separação não deve ser tão suave a ponto de privilegiar uma resposta (underfitting), e nem tão encurvada a ponto de contornar todos os dados de treinamento (overfitting). Este é o conhecido “dilema entre a polarização e a variância”.


Regra do Vizinho-mais-próximoSuponha um conjunto X de n amostras xi:

X = {x0,x1,...,xn-1}, i = 0,1,...,n-1onde:• xi={xi0,xi1,...,xi(d-1)} • d é a dimensão das amostras de entrada• cada amostra xi é associada a uma das possíveis classes

• xi X é a amostra mais perto a um ponto de teste xj (j i)

A regra do vizinho-mais-próximo (NN) para classificação de xj é associar a ele o rótulo associado com xi.


Exemplo de amostras de valores reais com duas dimensões e duas classes:


Regra do Vizinho-mais-próximo:


Vantagens:

• Simplicidade;

• No caso de grande quantidade de amostras, esta regra simples tem uma probabilidade de erro a qual é menor do que o dobro da probabilidade de erro da regra de Bayes.


Desvantagens:

• Alto custo de armazenamento das amostras;

• Alto custo no cálculo das distâncias entre as amostras de treinamento e a amostra desconhecida;

• Depende diretamente da métrica de distância utilizada;

• A taxa de convergência diminui na medida em que a dimensionalidade do espaço de características incrementa.


Regra do k Vizinho-mais-próximo (k = 3):


Métricas de distância

• Euclidiana: 2

1

1

2

)(),(

d

kkkbaD ba

• Overlap:

baba

ba

ba

kk

kk

kk

d

kkk

baD

se 1

se 0,

,),(1


• VDM - Value Difference Metric (Stanfill & Waltz, 1986):

• Distância de Discriminação (Alexander, Clarke & Braga, 1994):

0

11|1

),(1

zP

iPziP

babaD

kkk

kk

d

kk

d

k

C

ikiki bcpacpbaD

1 1

)|()|(),(


• Métrica de Bayes (Short & Fukunaga, 1981):

C

kkk

iii

C

iii

cpcap

cpcapacp

bcpacpbaD

1

1

)()|(

)()|()|(

)|()|(),(


• VDM modificada:

• Nova métrica:

Cxcp

bcpacpbaD

ki

d

k

C

ikiki

1)0|(

)|()|(),(1 1

d

k

C

iikik cbpcapbaD

1 1

)|()|(),(


Metodologia de projeto

• O método proposto para projeto do circuito classificador digital seleciona os dados de treinamento que estão fora da margem de separação das classes, porém perto das margens. O algoritmo de seleção é baseado na Regra do Vizinho-mais-próximo.

• O subconjunto de dados selecionados é utilizado pelo algoritmo de minimização Booleana que, pela expansão dos hipercubos, projeta um classificador com uma superfície suave de separação das classes (Lacerda & Braga, 2005).


Dados iniciaisDados iniciais

Seleção das amostras para treinamento

(RSR)

Minimizador Booleano

(Espresso)

Circuito digital

classificador

Fluxograma da metodologia de projeto proposta:


1. Obtenção do subconjunto condensado (Peter Hart, 1968 ; K. Gowda, 1979)

2. Redução do subconjunto condensado (Geoffrey Gates, 1972)

3. Subconjunto restante (editing, Dennis Wilson, 1972)

4. Redução do subconjunto restante (Lacerda & Braga, 2004)

Algoritmo de seleção de amostras (RSR)


Dados iniciais (2 classes)


Etapa 1: Subconjunto condensado


Etapa 2: Subconj. condensado reduzido


Etapa 3: Subconjunto restante


Etapa 4: Subconj. restante reduzido (k=5)


Experimento com dados binários sintéticos

• Dados binários gerados artificialmente• 10 conjuntos de dados• 2974 amostras em cada conjunto• Amostras de 24 bits de largura• 2 classes• Classes com sobreposição espacial• 80% dos dados para treinamento e 20% para

teste


Histograma dos dados sintéticos:


No próximo gráfico é apresentado o número médio de acertos de classificação dos dados de teste utilizando os dados de treinamento como referência para o kNN, em diferentes métricas de distância.


No próximo gráfico, é apresentado o número médio de amostras de treinamento selecionadas pelo algoritmo RSR, em diferentes métricas de distância.

O parâmetro k é utilizado pelo RSR e determina a quantidade de amostras selecionadas.


No próximo gráfico, é apresentado o número médio de acertos de classificação dos dados de teste utilizando o 1-NN, tendo como referência os dados de treinamento selecionados pelo algoritmo RSR, em diferentes métricas de distância.

O parâmetro k é utilizado pelo RSR e determina a quantidade de amostras selecionadas.


No próximo gráfico, é apresentado o número médio de acertos de classificação dos dados de teste utilizando o circuito digital gerado com o minimizador Booleano, tendo como dados de projeto os dados de treinamento selecionados pelo algoritmo RSR, em diferentes métricas de distância. O parâmetro k é utilizado pelo RSR e determina a quantidade de amostras selecionadas.


K=7


No próximo gráfico, é apresentado o número médio de termos de produto do circuito gerado com o minimizador Booleano, tendo como dados de projeto os dados de treinamento selecionados pelo algoritmo RSR, em diferentes métricas de distância. O parâmetro k é utilizado pelo RSR e determina a quantidade de amostras selecionadas.


Resultados obtidos com diferentes métodos para obtenção da função lógica do circuito digital classificador com Espresso

Método N.amostrasEspresso

[s]N.produtos

Acertos [%]

Sem filtragem2380

(100%)2 ± 0,5 65 ± 3 84,0 ± 1,6

RSR

(k=7,VDMm)

1129±44

(47,4 ±1,8%)< 1 19 ± 1 89,1 ± 1,2

MLP

(32 nodos)

2380

(100%)6 ± 1 30 ± 2 89,1 ± 1,1

SVM

(rbf,w=10,c=1)

2380

(100%)5 ± 1 31 ± 1 88,6 ± 0,8


Processador NIOS II• Softcore de processador RISC, implementável em

FPGA da Altera®

• Instruções, dados e endereçamento de 32 bits• 32 registradores• 32 fontes de interrupção• Multiplicação e divisão de 32 bits• Cache configurável de instruções e dados• Módulo de depuração• Ambiente de desenvolvimento Eclipse IDE e C++• Desempenho em torno de 150DMIPS• Facilidade para inclusão de novas instruções• 3 versões de softcore: economic, standard e fast• Vários periféricos e controladores disponíveis


Kit de desenvolvimento da Altera® com FPGA Cyclone II 2C35


Implementação com NIOS II em FPGA

Interface JTAG

CPU 1

CPU 2 CPU 3Memória comum

PALLCD

Entradas binárias

Saída binária

Controle

RSR Espresso


Tempos de execução

PlataformaRSR [s]

(k=10,VDM)N. amostras Espresso [s] N. produtos

PC P4 - 1385 1,8 ± 0,4 37

PC P4 49 ± 2 831 1,0 ± 0,0 13

NIOS II - 1385 486,5 ± 0,5 37

NIOS II 21403 ± 39 831 425,8 ± 43,6 13

*NIOS II 20097 ± 25 831 425,8 ± 43,6 13

* Instrução customizada para cálculo de distância absoluta


Conclusões• O algoritmo RSR seleciona as melhores

amostras que representam a categoria dos dados para o projeto do circuito classificador binário.

• Circuitos digitais podem trabalhar como classificadores e ter boa generalização se o algoritmo RSR for utilizado como pré-processamento dos dados de projeto do circuito.

• O método RSR reduz a quantidade necessária de amostras para a geração do circuito digital classificador pelo minimizador Booleano e, conseqüentemente, o custo de armazenamento e processamento do minimizador.


• O algoritmo RSR pode ser implementado em hardware e/ou software em conjunto com o minimizador Booleano para geração on-line de classificadores de padrões binários.

• Circuitos classificadores digitais possuem tempo de atraso de resposta devido ao atraso das portas lógicas.

• Sistemas de hardware baseados em FPGA facilitam e agilizam a implementação de circuitos multiprocessados e permitem a geração de circuitos combinacionais on-line.


Principais Contribuições

• Um novo método de seleção de amostras baseado no kNN para treinamento de máquinas de aprendizado.

• Uma nova métrica de distância entre padrões baseada nos coeficientes da verossimilhança da Regra de Bayes.

• Uma modificação na métrica VDM.


• Uma dedução probabilística da Distância de Discriminação.

• Um esquema de projeto de circuito digital combinacional para operar como classificador de padrões binários com capacidade de generalização.

• Uma proposta de implementação em hardware/software de um sistema classificador autônomo, portátil e versátil com capacidade de treinamento on-line e resposta com tempo de atraso mínimo.


Propostas de continuidade

• Testar o método proposto utilizando outros bancos de dados binários.

• Utilizar o método de seleção (RSR) para aplicação em conjunto com outros métodos de aprendizado de máquina (ex.: SVM).

• Converter as implementações em software para hardware.

• Desenvolver outras métricas específicas para padrões binários.


• Determinar as condições de contorno do problema para as quais cada métrica descrita é mais indicada que outra.

• Desenvolver o método de seleção de amostras para mais de duas classes.

• Melhoramentos no algoritmo de seleção de amostras.


Agradecimentos

• À Deus, por tudo.

• À minha esposa Adriana e minha filha Yasmim pela compreensão.

• Ao orientador Prof. Antônio de Pádua Braga, pelas horas de dedicação e disponibilidade.

• Aos amigos do LITC e CPDEE, pela ajuda nos momentos mais necessários.


• Aos funcionários do CPDEE, pelo profissionalismo.

• À CAPES, pela ajuda financeira.

• À Universidade Federal de Lavras por minha liberação.

• À banca examinadora pelo trabalho.

• E a todos presentes pela atenção.

projeto e implementação de circuitos classificadores digitais com controle da generalização...

Documents