©2000 germano vasconcelos redes de funções de base radial radial basis functions (rbfs) germano...

©2000 Germano Vasconcelos

Redes de Funções de Base Radial Radial Basis Functions (RBFs)

Germano C. Vasconcelos

Centro de Informática - UFPE


Introdução“Em uma RBF, a rede é definida do ponto de vista

de um problema de aproximação de funções”

Uma superfície F no espaço multidimensional é definida como uma combinação linear de funções

de base radial

F comb. linear de funções de base radial


Estrutura de uma RBF

x1

Y=F(X)

x2

xn

2|X-C2|

1|X-C1|

3|X-C3|

k|X-Cn|

bias

camadade entrada

camada intermediária

camadade saída

Cj w1

w3

wk

w2

w0

F(X)=jwj.j|X-Cj|


Características das RBFs

• Estrutura do tipo feedforward com uma mistura de treinamento supervisionado e não-supervisionado

• Normalmente uma camada de neurônios que computam as funções de base radial

• Os pesos na camada intermediária representam centroids

• Os pesos na camada de saída ponderam as saídas da camada intermediária



• São aproximadores universais de funções

• Estimam a probabilidade a posteriori do ponto de vista Bayesiano

• Apresentam requerimentos de memória em geral mais altos que redes do tipo MLP



• Estratégias de treinamento diferentes para as funções radiais, os centroids e os pesos da camada de saída

• Regra de propagação = função radial

Ex: Distância Euclideana netj = |X-C| = (xi - ci)2

• Função de ativação = função local

Ex: Gaussiana oj = f(netj) = exp(- netj2/cj

2)


Trabalhos com RBFs

• Broomhead & Lowe (1988)

• Moody & Darken (1989)

• Poggio & Girosi (1990)

• Niranjan & Fallside (1990)

E muitos outros ...


Treinamento

• Três conjuntos de parâmetros a serem estimados

• As larguras d das funções básicas• Os centros Cj

• Os pesos Wji da camada de saída


As Larguras d

• Valor definido a priori

• Técnica de gradiente descendente

• Heurística do vizinho mais próximo


Os Centros Cj

• Distribuir uniformemente ou aleatoriamente

• Tomar uma amostra do conjunto de treinamento

• Método não supervisionado de agrupamento (clustering)

• Gradiente descendente


Pesos Wji na Camada de Saída

• Processo de otimização linear

• Solução de mínimo global

Esquema de Correçãode Erros

Mínimo ErroQuadrado (LMS)

Newton-likeMethod

Procedimento direto Manipulação dematrizes


Manipulação de Matrizes(Pseudo-inverse method)

E[f] = np (yp – f(xp ))2

\

f(xp) = wj. (|xp – cj|)

W = (GT . G + Go )-1 . GT. Y

onde...


(|x1 – c1|) (|x1 – c2|) ... (|x1 – c3|) (|x2 – c1|) (|x2 – c2|) ... (|x2 – ck|)

(|xp – c1|) (|xp – c2|) ... (|xp – ck|)

G=

(|c1 – c1|) (|c1 – c2|) ... (|c1 – c3|) (|c2 – c1|) (|c2 – c2|) ... (|c2 – ck|)

(|cp – c1|) (|cp – c2|) ... (|cp – ck|)

Go=


Treinamento por Gradiente Descendente

ej = dj – F (X)

= dj - wi. (||xi – ti||ci)

1. Camada de saida

E(n)/ Wi(n) = ej(n). (||xi – ti(n)||ci)

Wi (n+1) = Wi(n) - 1 E(n)/ Wi(n) i=1,2…,M



2. Centros

E(n)/ ti(n) = 2 Wi ej(n). ’(||xj – tj(n)||ci) -1 [xj – tj(n)]

ti (n+1) = ti(n) - 2 E(n)/ ti(n) i=1,2…,M



3. Larguras das funções

E(n)/ -1 i(n) = -Wi ej(n). ’(||xj – tj(n)||ci) Qji(n)

Qji(n) = [xj – ti(n)] [xj – ti(n)] T

ci-1i (n+1) = -1

i (n) - 3 E(n)/ -1i (n) i=1,2…,M


RBFs Construtivas• Um conjunto de modelos RBFs tem sido

desenvolvidos dentro do paradigma construtivo...

• DDA (Dynamic Decay Adjustment)– Berthold & Diamond (1995)


Princípio de Funcionamento do Algoritmo DDA

B

A+

-

novo padrãode entrada - classe A

Ver Berthold & Diamond - NIPS’7


Funcionamento do Algoritmo DDAVer Berthold & Diamond - NIPS’7


Aplicações• Reconhecimento de voz• Diagnose médica• Reconhecimento de caracteres• Análise de crédito• Reconhecimento de alvos• Classificação de fonemas• Análise de crédito• Previsão e controle


Um Problema Potencial com uma RBF

Considere a figura abaixo:

Mostre que é possível para uma RBF com duas entradas, duas unidades intermediárias e duas saídas definir superfícies de decisão como mostradas. Uma superfície fechada é definida para uma das classes; para a outra classe a superfície é aberta.

©2000 germano vasconcelos redes de funções de base radial radial basis functions (rbfs) germano...

Documents