Universidade Estadual de CampinasInstituto de Matemática, Estatística e Computação CientíficaDepartamento de Matemática Aplicada

Um Estudo Sobre Memórias Associativas RecorrentesExponenciais Fuzzy, Suas Generalizações e Aplicações.

Orientador: Marcos Eduardo Ribeiro do Valle MesquitaE-mail: valle@ime.unicamp.br

Orientanda: Aline Cristina de SouzaE-mail: s.alinedesouza@gmail.com

Resumo

Memórias associativas (AMs, associative memories) são modelos matemáticos inspirados

na capacidade do cérebro humano de armazenar e recuperar informação por associação. Tal

como o cérebro, AMs são também capazes de recuperar uma certa informação armazenada

mesmo quando a entrada corresponde à uma versão incompleta ou corrompida de um item

memorizado. A classe das memórias associativas recorrentes por correlação (RCAMs, re-

current correlation associative memories), introduzida por Chiueh e Goodman no início

dos anos 90, pode ser usada para implementar AMs com grande capacidade de armazena-

mento e excelente tolerância a ruído. Todavia, as RCAMs são projetadas para armazenar

e recuperar padrões bipolares. Neste projeto de pesquisa investigaremos uma versão fuzzy

da classe das RCAMs, chamada classe das memórias associativas recorrentes exponen-

ciais fuzzy (REFAMs, recurrent exponential fuzzy associative memories). Uma REFAM

define recursivamente uma sequência de conjuntos fuzzy obtidos pela soma dos itens me-

morizados ponderados por uma exponencial de uma medida de comparação. Experimentos

computacionais relacionados à recuperação de imagens em tons de cinza corrompidas se-

rão realizados com intuito de avaliar a capacidade de armazenamento e tolerância a ruído

das REFAMs. O desempenho das REFAMs também será avaliado considerando aplicações

tais como classificação, previsão, reconhecimento de padrões e controle.

Palavras-chave: Inteligência computacional, memórias associativas, redes neurais artifi-

ciais, teoria dos conjuntos fuzzy , processamento de imagens e sinais.

Campinas, 11 de maio de 2015.

University of CampinasInstitute of Mathematics, Statistics, and Scientific ComputingDepartment of Applied Mathematics

A Study on Recurrent Exponential Fuzzy Associative Memories,Their Generalizations, and Applications.

Orientador: Marcos Eduardo Ribeiro do Valle MesquitaE-mail: valle@ime.unicamp.br

Orientanda: Aline Cristina de SouzaE-mail: s.alinedesouza@gmail.com

Abstract

Associative memories (AMs) are mathematical models inspired by the human brain ability

to store and recall information by association. Such as the brain, AMs are also able to recall

a certain stored pattern even when the input represents an incomplete or noisy version of a

stored item. The class of recurrent correlation associative memories (RCAMs), introduced

by Chiueh and Goodman in the early 1990s, can be used to implement high-storage ca-

pacity AMs with excellent noise tolerance. Notwithstanding, RCAMs are designed for the

storage and recall of bipolar patterns. In this research project, we shall investigate a fuzzy

version of the class of RCAMs, namely the class of recurrent exponential fuzzy associative

memories (REFAMs). A REFAM defines recursively a sequence of fuzzy sets obtained

by averaging the stored items weighted by an exponential of a fuzzy comparison measure.

Computational experiments concerning the retrieval of corrupted gray-scale images will

be performed in order to evaluate the storage capacity and noise tolerance of REFAMs.

Also, the performance of REFAMs shall be investigated by considering applications such

as classification, prediction, pattern recognition, and control.

Palavras-chave: Computational intelligence, associative memories, neural networks, fuzzy

set theory, image and signal processing.

Campinas, May 11, 2015.

1 Introdução Geral

Memórias associativas (AMs, acrônimo do termo inglês associative memories) são modelosmatemáticos inspirados na habilidade do cérebro humano de armazenar e recordar informações[1, 14, 16, 20]. Tais como as redes neurais biológicas, uma AM deve ser capaz de recuperar umainformação memorizada mesmo diante da apresentação de um item incompleto ou distorcido.Aplicações de AMs incluem classificação [30, 42], previsão [31, 32, 33, 29], reconhecimentode padrões [40, 41], controle e guiagem autônoma [11, 21, 22, 28].

Em 1982, Hopfield introduziu uma rede neural recorrente de camada única com neurôniosde McCulloch e Pitts capaz de implementar uma AM [18]. A rede de Hopfield possui mui-tas características atraentes incluindo: fácil implementação em hardware, caracterização emtermos de uma função energia e uma variedade de aplicações [14, 15, 17, 23, 27]. Contudo,quando usada para implementar uma AM, a rede de Hopfield apresenta uma baixa capacidadeabsoluta de armazenamento de aproximadamente 0.15n itens, em que n representa a dimensãodos padrões [24]. Com intuito de superar essa limitação, muitos pesquisadores desenvolverammodelos dinâmicos aperfeiçoados da rede de Hopfield. Em particular, um simples mas signi-ficante melhoramento na capacidade de armazenamento da rede de Hopfield foi apresentadopor Chiueh e Goodman no início dos anos 90 com as memórias associativas recorrentes porcorrelação (RCAMs, do inglês recurrent correlation associative memories) [4, 5].

Em termos gerais, as RCAMs generalizam a rede de Hopfield adicionando uma camada denós que computam uma medida de correlação entre o padrão de entrada e os itens armazena-dos. A função de ativação dos neurônios nessa camada caracterizam a RCAM. Por exemplo,a rede de Hopfield é obtida considerando a identidade como função de ativação. A memóriaassociativa exponencial por correlação (ECAM, do inglês exponencial correlation associative

memory), que pode ser usada para implementar AMs eficientes, é obtida considerando umaexponencial como função de ativação. A capacidade de armazenamento de certas RCAMs au-menta exponencialmente com o número de padrões para algumas funções de ativação, incluindoa função exponencial [4, 7]. Além da grande capacidade de armazenamento, tais RCAMs apre-sentam excelente tolerância a ruído [4, 35, 36]. E mais, as RCAMs estão relacionadas comalguns tipos de processos Bayesianos [13] bem como modelos de redes neurais baseadas noconceito de núcleo, como o modelo de Garcia e Moreno [25, 12].

Os modelos de AM discutidos nos dois parágrafos anteriores são todos projetados para oarmazenamento de padrões bipolares, ou seja, com valores no conjunto {−1,+1}. Porém,muitas aplicações, incluindo a restauração de imagens em tons de cinza na presença de ruído,requerem o armazenamento e recordação de padrões com valores reais ou multi-valorados, outambém o armazenamento e recordação de conjuntos fuzzy [2, 9, 22, 21, 28].

Em 1993, Chiueh e Tsai estenderam a ECAM bipolar para o armazenamento e recordação

3

UT f(·) U sgn(·)x1(t) //©

++

""

��

© // x1(t+ 1)

©33

++

""

��

x2(t) //©33

++

��

© // x2(t+ 1)

©

<<

33

++

��

x3(t) //©

<<

33

© // x3(t+ 1)...

......

......

©

GG

DD

>>

++xn(t) //©

GG

DD

33

© // xn(t+ 1)

Figura 1: Topologia de uma RCAM bipolar.

de vetores multi-valorados [6]. As principais componentes do modelo multi-valorado incluiuma soma ponderada e um tipo de medida de similaridade. Como uma soma ponderada corres-ponde à uma operação de agregação e considerando medidas de comparação bem estabelecidasna teoria dos conjuntos fuzzy, pode-se modificar a ECAM multi-valorada para o armazenamentoe recuperação de conjuntos fuzzy. Com efeito, as chamadas memórias associativas recorrentesexponenciais fuzzy (REFAMs, recurrent exponential fuzzy associative memories), proposta re-centemente pelo orientador em um artigo de congresso [34], foram brevemente estudadas nomestrado da Aline C. Souza. Nesse projeto de doutorado, pretendemos dar sequência aos estu-dos iniciados no mestrado investigando mais a fundo as propriedades das REFAMs bem comodesenvolvendo modelos mais gerais.

2 Identificação e Caracterização do Problema

2.1 Uma Breve Revisão das RCAMs Bipolares

Uma RCAM bipolar é implementada pela rede neural recorrente de duas camadas totalmenteconectada apresentada na Figura 1 [15, 4]. A primeira camada calcula um tipo de correlaçãoentre o estado atual da rede e os padrões memorizados, seguida de uma função de ativaçãof , possivelmente não-linear, que enfatiza o campo local induzido. A segunda camada, com-posta de neurônios de McCulloch e Pitts, fornece o sinal de uma soma ponderada dos itensmemorizados como próximo estado da RCAM.

Formalmente, seja B = {−1,+1} e considere um conjunto de padrões {u1,u2, . . . ,up},em que cada uξ = [uξ1, u

ξ2, . . . , u

ξn]T ⊆ Bn é um vetor com n valores em B. O conjunto

4

{u1,u2, . . . ,up} ∈ Bn dos padrões que desejamos armazenar na AM é chamado conjunto dasmemórias fundamentais. Dado um padrão de entrada x(0) = [x1(0), x2(0), . . . , xn(0)]T ∈ Bn,a RCAM define recursivamente a seguinte sequência de vetores bipolares de tamanho n paraqualquer inteiro t ≥ 0:

xj(t+ 1) = sgn

(p∑ξ=1

wξuξj

), ∀j = 0, 1, . . . , n, (1)

em quewξ é dado pela seguinte equação para alguma função contínua e monótona não-decrescentef : [−n, n]→ R:

wξ = f( ⟨

x(t),uξ⟩ ), ∀ξ = 1, . . . , p. (2)

Além disso, tal como a rede de Hopfield, a função sgn é avaliada em (1) da seguinte forma:

sgn(vj)

=

+1, vj > 0,

xj(t), vj = 0,

−1, vj < 0,

(3)

em que vj =∑p

ξ=1wξuξj é o potencial de ativação do j-ésimo neurônio de saída na iteração t.

Alternativamente, pode-se combinar as equações (1) e (2) da seguinte forma:

xj(t+ 1) = sgn

(p∑ξ=1

f( ⟨

x(t),uξ⟩ )uξj

), ∀j = 0, 1, . . . , n. (4)

É importante observar que (4) produz uma sequência convergente {x(t)}∞t=0 para qualquerestado inicial x(0) ∈ Bn [4]. Neste caso, o padrão y recordado pela RCAM corresponde aolimite de {x(t)}∞t=0, i.e., y = limt→∞ x(t).

Exemplo 1. A famosa rede de Hopfield, com a pequena diferença de que a diagonal da matrizdos pesos sinápticos não é zerada, é uma RCAM com fc(x) = x/n em (2). De fato, dadoum conjunto de memórias fundamentais {uξ : ξ = 1, . . . , p} ⊆ Bn e um padrão de entradax(0) ∈ Bn, a rede de Hopfield é descrita pela equação recorrente

xj(t+ 1) = sgn

(n∑k=1

mjkxk(t)

), ∀j = 0, 1, . . . , n, (5)

em que a matriz dos pesos sinápticos M = (mjk) ∈ Rn×n é determinada como segue usando o

5

armazenamento por correlação [18, 14, 15]:

mjk =1

n

p∑ξ=1

uξjuξk, ∀j, k = 1, . . . , n. (6)

Combinando as equações (5) e (6), obtem-se (1) e (2) com fc(x) = x/n.

Exemplo 2. A memória associativa exponencial por correlação (ECAM, exponential correla-

tion associative memory) é obtida quando f é função exponencial, ou seja,

fe(x) = eαx/n, α > 0. (7)

De acordo com Chiueh e Goodman, a ECAM é uma das RCAMs mais apropriadas para im-plementação de AM usando tecnologia VLSI (very-large-scale-integrated) [4]. Além disso, acapacidade de armazenamento e a tolerância a ruído deste modelo tem sido extensivamente es-tudado na literatura [4, 35, 36]. Em particular, Chiueh e Goodman mostraram que a capacidadede armazenamento da ECAM escala exponencialmente com n, a dimensão dos padrões arma-zenados [4]. Em outras palavras, a ECAM pode armazenar cn padrões bipolares de tamanho n,em que a constante c > 1 depende do coeficiente α da função exponencial e de um parâmetroadicional ρ relacionado a tolerância a ruído da memória. Sobretudo, a capacidade absoluta dearmazenamento desse modelo aproxima o limite máximo de uma AM para padrões bipolaresquando α tende para +∞.

Exemplo 3. A classe das RCAMs também inclui a memória associativa de ordem alta porcorrelação (HOCAM, high-order correlation associative memory) e a memória associativa comfunção-potencial por correlação (PFCAM, potential-function correlation associative memory)[4, 5, 7, 26]. Esses modelos são obtidos considerando em (2) as funções fh(x) = (1 + x/n)q,q > 1 é um inteiro, e fp(x) = 1/(1 − x/n)L, L ≥ 1, respectivamente. Tal como a ECAM,a capacidade de armazenamento da PFCAM escala exponencialmente com o tamanho n dospadrões armazenados [7]. A HOCAM, porém, apresenta uma capacidade de armazenamentopolinomial [26].

As próximas duas subseções ilustram como será desenvolvido esse projeto de pesquisa.Especificamente, a Subseção 2.2 apresenta uma versão fuzzy da ECAM. A Subseção 2.3 contémexperimentos computacionais preliminares com imagens em tons de cinza.

2.2 Memórias Associativas Recorrentes Exponenciais Fuzzy

Inicialmente, vamos recordar alguns conceitos básicos bem estabelecidos que serão utilizadosao longo do texto. Primeiramente, um conjunto fuzzy A em um universo de discurso U é

6

eαΥ(A1,·)

A1

!!

...

Xt//

BB

��

eαΥ(Aξ,·) Aξ // Combinaçãoconvexa

// Xt+1

...

eαΥ(Ap,·)

Ap

==

Figura 2: Diagrama de blocos de uma REFAM.

identificado por sua função de pertinência A : U → [0, 1]. Portanto, A(u) denota o grau noqual o elemento u ∈ U pertence ao conjunto fuzzy A. Denotaremos a família de todos ossubconjuntos fuzzy de U por F(U). Ao longo do texto, uma medida de comparação fuzzy serefere amplamente a uma função Υ : F(U) × F(U) → [0, 1] tal que Υ(A,A) ≥ Υ(A,B),para todo A,B ∈ F(U). Exemplos de medidas de comparação fuzzy incluem medidas desimilaridade fuzzy e medidas de inclusão fuzzy [8, 19, 37, 38].

Brevemente, uma memória associativa recorrente exponencial fuzzy (REFAMs, acrônimodo inglês recurrent exponential fuzzy associative memories) é uma rede neural dinâmica comduas camadas projetada para o armazenamento de uma família finitaA = {A1, A2, · · · , Ap} ⊆F(U) de conjuntos fuzzy [34]. Nos referiremos à um conjunto fuzzy Aξ ∈ A como conjuntosfuzzy fundamental (FFS, do inglês fundamental fuzzy set). A primeira camada calcula umaexponencial de uma comparação entre Aξ e o estado atual, representado por um conjunto fuzzy

Xt ∈ F(U), para cada ξ ∈ {1, . . . , p}. A camada de saída produz uma combinação convexados FFSs A1, . . . , Ap cujos pesos são as saídas da camada anterior. A Figura 2 mostra umdiagrama de blocos de uma REFAM. Formalmente, uma REFAM é definida da seguinte forma:

Definição 1 (REFAM). Considere um número real α > 0 e seja Υ : F(U) × F(U) → [0, 1]

uma medida de comparação fuzzy . Dado um conjunto fuzzy X0 ∈ F(U), uma REFAM produz

uma sequência {Xt} de conjuntos fuzzy de acordo com a seguinte equação de evolução:

Xt+1(u) =

p∑ξ=1

Aξ(u)eαΥ(Aξ,Xt)

p∑η=1

eαΥ(Aη ,Xt)

, ∀u ∈ U, (8)

7

para todo inteiro não negativo t.

O teorema a seguir, desenvolvido por Aline C. Souza em seu mestrado, mostra que a saídade um único passo de uma REFAM converge pontualmente para uma combinação convexa decertos FFSs quando o parâmetro α > 0 tende ao infinito. Em outras palavras, o conjunto fuzzy

X1 pode ser feito tão próximo de uma combinação convexa de certos FFSs quanto desejado pormeio da escolha de um parâmetro α > 0 suficientemente grande.

Teorema 2. Considere uma família de FFSs {A1, · · · , Ap} ⊆ F(U) e seja Υ uma medida de

comparação. Dado um conjunto fuzzy X0 ∈ F(U), seja Γ ⊆ {1, . . . , p} o conjunto dos índices

dos FFSs com maior grau de comparação com X0, isto é,

Γ = {γ : Υ(Aγ, X0) ≥ Υ(Aξ, X0), ∀ξ = 1, . . . , p}. (9)

Se X1 ∈ F(U) denota a saída de um único passo da REFAM dado por (8) com t = 0, então

limα→∞

X1(u) =1

Card(Γ)

∑ξ∈Γ

Aξ(u), ∀u ∈ U. (10)

O Teorema 2 revela que uma REFAM com um parâmetro α suficientemente grande con-verge pontualmente para um FFS Aγ sempre que Υ(Aγ, X0) > Υ(Aξ, X0) para todo ξ 6= γ.Em outras palavras, a bacia de atração de um FFS Aγ é a região

Rγ = {X ∈ F(U) : Υ(Aγ, X) > Υ(Aξ, X),∀ξ 6= γ}. (11)

Por exemplo, se Υ é uma medida de similaridade, entãoRγ corresponde à família de conjuntosfuzzy que são mais similares a Aγ que a qualquer outro FFS Aξ, ξ 6= γ. Além disso, se

Υ(Aγ, Aγ) > Υ(Aξ, Aγ), ∀ξ 6= γ, (12)

então Aγ ∈ Rγ . Em outras palavras, uma REFAM exibe capacidade de armazenamento abso-luta ótima se (12) vale para todo γ e o parâmetro α é suficientemente grande. Uma REFAMpode não exibir capacidade de armazenamento absoluta ótima se α não é grande o suficiente.

2.3 Experimento Computacional com Imagens em Tons de Cinza

Considere as oito imagens mostradas na Figura 3. Cada uma dessas imagens corresponde aum FFS Aξ ∈ F(U), em que o universo de discurso é U = {1, . . . , 128} × {1, . . . , 128}.Primeiramente, sintetizamos REFAMs projetadas para o armazenamento destas oito imagensem tons de cinza considerando o parâmetro α = 30. Também consideramos as seguintes

8

Figura 3: Imagens originais de tamanho 128× 128 com 256 tons de cinza.

medidas de comparação definidas para conjuntos fuzzy A,B ∈ F(U), onde U é um universode discurso finito [22, 8, 43, 38, 39]:

1. Medida de Similaridade de Gregson:

ΥG(A,B) =

∑u∈U (A(u) ∧B(u))∑u∈U (A(u) ∨B(u))

, (13)

onde os símbolos “∨” e “∧” denotam respectivamente as operações de máximo e mínimo.Brevemente, ΥG(A,B) indica o grau com o qual os conjuntos fuzzy A e B são iguais.

2. Medida de Inclusão de Bandler-Kohout:

ΥB(A,B) = infu∈U

(1− A(u) +B(u)). (14)

Note que ΥB(A,B) mede o grau com o qual A é subconjunto de B.

3. Medida de Inclusão de Bandler-Kohout Reversa:

ΥR(A,B) = infu∈U

(1−B(u) + A(u)). (15)

Note que ΥR(A,B) = ΥB(B,A). Portanto, ΥR(A,B) indica o grau com o qual B ésubconjuto de A.

Por motivo de comparação, também armazenamos as oito imagens em tons de cinza nosseguinte modelos: Lukasiewicz IFAM [31], ACAM com o parâmetro η = 2 [3], S-FAM e dualS-FAM baseado na medida de subsethood ΥB dada por (14), e SM-FAM baseada na medida desimilaridade de Gregson dada por (13) [10, 9].

Posteriormente, apresentamos a cada modelo imagens em tons de cinza corrompidas porruído Gaussiano com média zero e variância entre 0.0 e 0.3. Também apresentamos aos oito

9

0

0.2

0.4

0.6

0.8

1

0 0.05 0.1 0.15 0.2 0.25 0.3

Average of the Normalized Error

Variance

IFAMACAM

S-FAMDual S-FAM

SM-FAMFERNN ϒBFERNN ϒRFERNN ϒG

REFAMREFAM

REFAM

Figura 4: Média do erro normalizado versus a variância do ruído Gaussiano.

modelos imagens corrompidas por ruído sal e pimenta com densidades variando de 0 a 0.8. Nosexperimentos computacionais, iteramos (8) até ‖Xt+1 −Xt‖2 ≤ 10−6 ou t > 20, em que ‖ · ‖2

denota a norma Euclidiana usual. As Figuras 4 e 5 mostram a taxa média do erro normalizadoproduzida pelos oito modelos em 80 experimentos, isto é, cada imagem original foi distorcida10 vezes para cada intensidade de ruído. Em outras palavras, apresentamos no gráfico a médiaaritmética 1

80

∑10µ=1

∑8ξ=1

‖Aξ−Y ξµ‖2‖Aξ‖2 , onde Y ξµ denota a saída de um determinado modelo após

a apresentação de uma versão corrompida Aξµ de Aξ no µ-ésimo experimento (ou simulação),pela intensidade de ruído introduzida em Aξµ.

Note que a taxa de erro produzida pelos oito modelos são iguais a zero se uma imagem nãodistorcida é apresentada como entrada, isto é, quando a variância ou probabilidade do ruídoé igual a zero. Em outras palavras, os oito modelos são capazes de recuperar Aξ a partir daapresentação de Aξ, para todo ξ = 1, . . . , p. Apesar da capacidade de armazenamento absolutaótima, os modelos IFAM e ACAM não são capazes de lidar com padrões corrompidos por ruídomisto, como ruído Gaussiano ou ruído sal e pimenta. De fato, estas duas memórias associativasfuzzy exibem excelente tolerância com respeito a ruído negativo, ou seja, elas são capazes derecuperar Aξ somente se o conjunto fuzzy de entrada X satisfaz X(u) ≤ Aξ(u) para todo u ∈F(U) [3, 31]. Observe que a REFAM ΥB e a S-FAM, bem como a REFAM ΥR e a dual S-FAM,

10

0

0.2

0.4

0.6

0.8

1

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8

Average of the Normalized Error

Probability

IFAMACAM

S-FAMDual S-FAM

SM-FAMFERNN ϒBFERNN ϒRFERNN ϒG

REFAMREFAMREFAM

Figura 5: Média do erro normalizado versus a probabilidade do ruído sal e pimenta.

produziram taxas de erros similares. Além disso, estes modelos também exibiram uma pequenatolerância ao ruído sal e pimenta. De fato, como a IFAM e a ACAM, estes modelos exibemalguma tolerância ou a ruído positivo ou a ruído negativo. Em contraste, a REFAM baseadana medida de similaridade de Gregson ΥG, bem como a SM-FAM, exibiram uma excelentetolerância aos ruídos Gaussiano e sal e pimenta. Em particular, a SM-FAM superou a REFAMΥG para entradas corrompidas por ruído Gaussiano com variância σ2 ≥ 0.12. Contudo, adiferença entre esses dois modelos se reduz quando aumentamos o parâmetro α da REFAM.

Finalmente, as Figuras 6 e 7 fornecem uma interpretação visual das imagens recuperadaspelos modelos de memória associativa fuzzy, excluindo ACAM, a qual produziu uma imagemquase branca. Precisamente, a Figura 6 mostra a imagem “peppers” corrompida por ruídoGaussiano com variância σ2 = 0.08 seguida pelas imagens recuperadas pelas memórias as-sociativas. Analogamente, a Figura 7 mostra a imagem “peppers” corrompida por ruído sal epimenta com probabilidade p = 0.1 seguida pelas imagens recuperadas. A IFAM, bem como aACAM, produziram imagens muito brancas como saída. Em contraste, a REFAM, bem comoos modelos S-FAM, dual S-FAM e SM-FAM recuperaram uma das imagens originais em tonsde cinza.

11

Input S-FAM Dual S-FAM SM-FAM

IFAM REFAM ΥB REFAM ΥR REFAM ΥG

Figura 6: Imagem de entrada corrompida por ruído Gaussiano com variância σ2 = 0.08 seguidapelas imagens resuperadas pelos modelos FAM.

Input S-FAM Dual S-FAM SM-FAM

IFAM REFAM ΥB REFAM ΥR REFAM ΥG

Figura 7: Imagem de entrada corrompida por ruído sal e pimenta com probabilidade p = 0.1seguida pelas imagens recuperadas pelos modelos FAM.

3 Objetivos, Plano de Trabalho e Cronograma

Nesse projeto de pesquisa estudaremos melhor as propriedades teóricas e computacionais dasREFAMs e suas generalizações, com ênfase na implementação de memórias associativas. Res-saltamos que o projeto de doutorado pode ser visto como uma sequência dos estudos iniciadospela orientanda em seu mestrado, cuja defesa foi realizada em 07 Abril de 2015. Por exem-plo, o Teorema 2 foi desenvolvido por Aline durante seu mestrado. Especificamente, serãoexecutadas as seguintes atividades durante o doutorado:

A1: Atividade 1 – Revisão Bibliográfica:

Durante o mestrado, a orientanda Aline estudou modelos de redes neurais recorren-

12

tes que podem ser usados para o armazenamento e recuperação de padrões bipolares[18, 14, 16, 4]. Foi também estudado o modelo multi-valorado de Chiueh e Tsai bemcomo a memória associativa fuzzy de Kosko [6, 22]. Porém, existem na literatura mui-tos trabalhos sobre redes neurais recorrentes fuzzy e modelos de memórias associativasfuzzy. No primeiro semestre faremos uma breve revisão bibliográfica atualizada sobrerede neurais fuzzy recorrentes. Sobretudo, faremos uma extensa revisão bibliográfica demodelos de memórias associativas fuzzy e modelos correlacionados. Esses modelos serãoimplementados em softwares matemáticos como GNU Octave e MATLAB.

A2: Atividade 2 – Memórias Associativas Recorrentes Exponenciais Fuzzy:

No segundo semestre investigaremos propriedades teóricas e computacionais das RE-FAMs apresentadas brevemente na Subseção 2.2. Em particular, realizaremos experi-mentos computacionais para avaliar melhor a capacidade de armazenamento e a tolerân-cia a ruído desses modelos. Também investigaremos a aplicação das REFAMs para arecuperação de imagens em tons de cinza.

A3: Atividade 3 – Memórias Associativas Recorrentes Exponenciais Fuzzy Generaliza-das:

No segundo ano, investigaremos propriedades teóricas e computacionais de uma classede modelos que generalizam as REFAMs apresentadas na Seção 2.2. Especificamente,as memórias associativas recorrentes exponenciais fuzzy generalizadas (GREFAM) sãoobtidas adicionando à REFAM uma camada oculta de neurônios lineares com objetivode reduzir a interferência cruzada entre os itens memorizados. Resultados preliminaresrevelaram que, independente do parâmetro α da função exponencial, esses modelos po-dem apresentar ótima capacidade absoluta de armazenamento. Contudo, um estudo maisprofundo é necessário. Em particular, pretendemos realizar experimentos computacio-nais para avaliar melhor a capacidade de armazenamento e a tolerância a ruído dessesmodelos.

A4: Atividade 4 – Desenvolvimento de outros modelos e aplicações. Redação da Tese:

Nas atividades A2 e A3, estudaremos versões fuzzy da ECAM. Nos semestres restantes,investigaremos outras generalizações da RCAMs. Em particular, consideraremos versõesfuzzy da HOCAM e da PFCAM apresentadas no Exemplo 3. Nestes semestres tambéminvestigaremos aplicações dos modelos estudados em problemas de cassificação [30, 42],previsão [31, 32, 33, 29], reconhecimento de padrões [40, 41] e controle e guiagem autô-noma [11, 21, 22, 28]. Por fim, a redação da tese será realizada em paralelo com estasatividades.

13

Tabela 1: Cronograma de Execução

01/07/2015 a 31/12/2015 01/01/2016 a 30/06/2016 01/07/2016 a 30/06/2017 01/07/2017 a 30/06/2018Atividade 1 Atividade 2 Atividade 3 Atividade 4

2015 2016 2017 2018

7 8 9 10 11 12 1 2 3 4 5 6 7 8 9 10 11 12 1 2 3 4 5 6 7 8 9 10 11 12 1 2 3 4 5 6

A1

A2

A3

A4

Figura 8: Cronograma de Execução das Atividades 1–4.

As quatro atividades listadas acima seguirão o cronograma da Tabela 1, que também podeser visualizado na Figura 8.

Durante todas as atividades pretendemos divulgar os resultados obtidos em eventos cientí-ficos da área. Também serão redigidos artigos científicos que serão submetidos para revistasconceituadas, preferencialmente de circulação internacional.

4 Contribuições e resultados esperados

Neste projeto de pesquisa investigaremos modelos de memórias associativas implementadasusando redes neurais fuzzy recorrentes. Conforme mencionado no primeiro parágrafo da intro-dução, modelos de memória associativa foram usados com sucesso em problemas de classifica-ção, previsão e reconhecimento de padrões. Portanto, esse projeto de pesquisa deve contribuirnessas aplicações. Contudo, nos concentraremos principalmente nas aplicações relacionadas àreconstrução de imagens em tons de cinza.

É importante ressaltar que os resultados obtidos terão forte fundamento matemático. So-bretudo, os resultados desenvolvidos nesse projeto de pesquisa serão submetidos na forma deartigo para periódicos de circulação internacional como IEEE Transactions on Neural Networks

and Learning Systems, IEEE Transactions on Fuzzy Systems, Neural Networks, Neurocompu-

ting, Fuzzy Sets and Systems, dentre outros similares.

14

Referências

[1] AUSTIN, J. Associative Memory. In Handbook of Neural Computation, E. Fiesler andR. Beale, Eds. Oxford University Press, 1997, pp. F1.4:1–F1.4:7.

[2] BINH, P., AND HOA, N. Compare effective fuzzy associative memories for grey-scaleimage recognition. In Context-Aware Systems and Applications, P. Vinh, N. Hung,N. Tung, and J. Suzuki, Eds., vol. 109 of Lecture Notes of the Institute for Computer

Sciences, Social Informatics and Telecommunications Engineering. Springer Berlin Hei-delberg, 2013, pp. 258–267.

[3] BUI, T. D., NONG, T. H., AND DANG, T. K. Improving learning rule for fuzzy asso-ciative memory with combination of content and association. Neurocomputing 149A, 0(2015), 59 – 64.

[4] CHIUEH, T., AND GOODMAN, R. Recurrent Correlation Associative Memories. IEEE

Trans. on Neural Networks 2 (Feb. 1991), 275–284.

[5] CHIUEH, T., AND GOODMAN, R. Recurrent Correlation Associative Memories and their

VLSI Implementation. In Hassoun [14], 1993, ch. 16, pp. 276–287.

[6] CHIUEH, T.-D., AND TSAI, H.-K. Multivalued associative memories based on recurrentnetworks. IEEE Transactions on Neural Networks 4, 2 (March 1993), 364–366.

[7] DEMBO, A., AND ZEITOUNI, O. General Potential Surfaces and Neural Networks. Phy-

sical Review A 37, 6 (1988), 2134–2143.

[8] DUBOIS, D., AND PRADE, H. Fuzzy sets and systems: theory and applications. Acade-mic Press, New York, 1980.

[9] ESMI, E., SUSSNER, P., BUSTINCE SOLA, H., AND FERNANDEZ, J. Θ-fuzzy asso-ciative memories (Θ-FAMs). IEEE Transactions on Fuzzy Systems 23, 2 (2015), 313 –326.

[10] ESMI, E. L., SUSSNER, P., VALLE, M. E., SAKURAY, F., AND BARROS, L. Fuzzy As-sociative Memories Based on Subsethood and Similarity Measures with Applications toSpeaker Identification. In Lecture Notes in Computer Science: International Conference

on Hybrid Artificial Intelligence Systems (HAIS 2012). Springer-Verlag Berlin Heidel-berg, Berlin, Germany, 2012, pp. 479–490.

[11] FREITAS, G. A., AND VALLE, M. E. Uma Breve Comparação de Modelos de MemóriasAssociativas Fuzzy em Problemas de Guiagem Autônoma. SEMINA: Ciências Exatas e

Tecnológicas 32, 2 (2011), 151–166.

15

[12] GARCÍA, C., AND MORENO, J. A. The Hopfield Associative Memory Network: Im-proving Performance with the Kernel “Trick”. In Lecture Notes in Artificial Inteligence -

Proceedings of IBERAMIA 2004, vol. 3315 of Advances in Artificial Intelligence – IBE-

RAMIA 2004. Springer-Verlag, 2004, pp. 871–880.

[13] HANCOCK, E. R., AND PELILLO, M. A Bayesian interpretation for the exponentialcorrelation associative memory. Pattern Recognition Letters 19, 2 (Feb. 1998), 149–159.

[14] HASSOUN, M. H., Ed. Associative Neural Memories: Theory and Implementation. Ox-ford University Press, Oxford, U.K., 1993.

[15] HASSOUN, M. H. Fundamentals of Artificial Neural Networks. MIT Press, Cambridge,MA, 1995.

[16] HASSOUN, M. H., AND WATTA, P. B. Associative Memory Networks. In Handbook

of Neural Computation, E. Fiesler and R. Beale, Eds. Oxford University Press, 1997,pp. C1.3:1–C1.3:14.

[17] HOPFIELD, J., AND TANK, D. Neural computation of decisions in optimization pro-blems. Biological Cybernetics 52 (1985), 141–152.

[18] HOPFIELD, J. J. Neural Networks and Physical Systems with Emergent Collective Com-putational Abilities. Proceedings of the National Academy of Sciences 79 (Apr. 1982),2554–2558.

[19] KLIR, G. J., AND YUAN, B. Fuzzy Sets and Fuzzy Logic: Theory and Applications.Prentice Hall, Upper Saddle River, NY, 1995.

[20] KOHONEN, T. Self-organization and associative memory, 2rd edition ed. Springer-VerlagNew York, Inc., New York, NY, USA, 1987.

[21] KONG, S.-G., AND KOSKO, B. Adaptive Fuzzy Systems for Backing up a Truck-and-Trailer. IEEE Transactions on Neural Networks 3, 2 (1992), 211–223.

[22] KOSKO, B. Neural Networks and Fuzzy Systems: A Dynamical Systems Approach to

Machine Intelligence. Prentice Hall, Englewood Cliffs, NJ, 1992.

[23] LIU, Q., AND WANG, J. A One-Layer Recurrent Neural Network for Constrained Nons-mooth Optimization. IEEE Transactions on Systems, Man, and Cybernetics, Part B 41, 5(Oct. 2011), 1323–1333.

[24] MCELIECE, R. J., POSNER, E. C., RODEMICH, E. R., AND VENKATESH, S. Thecapacity of the Hopfield associative memory. IEEE Transactions on Information Theory

1 (1987), 33–45.

16

[25] PERFETTI, R., AND RICCI, E. Recurrent correlation associative memories: A featurespace perspective. IEEE Transactions on Neural Networks 19, 2 (Feb. 2008), 333–345.

[26] PSALTIS, D., AND PARK, C. H. Nonlinear Discriminant Functions and Associative

Memories, vol. 22D of Physica. 1986, pp. 370–375.

[27] SMITH, K., PALANISWAMI, M., AND KRISHNAMOORTHY, M. Neural Techniques forCombinatorial Optimization with Applications. IEEE Transactions on Neural Networks

9, 6 (Nov. 1998), 1301–1318.

[28] SUSSNER, P., ESMI, E. L., VILLAVERDE, I., AND GRAÑA, M. The Kosko SubsethoodFuzzy Associative Memory (KS-FAM): Mathematical Background and Applications inComputer Vision. Journal of Mathematical Imaging and Vision 42, 2–3 (Feb. 2012),134–149.

[29] SUSSNER, P., MIYASAKI, R., AND VALLE, M. E. An Introduction to ParameterizedIFAM Models with Applications in Prediction. In Proceedings of the 2009 IFSA World

Congress and 2009 EUSFLAT Conference (Lisbon, Portugal, July 2009), pp. 247–252.

[30] SUSSNER, P., AND VALLE, M. E. Grayscale Morphological Associative Memories.IEEE Transactions on Neural Networks 17, 3 (May 2006), 559–570.

[31] SUSSNER, P., AND VALLE, M. E. Implicative Fuzzy Associative Memories. IEEE

Transactions on Fuzzy Systems 14, 6 (Dec. 2006), 793–807.

[32] SUSSNER, P., AND VALLE, M. E. Recall of Patterns Using Morphological and CertainFuzzy Morphological Associative Memories. In Proceedings of the IEEE World Confe-

rence on Computational Intelligence 2006 (Vancouver, Canada, 2006), pp. 209–216.

[33] SUSSNER, P., AND VALLE, M. E. Morphological and Certain Fuzzy MorphologicalAssociative Memories for Classification and Prediction. In Computational Intelligence

Based on Lattice Theory, V. Kaburlasos and G. Ritter, Eds. Springer-Verlag, Heidelberg,Germany, 2007, ch. 8, pp. 149–172.

[34] VALLE, M. E. Fuzzy Exponential Recurrent Neural Networks for Gray-scale ImageRetrieval. In Proceedings of the Third Brazilian Conference on Fuzzy Systems (III CBSF)

(João Pessoa, Brazil, August 2014).

[35] WILSON, R. C., AND HANCOCK, E. R. Storage Capacity of the Exponential CorrelationAssociative Memory. Neural Processing Letters 13, 1 (Feb. 2001), 71–80.

17

[36] WILSON, R. C., AND HANCOCK, E. R. A study of pattern recovery in recurrent corre-lation associative memories. IEEE Transactions on Neural Networks 14, 3 (May 2003),506–519.

[37] XUECHENG, L. Entropy, distance measure and similarity measure of fuzzy sets and theirrelations. Fuzzy Sets and Systems 52, 3 (1992), 305–318.

[38] YOUNG, V. R. Fuzzy subsethood. Fuzzy Sets and Systems 77, 3 (Feb. 1996), 371–384.

[39] ZENG, W., AND LI, H. Inclusion measures, similarity measures, and the fuzziness offuzzy sets and their relations. International Journal of Intelligent Systems 21, 6 (2006),639–653.

[40] ZHANG, B.-L., ZHANG, H., AND GE, S. S. Face Recognition by Applying WaveletSubband Representation and Kernel Associative Memory. IEEE Transactions on Neural

Networks 15, 1 (Jan. 2004), 166–177.

[41] ZHANG, D., AND ZUO, W. Computational Intelligence-Based Biometric Technologies.IEEE Computational Intelligence Magazine 2, 2 (May 2007), 26–36.

[42] ZHANG, H., HUANG, W., HUANG, Z., AND ZHANG, B. A Kernel AutoassociatorApproach to Pattern Classification. IEEE Transactions on Systems, Man and Cybernetics,

Part B 35, 3 (June 2005), 593–606.

[43] ZWICK, R., CARISTEIN, E., AND BUDESCU, D. V. Measures of Similarity AmongFuzzy Concepts: A Comparative Analysis. International Journal of Approximate Reaso-

ning 1, 2 (Apr. 1987), 221–242.

18