Identificação Neural Não-Linear Utilizando. '.

Neurônios DinâmicosRoberto Célio Limão de Oliveira!Fernando Mendes de Azevedo!

Jorge Muniz Barreto"

!Departamento de Engenharia Elétrica2Departamento de Informática e Estatistica

Universidade Federal de Santa Catarina - UFSC88.040-900 Florianópolis SC - Brasil

limao@gpeb.ufsc.br,azevedo@gpeb.ufsc.br,barreto@inf.ufsc.br

Abstract: This work shows a new neural net model. The neural model presents dynamic neuronswhere the dynamics is represented by state space approach. This new neural model is utilized toidentify a non-linear dynamic system. Also it is showeda validation test for the achieved modeí.

Resumo: Este trabalho apresenta um novo modelo de rede neural com neurônios dinâmicos ondeesta dinâmica está representada no espaço de estados. Comoutilização deste modelo neural, o mesmoé usado na tarefa de identificação de sistemas dinâmicos não-lineares. Junto com o processo deidentificação paramétrica dos pesos da rede neural é mostrado um teste para validação do modeloobtido.

IntroduçãoAo se utilizar a Teoria de Controle na prática énecessário construir uma ponte entre o mundo reale a teoria matemática que rege o projeto decontroladores. Esta ponte é o procedimento demodelagem ou identificação, onde o modelodescreve, segundo algum objetivo, o mundo real.Na identificação de sistemas normalmenteutiliza-se um conjunto de parametrizados:sendo necessário determinar uma "estrutura domodelo". A partir desta estrutura dados sãoutilizados para encontrar o melhor modelo do.conjunto considerado. A escolha da estrutura domodelo. é determinada a partir de algumconhecimento prévio sobre o sistema que gera osdados observados. Quando existe pouco ou nenhumconhecimento sobre o sistema a ser modelado écomum utilizar um modelo "caixa-preta" . Sendoque o modelo caixa-preta é uma estrutura padrãobastante flexivel que pode ser utilizada paraaproximar uma grande variedade de sistemas[Sjõberg (1995)).

Na identificação de sistemas dinâmicosnão-lineares são utilizados modelos caixa-pretanão-lineares. Nos últimos dez anos as Redes

Neurais Artificiais (RNA's) têm sido bastanteexploradas na identificação de sistemas dinâmicos 'não-lineares [Narendra-Levin (1995)], [Billings-Chen(1995)], [Hunt-Sbarbaro (1995)], devido as mesmasserem inerentementes modelos caixa-preta não-linearese também por terem a habilidade de aproximarcomplexosmapeamentos não-lineares. .

Da mesma maneira que a função de transferência é umarepresentação genérica para modelos caixa-pretalineares, a RNA é uma representação genérica paramodeloscaixa-preta não-lineares. Ao se utilizar RNA naidentificação de sistemas dinâmicos, depara-se com oproblemas do número de parâmetros necessários para omodelo. O prejuízo do uso de um modelo comdesnecessária flexibilidade, determinado pelo número deparâmetros, é que pode-se aumentar a contribuição davariância do erro na aproximação, sem reduçãosubstancial da polarização [Sjõberg, (1995)). Uma boaalternativa para superar este problema é a utilização demodelos de RNA's com representação da dinâmica noespaço de estados. Nesta abordagem tem-se umadescrição mais sucinta do sistema, implicando namanipulação de um menor número de parâmetros.quando comparado, por exemplo, com uma abordagementrada-saída.

418

net x yFigura 1 - Elementos básicos de um neurônio

artificialAs equações que regem o funcionamento doneurônio mostrado na figura (1) são mostradas aseguir;

do neuromo de saída do neuromo e utilizar narealimentação o estado do neurônio e não a saída domesmo. A dinâmica do neurônio torna-se, deste modo,linear, ou seja, a RNA apresenta Dinâmica Linear a qualé representada no Espaço de Estados (RNADLEE). Omodelo neural apresentado tem como diferençasprincipais, em relação aos modelo neurais localmenterecorrentes apresentados na. literatura [Tsoi-Back(1994)], a definição de um estado para o neurônio, que édiferente do sinal de saída do mesmo, a utilização desteestado na realimentação do próprio neurônio, estarealimentação apresentar uma ponderação variável e autilização de um modelo discreto para a rede neural.

Modelos de Sistemas Dinâmicos com Uso deRNA'sEm sistemas de controle, os modelos dos processos aserem controlados podem ser representados através deduas maneiras distintas : entrada/saída e espaço deestados. Na representação de espaço de estados, oprocesso pode apresentar um modelo como mostradoabaíxo, .

x(k+1)= Ax(k) +Bu(k) (5)y(k) = <I>(x(k» (6)

onde k é o instante de amostragem, A é a matriz nxn dedinâmica linear, B é o vetor entrada nxl , u(k) é o sinalde entrada no instante k, x(k) é o vetor de estados .nx lno instante de amostragem k, y(k) é o sinal de saída noinstante de amostragem k, e <1>(.) é a função não-linearde saída que realiza o mapeamento 9{n 9{1. Umarepresentação para o modelo das equações (5) e (6)através de uma RNADLEE com duas camadas deneurônios, é mostrada na figura (2),

Camada de Entrada Cainada Intermediária Camada de Saída

Para este modelo de RNADLEE desenvolveu-se um.algoritmo de aprendizado, do tipo backpropagation,bastante simples, que difere do algoritmobackpropagation tradicional apenas pela inclusão deuma divisão, no ajuste dos pesos da camada deneurônios com dinâmica linear, e pela necessidade deguardar as informações dos estados dos neurôniosdinâmicos um passo atrás, no ajuste das ponderações dasrealimentações dos estados.

Figura 2 - RNADLEE com duas camadas de neurôniosDa figura (2) tem-se que,

Função deSaída

Função deAtivaç ão$

Combinaçãodas

Entradaswn '--- --I

Rede Neural com Neurônios DinâmicosNo trabalho desenvolvido por De Azevedo [DeAzevedo (1993)] é apresentado um modelo geraldo neurônio artificial, mostrado na figura (1), quepossibilita a inclusão de dinâmica no neurônioatravés da função de ativação responsável peloestado do neurônio, além de apresentar a função desaída, que é sempre estática e gera o sinal de saídado neurônio . -Entradas ativação saíd

uIw1:

nnet(t) = LW;U; (1)

;= 1

x(t+h) = W;,u;,t,h] (2)y(t) = À (x(t) , t) (3)

se o neurônio é estático, então a função de ativaçãoé do tipo identidade, ou seja;

x(t) = net(t) (4)Com este formalismo do neurônio artificial, estemesmo trabalho [De Azevedo (1993)] define umaRNA como sendo um grafo, onde os vértices são osneurônios e os arcos que ligam os vértices são ospesos da rede. Com esta definições básicas pode-seconcluir que uma RNA será dinâmica quando osseus neurônios apresentarem dinâmica na funçãode ativação e/ou o grafo representativo da redeapresentar caminhos fechados . Também, a RNAserá fe edforward se o grafo não contiver caminhosfechados, e será uma rede recorrente se -no grafoexistirem caminhos fechados.

A partir das definições de De Azevedo [DeAzevedo (1993)], neste trabalho desenvolve-se umnovo modelo de RNA dinâmica que,diferentemente do modelo de Karakasoglu eSudharsanan [Karakasoglu-Sudharsanan (1993)],onde os neurônios apresentam dinâmica contínuacom realimentação dos estados dos neurôniosatravés de uma ponderação unitária negativa,utiliza neurônios com dinâmica de primeira ordemdiscreta e laço de realimentação ponderado por umpeso variável. Este modeio neural difere do modelode Ku e Lee[Ku-Lee (1995)], onde a dinâmica doprocesso é representada por uma realimentaç ão dosinal de saída do neurônio, por diferenciar estado

419

ou,(20)oE(W) oSj(k)

oSj(k) oWhoE(W)ow!I

Grad(E(W)] =oE(W) (19)oWj

Para a camada de saída o algoritmo segue obackpropagation padrão. Na camada intermediária, comos neurônios de dinâmica linear, o cálculo da equação(19) toma-se,

pesos W na direção oposta ao gradiente de E(W) , ouseja,

Wk+I =Wk - TI Grad(E(W)] (18)

com 11 indicando o tamanho do passo do gradiente a serutilizado. O gradiente Grad[E(W)] é calculado por ,

(7)

(8)

(9)

(10)

Da figura (2) tem-se que,Sj(k) = h[xj(k)]

xi(k + 1) = aiIxI (k)+. ..+aiiXi(k)+.. .+ainxn(k) + neti(k)

Inetj(k) =wilu(k)ou,

xi(k + 1)=aiIxI (k)+. ..+aiiXi(k)+. ..+ainxn(k) + w!Iu(k)

Da equação (7) e com x(k) retirado da equação(10), tem-se,

Si(k) =h[aiIxI (k - 1)+. . .+aiixi(k - 1)+. . .+(11)

ainxn(k - 1)+ - 1)]

com,

[

al i aI2a21 a22A=0.0 •• •

anl an2

. .. aInj

. .. a2n .,

ann

(12)

(13)

com,

= 8{(k)u(k) (21)oWil

s f(k) = -[s f(k)"ÍJ { (22)

onde h'(x) indica a derivada de h(.) em relação a x.

(23)

o sinal de saída y(k) é igual a,

y(k) = h[WSS(k)] (14)

da equação (12), tira-se que,

y(k) = l[WSh[Ax(k -1) +W1u(k -1)]] (15)

ou,y (k ) = N{W,x(k -l),u(k -1)] (16)

que formaliza o modelo dado pelas equações (5) e(6), sendo que o algoritmo de aprendizado ajustaráos elementos de W de tal forma que N(.) <t>(.) .

Algoritmo de AprendizadoUm algoritmo que ajuste os pesos li!;, WSlk e aij daRNADLEE é do tipo backpropagation, compequenas modificações nas equações de atualizaçãodos pesos liij da camada de neurônios comdin âmica linear e a inclusão das equações de ajustedos parâmetros ai/ s.

Considerando que deseja-se rmrunuzar a funçãocusto do erro quadrático E(W),

E(W) = [Ynza(k) - y(k)]2 (17)

onde y(k) é a saída do processo no instante deamostragem k, ou saída desejada para aRNADLEE, e Yrna(k) é a saída da rede neural noinstante de amostragem k. O efeito de minimizarE(W) é conseguido através do ajuste da matriz de

Para a atualização dos parâmetros aij's, o cálculo do

gradiente, da equação (22), será 8 E(W) , ou seja ;8 aij

13E(W) 13E(W) 13y(k) 13net{(k) 13Sj(k) 13xj(k)13aii = 13y(k ) 13net f (k ) 13Sj(k) 13xj(k) 13aij

com,

(24)

(25)

Identificação de Sistemas Não-LinearesIdentificar processos dinâmicos não-lineares apresenta,até os dias atuais, grandes dificuldades devido ainexistência de algoritmos gerais para tratar este tipo deproblema. Devido as particularidades inerentes àsRNA's, estas têm sido propostas como alternativa paratarefas de identificação de processos não-lineares[Ku-Lee (1995)] , [Sj õberg (1995)] ,[Karakasoglu-Sudharsanan (1993)],[Narendra-Parthasarathy (1990)] .

É fácil aplicar RNA's a um conjunto de dados, semconhecer muito bem a Teoria de Identificação desistemas, e utilizar o que parece ser resultados altamenteconfiáveis. Mas, como em outras formas de identificaçãoou aproximação, também é fácil ser enganado pelosresultados obtidos sem uma melhor avaliação teórica.Deste modo é importante estar plenamente conscientedas propriedades das RNA's e dos algoritmos

420

empregados na tarefa de identificar sistemasdinâmicos não-lineares. Sendo que estaspropriedades podem ser utilizadas para formularmétodos que validem os resultados obtidos naidentificação .

equação (26) irão detectar todas as possíveis deâciênciasdo modelo, várias simulações, para modelos neurais queutilizam a abordagem entrada-saída para arepresentação da dinâmica do processo, têm mostrado osucesso da aplicação destes testes [Billings-Chen(1995)], [Billings et alo(1992)] , [Suykens et alo(1995)].

(26)

Como exemplo de aplicação do modelo de RNADLEE,usa-se este tipo de rede para identificar um processonão-linear de terceira ordem como mostrado na figura(3).

(28)

(29)

y(k)PROCESSONÃO-LINEAR

u(k)

yma(k)

Figura 3 - Identificação NeuralO processo é descrito pelas equações abaixo,

XI(k + 1)= -0.7x2(k) + x3(k)x2(k + 1)=tanh[03xI (k) + x3(k)+ (1+ 03X2(k»)u(k)]x3(k + 1)=tanh[-0.8xI(k) + 0.6x2(k) + 0.2X2(k)X3(k)]

y(k) = [Xl(k)f +d(k)

Testes de validação do modelo são procedimentoscriados para detectar a inadequabilidade de ummodelo, independentemente das discrepânciasencontradas nos modelos neurais, tais comoconjunto de sinais de entrada incorreto, número deneurônios da camada intermediária insuficiente,dados com ruído ou uma rede que não converge.Os bem conhecidos testes de validação paramodelos lineares [Ljung-Sõderstrõm (1983)] nãosão apropriados para modelos neurais. Billings eVoon [Billings-Voon (1983)] , [Billings-Voon(1986)] desenvolveram um conjunto de condições,adequadas para a validação de modelosnão-lineares neurais ou não. Este conjunto decondições é mostrado a seguir,

<1>cA')=E{l(t - .)l(.)} = função impulso

<1>uc(') = E{u(t-.)l(.)} = O, ';h

<1>u2' / ' ) = E{lu\t- ') -U2)l(.)} = O, ';I .

<1>U2' C2 ( ' ) = E{lu2(t_.)_u2)&2(.)} =0 , ';I.

<1>c(cu)(') =E{ l(.)l(t - 1- .)u(t -1- .)} =O, t: O

onde <I>Zy(r) indica a função correlação cruzada-2entre as funções Ztt) e Y(r), u representa o valor

médio de u2(r) e uZ(r) = u2(r) - ü2 . Na prática,utiliza-se a correlação normalizada e faz-se ocálculo da estimativa da função correlaçãoamostrada entre duas sequências . e comosendo;

(27)

onde N é o número de amostras utilizadas. Anormalização assegura que todas as funçõescorrelações encontram-se no intervalo-1 s <1>'1'1 '1'2 (r) s I independente da amplitude dossinais . O modelo será adequado se todas ascorrelações satisfizerem a equação (26), sendo quea condição de igualdade a zero é substituída pelacondição de permanecer dentro de 95% dointervalo de confiança definido por 1.96/ JN .Embora seja muito difícil provar que para asRNA's, as quais apresentam fortesnão-linearidades nos parâmetros, os testes da

onde k é o instante de amostragem, x(k) é o vetor deestados, u(k) é o sinal de entrada, y(k) é o sinal de saídae d(k) é a sequência de ruído. O conjunto de treino éformado por 50 amostras coletadas para um sinal deentrada do tipo senoidal com mostrado na equaçãoabaixo.

u(k) = 2:) (30)

A RNA utilizada é formada por 4 camadas de neurônios,onde:• A primeira camada apresenta um único neurôniocom função ativação identidade, significando um.neurônio estático, e função de saída do tipo tangentehiperbólica. .A segunda camada tem seis neurônios com funçãoativação do tipo equação a diferenças de primeiraordem, onde a entrada do neurônio é afetada pelosestados dos neurônios vizinhos mais próximosconforme equação (31), e função de saída do tipotangente hiperbólica, que equivale a matriz Amostrada na equação (32).Xj(k +1)= llj_JjXj-l(k) + Q;jXj(k)+ llj+JjXj+l(k) +netj(k) (31)

• A terceira camada contem doze neurônios comfunção ativação identidade, significando neurôniosestáticos, e função de saída do tipo ' tangentehiperbólica.

421

---------- -

5IJO(o)

.1L.- ....J.5IJ

0.5 - (\0_1\ - - .-()yjJ_IL __

-lJ5

0.5----_.-/'o ' J_0_. .-

-o.s

0.5

() :!-lJ5

ali al2 O O O O

a21 Gz2 Gz3 O O OO a32 a33 a34 O O (32)

A=O O a43 a44 a45 OO O O a54 a55 a56O O O O %5 a66

• A última camada tem um único neurônio comfunção ativação identidade, significando umneurônio estático, e função de saída do tipotangente hiperbólica.

_, L--

o 20' 40lei

Figura 6 - Estimativa das Funções Correlações Cruzadas: (a) <1>ôôCr); (b) <1>uô(r); (c) <1> 2' (r) ; (d) <1> 2' 2 (r) ;u ô u ô

(e) <1>ô(m)(r)

o.s

50o(di

.1 L.-__ __....J-5050o

(c)

., L-- ---'-50A identificação se deu em duas etapas : uma sessão

de treinamento, onde a RNA teve os seus pesosajustados em função dos dados coletados, e outrasessão onde foi calculada a estimativa das funçõescorrelações amostradas determinadas na equação(27). Os resultados para uma sequência de ruídobranco gaussiano de média zero e variância 0.001são mostrados a seguir. A figura (4) mostra ocomportamento da RNA no inicio do treinamento.Após 18350 iterações, interrompe-se a sessão detreinamento com o comportamento do modeloneural sendomostrado na figura (5).

SinaldeEnLrada cJ.,J

Referências

A. C. Tsoi, A. D. Back. Loca//y Recurrent Globa//yFeedforward Networks : A Criticai Rev!ew ofArchitectures. IEEE Transactions on NeuralNetworks, VoI. 5, N° 2,'March, 1994, Pp. 229-239.

A. Karakasoglu, S. L Sudharsanan, M. K. Sundareshan.Identification and Decentralized Adaptive Controlusing Dynamical Neural Netwoks with Applicationto Robotic Manipulators. IEEE Transactions onNeural Networks, VoI. 4, N° 6, November, 1993,Pp. 919-929.

DiscussãoEste novo modelo de rede neural, apresenta um bomdesempenho para a tarefa de identificar um sistemadinâmico não-linear. Nas simulações apresentadas aestimativa das correlações <1> 2' (r) e <1> 2' 2 (r)u e u eapresentam pontos fora do intervalo de confiança,indicando algum tipo de falha na topologia da redeneural utilizada, embora o cálculo de <1>&&(r) indiqueclaramente que o erro de predição é composto apenaspelo ruído. A maior dificuldade na utilização desteconjunto de testes para validação do modelo neuralidentificado, está no fato do mesmo ter .sidodesenvolvido para modelos entrada-saída e não paramodelos no espaço de estados. Talvez seja necessáriofazer modificações no mesmo para que seja' adequado aeste tipo de modelo neural. .

502J :lO <10"51."1. de ,"'.".,tlô9"'n

10

in

·1CJ

.(J"L.-__'--_ ----'__----'__ ______l

O

Sino! d. Salda do Proc"".o U o SInaldoSá•• doRNA(n.)

Figura 4 - Comportamento do modelo neural noinicio do aprendizado

-lJ5

, I

\ ,

Figura 5 - Comportamento do modelo neural apósfase de aprendizado

A estimativa das correlações cruzadas sãomostradas a seguir.

422

c. C. Ku, K. Y. Lee. Diagonal Recurrent NeuralNetworks for Dynamical Systems Control .IEEE Transactions on Neural Networks, VoI.6, N° 1, January, 1995, pp. 144-156.

F. M. De Azevedo. Contribution to the Study ofNeural Networks in Dynamical ExpertSystem. Tese de Doutorado, Instituíd'lnfonnatique, FUNDP, Namur, Bélgica,1993.

1. A. K. Suykens, B. L. R. De Moor, 1.Vanderwalle. Nonlinear System Identificattonusing Neural State Space Models, Applicableto Robust Control Design . Int. 1. ControI,VoI. 62, N° 1, 1995, Pp. 129-152.

1. Sjõberg. Non-Linear System Identification withNeural Networks. Ph.D Thesis, Department ofElectrical Engineering, Linkõping University ,Sweden, 1995.

K. 1. Hunt, D. Sbarbaro .. Chaper 6 - Studies inArtificial Neural Networks Based Control.Neural Networks Application in Control ,Edited by G. W. Irwin, K. Warwick and K. 1.Hunt, IEE Control Engineering Series 53,The Institution of Electrical Engineers,London, United Kingdon, 1995.

K. S. Narendra, A. U. Levin. RecursiveIdentification Using Feedforward NeuralNetwork. Int. 1. Control , VoI. 61, N° 3, 1995,Pp.533-547

K. S. Narendra, K. Parthasarathy. Identificationand Control of Dynamical Systems usingNeural Networks. IEEE Transactions onNeural Networks, VoI. 1, N° 1, March, 1990,Pp.4-27.

L. Ljung, T. Sõderstrõm. Theory and Practice ofRecursive Identification, Cambridge, MITPress, 1983.

S. A. Billings, S. Chen . Chaper 11 - NeuralNetworks and System Identification. NeuralNetworks Application in Control , Edited byG. W. Irwin, K. Warwick and K. 1. Hunt, IEEControl Engineering Series · 53, TheInstitution of Electrical Engineers, London,United Kingdon, 1995.

S. A. Billings, H. B. Jamaluddin, S. Chen.Properites of Neural Networks withApplications to Modelling NonlinearDynamical Systems. Int. J Control, VoI. 55,1992, Pp. 193-224.

- S. A. Billings, W. S. F. Voon. Structure Detectionand Model Validity Tests in the Identification

ofNonlinear Systems . Proc. IEE Pt. D, VoI. 130,1983, Pp . 193-199.

S. A. Billings, W. S. F. Vóon. Correlation Based ModelValidity Tests for Non-Linear Models. Int. 1. Control,VoI. 44, N° 1, 1986, pp. 235-244.

423