40. SBAI- Simpósio Brasileiro de Automação Inteligente, São Paulo, SP, 08-10 de Setembro de 1999

RECONHECIMENTO DE FIGURAS GEOMÉTRICAS UTILIZANDO-SE REDESNEURAIS ARTIFICIAIS INVARIANTES À ROTAÇÃO DE 10° E A

TRANSLAÇÃO

Aderlon Mareelino Queiroz * e Edna Lúcia Flôres ***Departamentode Ciência da Computação - UNIT

38411-186 - Uberlândia - MGTe!.: (034) 239-9600, FAX: (034) 239-9614, e-mail: amqueiroz@ufu.br/aqueiroz@facintr.com.br

**Departamentode Engenharia Elétrica - UFU38.400-902 - Uberlândia - MG

Te!.: (034) 236-5099, FAX: (034) 236-5099, e-mail: edna@ufu.br

Resumo Este artigo trata do reconhecimento de figurasgeométricas através da utilização de Redes Neurais Artificiais(RNAs). Para chegar a um resultado satisfatório, antes dasfiguras geométricas serem treinadas e reconhecidas pela RNA,elas são submetidas a uma rede invariante à translação erotação 'de 10°, constituída de um neurônio ADALINE. Oartigo consta de cinco itens principais, onde no primeiro é feitouma revisão geral dos trabalhos existentes com RNAs etratamos das técnicas de reconhecimentos de padrões; nosegundo, -expomos a técnicas utilizadas para tornar o neurônioADALINE invariante à rotação de 10" e translação; no terceiroitem, tratamos brevemente dos algoritmos utilizados para otreinamento e reconhecimento da RNA. No quarto itemdescrevemos os resultados obtidos. E finalmente no quintoitem são feitas conclusões a respeito dos resultados obtidos.

Palavras-chaves: Redes Neurais Artificiais, NeurônioADALINE, Figuras Geométricas, Rede Invariante à Rotaçãode 10°e Translação

1 INTRODUÇÃO

Vários centros de pesquisas e Universidades estão tentandodesenvolver técnicas de reconhecimento que tenham um nívelde desempenho praticamente . igual ao do ser humano. Oprincipal motivo do desenvolvimento de sistemas dereconhecimento são as aplicações científicas e econômicas, quetais sistemas apresentam. Entre estes sistemas pode-se citar, ossistemas de: reconhecimento de código de endereçamentopostal, leitura automática de cheques bancários, tarifaçãotelefônica, leitura automática para cegos, reconhecimento defiguras geométricas, etc. A obtenção de um software queconsiga fazer o papel do homem pode representar uma grandeeconomia de tempo e um bom ganho para as empresas.

586

Os métodos de reconhecimento de padrões convencionaisrequerem que os dados de entrada apresentem posição,orientação e tamanho similares a um determinado padrão. Naprática, porém, os dados de entrada podem apresentar diferençade tamanho, posição ou rotação em relação a um padrão pré-determinado. Além disso, os dados de entrada podem sercorrompidos por ruídos. Os métodos convencionais dereconhecimento, o casamento de padrões, por exemplo, nãotrabalham bem sob essas condições.

A mudança de escala ocorre quando as dimensões do padrãoutilizado no treinamento são diferentes das .dimensões dopadrão utilizado no reconhecimento. A translação ocorrequando o padrão utilizado no treinamento encontra-selocalizado em uma posição distinta · à posição do padrãoutilizado no reconhecimento. A rotação ocorre quando ospadrões utilizados no treinamento e no reconhecimentoapresentam inclinações diferentes. Com o objetivo deminimizar essas diferenças, a RNA deve ser insensível àmudança de escala, translação e rotação.

Outra abordagem para o reconhecimento de padrõesinvariantes é o uso do critério de similaridade definido emtermo de certas funções de transformações matemáticas, porexemplo, a transformada de Fourier, a transformada de Houghe a transformada de Wavelets.

WIDROW e autores . [6] desenvolveram um sistema para oreconhecimento de padrões utilizando uma rede invariante euma RNA classificadora treinada. A rede invariante é treinadaou projetada para produzir um conjunto de saídas que éinsensível à translação e à rotação de .90°do padrão de entrada.Os resultados obtidos são aplicados a RNA classificadora para.0 treinamento ou o reconhecimento.

FUKUMI e autores [2] utilizaram o 'mesmo princípiodesenvolvido por Widrow para tornar a rede invariantesomente à rotação.

Figura 2 - Representação esquemática da translação cima-baixo

FLÔRES [1] desenvolveu uma técnica para o reconhecimentode dígitos isolados invariantes à mudança de escala, translação o

e rotação utilizando-se RNAs.

40. SBAI- Simpósio Brasileiro de Automação Inteligente, São Paulo, SP, 08-10 de Setembro de 1999

Um dos algoritmos mais importantes na área de representação esquemática da translação cima-baixo dos pesosreconhecimento de padrões é o "Neocognitron", desenvolvido sinápticos de um único neurônio ADALINE idealizado porpor FUKUSHIMA e autores [3,4]. Esse sistema de Widrow.reconhecimento possui múltiplas camadas de neurônios quesão agrupadas em células de neurônios. O sistema é auto-organizãvel por aprendizado não supervisionado e adquire ahabilidade para reconhecer padrões estímulos de acordo com asdiferentes formas do contorno dos mesmos. O "Neocognitron"reconhece corretamente os padrões sem ser afetado pelosdeslocamentos e pela deformação.

2 REDE INVARIANTE À ROTAÇÃO DE 10°E A TRANSLAÇÃO

2.1 Translação

Na figura 2, o rótulo AD representa o neurônio ADALINE, orótulo MAl representa a função MAl, e o rótulo TCB(x)(Translação Cima-Baixo) significa a rotação com rolagem nosentido das linhas promovida no conjunto de pesos sinápticosdo neurônio ADALINE, e x representa a quantidade de linhasque foram rotacionadas nessa matriz.

A rede invariante à translação é composta de dois mecanismos,a translação cima-baixo e a translação esquerda-direita.

2.1.1 Translação Cima-Baixo

O princípio da translação cima-baixo do padrão de treinamentoconsiste em realizar um movimento para procurar o a melhorsituação para o reconhecimento. O movimento de busca érealizado no conjunto de pesos sinápticos de um neurônioADALINE.

A função MAl (MAJority vote-taker, Maioria dos VotosDados) realiza a soma dos resultados obtidos pelos várioselementos AD que tem o seu conjunto de pesos rotacionadospor rolagem no sentido das linhas e que é calculado o valor dafunção de ativação, os valores obtidos em cada elemento ADsão somados e a função MAl resulta em +1 ou -I conforme amaioria dos resultados for positivo ou negativo.

2.1.2 Translação Esquerda-Direita

A translação cima-baixo consiste em promover no conjunto depesos sinápticos, um movimento de rotação com rolagem nosentido das linhas, tendo em vista que o conjunto de pesossinápticos pode ser representado por uma matriz de númerosreais.

O princípio da translação esquerda-direita do padrão detreinamento consiste em realizar um movimento para buscar amelhor situação para o reconhecimento. O movimento de buscaé realizado no conjunto de pesos sinápticos de um neurônioADALINE.

A rotação com rolagem no sentido das linhas consiste em fazercom que os elementos de uma determinada linha sejamtransladados para a linha inferior, com exceção dos elementosda última linha que serão transladados para a primeira linha damatriz. Optou-se por utilizar a rotação por rolagem no sentidodas linhas iniciando em cima e indo para baixo, pode-serealizar a rotação no sentido contrário a este, contudo, osresultados da rotação serão diferentes. A figura 1 ilustra arotação com rolagem no sentido das linhas realizado em umamatriz de dimensão 3 x 3.

4 5 6Após a rotação com rolagemno sentido das linhas

A translação esquerda-direita consiste em promover noconjunto de pesos sinápticos, um movimento de rotação comrolagem no sentido das colunas, tendo em vista que o conjuntode pesos sin ãpticos pode ser representado por uma matriz denúmeros reais.

A rotação com rolagem no sentido das colunas consiste emfazer com que os elementos de uma determinada coluna sejamtransladados para a coluna a direita, com exceção doselementos da última coluna que serão transladados para aprimeira coluna da matriz. Optou-se por utilizar a rotação porrolagem no sentido das colunas iniciando na esquerda e indopara a direita, pode-se realizar a rotação no sentido contrário aeste, contudo, os resultados da rotação serão diferentes. Afigura 3 ilustra a rotação com rolagem no sentido das colunasrealizada em uma matriz 3 x 3.

Figura1-Representação matricial da rotação comrolagem no sentido das linhas

WIDROW [6] desenvolveu a operação rotação matriz de pesossinápticos de um neurônio ADALINE para a obtenção de umarede invariante à translação cima-baixo. A figura 2 ilustra a

587

40. SBAI - Simpósio Brasileiro de Automação Inteligente. São Paulo. SP. 08-10 de Setembro de 1999

Figura 3 - Representação matricial da rotação comroJagem no sentido das colunas

sentido da linhas. A figura 6 ilustra a rede composta por umneurônio ADALINE invariante à translação.

WIDROW [6] desenvolveu um esquema de rotação da matrizde pesos sinápticos de um neurônio ADALINE para obtençãode uma rede invariante à translação esquerda-direita. A figura 4ilustra a representação esquemática da translação esquerda -direita dos pesos sinápticos.

-r

Figura 6 - Representação esquemática da translaçãocompleta .

Os rótulos mostrados na figura 6 são os mesmos mostrados nasfiguras 2 e 4. O rótulo TED(y)TCB(x) significa que foi feitoprimeiro a translação cima-baixo e depois a translaçãoesquerda-direita, y é a quantidade de colunas transladadas e x éa quantidade de linhas transladadas.

2.2 Rotação

2.1.3 Translação Completa

Figura 4 - Representação esquemática da translaçãoesquerda-direita

O princípio da rotação de 90° do padrão de treinamentoconsiste em realizar um movimento de busca da melhorsituação para o reconhecimento. O movimento de busca érealizado no conjunto de pesos sinápticos de uma neurônioADALINE.

Devido ao fato de que a matriz do padrão a ser treinado serquadrada, só é possível tornar a RNA invariante a rotação deângulos múltiplos de 90°. A rotação de 90° consiste empromover no conjunto pesos sinápticos um movimento detransposição dos elementos , tendo em vista 'que o conjunto depesos sinápticos pode ser representado por uma matriz denúmeros reais.

2.2.1 Rotação de 90°

Optou-se por utilizar na transposição dos elementos da matrizno sentido de rotação horário, pode-se realizar a transposiçãono sentido contrário a este, contudo, os resultados datransposição serão diferentes.

A transposição dos elementos da matriz consiste em fazer comque os elementos que ocupam uma linha sejam transportadaspara uma coluna, ou seja, os elementos da primeira linhaocupam a última coluna, os elementos da segunda coluna vãopara a penúltima coluna, e assim é feito até que os elementosda última linha ocupem a primeira coluna ;

A figura 7 ilustra um exemplo das transposições feitas em umamatriz 3 x 3. '

Após a rotação com rolagemno sentido das linhas e nosentido das colunas

7 8 9Antes da rotação com rolagemno sentido das linhas e nosentido das colunas

Os rótulos indicados na figura 4 são os mesmos da figura 3,com exceção para TED(x) (Translação Esquerda-Direita), quesignifica a rotação com rolagem no sentido das colunas doconjunto de pesos sinápticos do neurônio ADALINE, e xrepresenta a quantidade de colunas que foram rotacionados.

A rede invariante à translação é a união da rotação por rolagemno sentido das linhas e da rotação por rolagem no sentido dascolunas. A rede invariante à translação realiza primeiro omecanismo de translação cima-baixo e em seguida realiza omecanismo de translação esquerda-direita.

A figura 5 ilustra uma matriz em que foi realizada uma rotaçãopor rolagem no sentido das linhas e em seguida uma rotaçãopor rolagem no sentido das colunas feita em uma matriz 3 x 3.

Figura 7 - Representação matricial da transposição nosentido horário '

. .Figura 5 - Representação matricial da translação completa

WIDROW [6] desenvolveu um esquema para realizar asrotações com rolagem em ambas as direções. A rede invarianteé composta de vários elementos chamados lajes (que são iguaisaos mostrados nas figuras 2 e 4), colocadas lado a lado, onde adiferenças de uma laje para outra é que a matriz de pesosináptico sofre uma rotação com rolagem no sentido dascolunas, e dentro de cada laje uma rotação com rolagem no

no no

588

FUKUMI [2] utilizou uma matriz circular no lugar de umamatriz' comum ou quadrada para melhorar o mecanismo darede invariante à rotação de Widrow. Para criar uma redeinvariante a rotação utilizando as matrizes circulares, énecessário primeiro transformar a matriz comum em circular,para então fazer a transposição e finalmente transformar amatriz circular em matriz comum. Então, foram criados doisprocedimentos para utilizar os princípios de Fukumi, oprimeiro toma a matriz quadrada em circular e é chamado decircularização e o segundo realiza o processo inverso que échamado de quadratização. .

R(O)@-

40. SBAI- Simpósio Brasileiro de Automação Inteligente, São Paulo, SP, 08·10 de Setembro de 1999

WIDROW [6] desenvolveu uma operação de transposição na Na figura 9 tem-se uma matriz circular onde a raia é o conjuntomatriz de pesos sinápticos de um neurônio ADALINE de elementos que estão na mesma direção e segmento é oseguindo o mesmo procedimento mostrado nas subseções conjunto de elementos que estão a mesma distância do centroanteriores, com o objetivo de obter uma rede invariante à da matriz.rotação de 90°. A figura 8 ilustra o esquema da laje que torna aRNA invariante à rotação de 90°.

2.3. Translação e rotação de 10°

Figura 10 - Transformação de uma matriz quadrada em .matriz circular

O valor do ângulo de rotação é obtido pela eq. (1) . Onde n é aordem da matriz quadrada. Neste trabalho as figurasgeométricas tem ordem igual a lO, utilizando a eq. (1) obtêm-se os 10°da rede invariante a rotação de 10°.

(1)360'A=--4(N -1)

A circularização toma uma matriz quadrada em circular, onde atransformação significa transferir os elementos da matrizcomum para a matriz circular. A quadratização torna umamatriz circular em quadrada, onde a transformação transfere oselementos da matriz circular para a matriz comum. A figura 10ilustra um exemplo de circularização de uma matriz comum.

FUKUMI [2] propôs um mecanismo semelhante aodesenvolvido por WIDROW [6] para a rede invariante àrotação, a diferença reside no fato de que a laje desenvolvidapor Widrow só realiza 4 operações de rotação, e na de Fukurnisão realizadas 36 operações.

Na seção 2.2.1, foi explicada a teoria de redes invariantes àrotação de 90°, contudo, pode-se verificar a limitação que talrede invariante apresenta, pois o intervalo de rotação da matrizde pesos sinápticos é muito grande. O que limita em muito aação desta rede invariante. Para resolver este problema, foiutilizado o princípio exposto por FUKUMl [2], onde substitui-se a rede invariante à rotação de 90° por uma rede invariante àrotação para qualquer ângulo.

O trabalho de Fukumi trata de uma rede invariante à rotaçãopara qualquer ângulo, o que tomou muito atrativo o seumecanismo para compensar o mecanismo de WIDROW [6],porém, para utilizar os princípios de Fukumi é necessário fazeruma adaptação do seu mecanismo.

O trabalho de Widrow utiliza uma matriz quadrada, o quelimita o mecanismo da rede invariante à rotação, a solução foiutilizar as matrizes circulares mostradas por Fukumi para obteruma rede invariante à rotação.

A matriz circular é uma matriz diferente da matriz comum,pois a matriz comum é composta de linhas colunas, a matrizcircular é composta de raias e segmentos, tendo os contornosarredondados, e isso é-ideal para construir uma rede invarianteà rotação. A figura 9 mostra uma matriz circular onde estãorepresentados o que são raias e segmentos. .

Os rótulos mostrados na figura 8 são os mesmos mostrados nasfiguras anteriores, com exceção para o rótulo R(z), querepresenta a transposição dos elementos da matriz de pesossinápticos do neurônio ADALINE, e z é o ângulo detransposição.

2:2.2 Rotação de 10°

Figura 8 - Representação esquemática da rotação de 90°.

Utilizando os princípios desenvolvidos por Widrow e Fukurni !possível criar uma rede invariante à translação e rotação de 10.Esta rede é ilustrada na figura 11.

Figura 9 - Indicações de raias e segmentos em uma matrizcircular

589

Onde no denominador da eq. (3) é colocado o módulo do vetorde entrada do padrão à ser reconhecido.

As duas últimas RNAs são treinadas pelo mesmo algoritmo decorreção dos pesos sinápticos, contudo, existem algumasalterações para quando a RNA possui mais de uma camadaoculta. TEIXEIRA [5] apresentou uma boa seqüência lõgicapara explicar sobre este algoritmo. A eq. (4) é o mecanismo decorreção na camada de saída e a eq. (5) na camada oculta.

40. SBAI- Simpósio Brasileiro de Automação Inteligente, São Paulo, SP, 08-10 de Setembro de 1999

w(k +1)=w(k) +!---;::::=:!==>',1

(3)

Figura 11 - Representação esquemática da rede invarianteà translação e rotação de 10°

W q(ll+ l)=Wq(ll) +1/'Ô;Z} (4)

Na figura 11 pode-se observar que a rede invariante é compostade um conjuntos de lajes, onde cada laje recebe a matriz depesos sinápticos rotacionados pelo mecanismo de Fuk.umi erealiza a translação completa conforme Widrow desenvolveu.

Na figura 11 não são mostrados os processos de circularizaçãoe quadratização, deve-se subentender que para cada laje derotação, o padrão é trarisformado em uma matriz circular',rotacionado por um ângulo, transformado em matriz quadrada,para então aplicar a translação.

3 REDES NEURAIS ARTIFICIAIS

Neste trabalho foram utilizadas quatro RNAs diferentes. Aprimeira 'RNA não possui camada oculta e foi treinada pelaregra Delta, a segunda não possui camada oculta e é treinadapela regra MADALINE lI, a terceira RNA possui uma camadaoculta e é treinada pela regra Back-Propagation, e a últimaRNA possui duas camadas ocultas e é treinada pela regra Back-Propagation.

A primeira RNA utiliza a regra delta para correção dos pesossinápticos do neurônio ADALINE mostrada na eq. (2), onde wé o conjunto de pesos sinápticos da camada de saída.

4 RESULTADOS OBTIDOS

Os testes realizados nas quatro RNAs foram obtidos após asmesmas serem treinadas para todas as possibilidades dealterações (translação e rotação de 10°). Nos testes foramrealizados várias alterações de deslocamento e inclinação, nasfiguras geométricas e no reconhecimento foi adicionado ruídonas figuras. O ruído utilizado possui distribuição uniforme,variando de O% a 50 %, ou seja, a figura geométrica sem ruídoadicionado até a figura com 50 % de ruído adicionado. Asfiguras geométricas treinadas possuem a porcentagem de 5 %de ruído adicionado. No reconhecimento, a figura geométrica étransladada e rotacionada por valores aleat órios, então sãoutilizadas para serem reconhecidas pelas RNAs.

As figuras de 12 a 15 ilustram os resultados obtidos para cadatipo de RNA quando foram treinadas 25 figuras geométricas.Em cada teste foi utilizada a mesma quantidade de figurasgeométricas a serem reconhecidas. ,

Porcentagem de ertradas roconhecidas

Onde o parâmetro 11 é a constante de aprendizagem doneurônio Xldé o vetor do padrão que está sendotreinado e 'y,déo vetor desejado como resposta na saída da RNA

w(k+l) =W(k)+1i!ô,x:,' ..I .

(2)

o 100,00%1 95,00%

-! 90 ,00%J80,00%

... 75,00%

-+-Porcentagem deenlllldasreconheckias

0% 10% 20% 30% 40% 5O"foPorc:enlBgom cioRufdo

A segunda RNA utiliza a regra MADALINE II para correçãodos pesos sinápticos do neurônio ADALINE. A eq. (3) mostraesta regra para o treinamento das RNAs.

590

Figura 12 - Resultado obtido para uma RNA sem camadaoculta e treinada pela regra Delta com 256guras

geométricas treinadas

Pode-se verificar na figura 12 que os valores obtidos para aRNA sem camada oculta e treinada pela regra delta diminuíramcom o aumento da porcentagem de ruído adicionado à figurageométrica.

40. SBAI- Simpósio Brasileiro de Automação Inteligente, São Paulo, SP, 08-10 de Setembro de 1999

Contudo, os resultados obtidos mantiveram-se bem altos,Poroontagem de onlrndas recnrllocidas acima 'de 70 % de acerto, o que sugerir um bom nível de acerto.

Figura 13 - Resultado obtido para uma RNA sem camadaoculta e treinada pela regra MADALINE 11com 25 figuras

geométricas treinadas

120,00%i 100,00% '

80 ,00%

i 80,00%f 40,00%1$ 20,00%a. 0,00%

-+-Porcentagemdeen1rlldasI8COflhoddaa

5 CONCLUSÃO

Este trabalho mostrou os algoritmos para tornar uma RNAinvariante à translação e rotação de 10°. Primeiro foi Jeito umresumo dos vários métodos para solucionar o problema deinvariância, em seguida foi exposto os mecanismos invariantesà translação e posteriormente à rotação. Foram explicadosalguns métodos para a correção dos pesos sinápticos e porúltimo, foram ' mostrados os resultados obtidos após otreinamento:

A figura 13 mostra que os resultados obtidos para a RNA semcamada oculta e treinada pela regra MADALINE ndecresceram com o aumento da porcentagem de ruídoadicionado a figura

Porcentagemde erWadaarecorIlecfdas

Os resultados obtidos mostraram que os métodos utilizadospara tornar as RNAs invariantes à translação e rotação de 10°apresentam ótimos resultados para as quatro RNAsimplementadas neste trabalho. Ocorreram resultados superioresa 70 % de acerto, mesmo com ruído e as alterações de posiçãoe inclinação. Os melhores resultados obtidos foi para a RNAcom 1 camada oculta e treinada pela regra Back-Propagation.

Poroontagom de enlrad80recome<:idae

Figura 14 .; Resultado obtido para uma RNA com 1camada oculta e treinada pela regra Back-Propagation com

25 figuras geométricas treinadas

Os resultados obtidos na figura 14 para a RNA com 1 camadaoculta, treinada pela regra Back-Propagation, a porcentagem deacerto diminui com o aumento da porcentagem de ruídoadicionado à figura geométrica

6 REFERÊNCIAS BIBLIOGRÁFICAS

[1] Flôres, E. L. (1997). Reconhecimento de CaracteresNuméricos Manuscritos que Considera as. Características Intrínsecas e Comuns de Cach\ Dígito.Campinas: Universidade Estadual de Campinas ,Faculdade de Engenharia Elétrica e Computação,Departamento de Comunicações. 2v; 771p. .

[2] Fukurni, M., et al. (1992). Rotation-Invariant Neural Pattern. Recognition System with Application to Coin

Recognition . IEEE Transaction on Neural Networks,VoI. 3, No. 2, pp. 272-279.

[3] Fukushima, K e Miyake, S. (1982). NEOCOGNITRON: ANew Algorithm for Pattem Recognition Tolerant ofDeformations and Shifts in Position. PatternRecognition,VoI. 15, No. 6, pp. 455-469.

-+-Porcentagemdeenlnldasreconhocidas

O'l'. 10% 20% 30% 40% 50%

""'-oom do Ruldo

o 120,00%

100,00%

80,00%i 60,00%f 40,00%i 20,00%

0.00%

Figura 15 - Resultado obtido para uma RNA com 2camadas ocultas e treinada pela regra Back-Propagation

com 25 figuras geométricas treinadas

Pode-se verificar' na figura 15 que a porcentagem de acertodiminui com o aumento da porcentagem de ruído, ocorreu omesmo comportamento para a RNA com 2 camadas ocultas etreinada pela regra Back-Propagation.

Ao analisar as figuras 12, 13, 14 e 15 pode-se verificar que osmelhores resultados 'obtidos foram para a RNA com·1 camadaoculta, e os piores para a RNA com duas camadas ocultas.

[4] Fukushima, K, et ai. (1983). NEOCOGNITRON: A NeuralNetworks Model for a Mechanism of Visual PatternRecognition. IEEE Transaction os Systems, Mf11I, andCybemetics, VoI. SMC-13, No. 5, pp.

[5] Teixeira, E. P.(1991). Controle de Sistemas Não LinearesAtravés de Redes Neurais. Campinas: UniversidadeEstadual de Campinas, Faculdade de EngenhariaElétrica, Departamento de Engenharia de Computação eAutomação Industrial. 191p.

[6] Widrow, B., et al.(1988) . Layered Neural Nets for PartemRecognition . IEEE Transaction on Acoustics, Speech,and Signal Processing,VoI. 36, No. 7, pp. 1109-1118.

591