utilizaÇÃo de redes neurais artificiais na … · redes neurais ferramentas poderosas quando o...

12
UTILIZAÇÃO DE REDES NEURAIS ARTIFICIAIS NA FILTRAGEM DE ALVOS FALSOS EM SISTEMAS DE CONTROLE DE TRÁFEGO AÉREO Raimundo Nogueira Lopes Neto Instituto Tecnológico de Aeronáutica – ITA Pós-Graduação em Aplicações Operacionais São José dos Campos/SP - 12228-900 [email protected] Karl Heinz Kienitz Instituto Tecnológico de Aeronáutica – ITA Divisão de Engenharia Eletrônica São José dos Campos/SP - 12228-900 [email protected] 1 Resumo Uma das tarefas mais desgastantes em sistemas de controle de tráfego aéreo é a correta identificação dos tráfegos. Muito tempo é perdido na tentativa de se classificar perfeitamente uma aeronave. Por vezes, aparecem alvos falsos que, por apresentarem características semelhantes a aeronaves, não podem ser desprezados sem análise. Baseado nas heurísticas utilizadas pelos operadores na identificação de alvos falsos, montou-se uma rede neural artificial com a finalidade de filtrar alvos reais. Os resultados obtidos mostraram-se inadequados para o ambiente proposto em virtude dos dados coletados não representarem adequadamente o espaço de estados necessário para o perfeito treinamento da rede. Uma nova rede foi obtida baseada em dados gerados “artificialmente”, utilizando o método de parada antecipada no treinamento. Os novos resultados mostram a eficiência da rede na identificação de alvos falsos sem comprometer a segurança de vôo, essencial em sistemas de trafego aéreo. 2 Palavras-chave Rede Neural Artificial, Classificação, Controle de Tráfego Aéreo. 3 Abstract One of the most tiresome tasks in air traffic control systems is to correctly identify the traffic. Much time is spent to achieve a correct aircraft classification. Sometimes false targets appear, and due to their similarity to aircraft they must not be disregarded without analysis. Based on the heuristic used by the operators in false target identification tasks, an artificial neural network was built to filter real targets. The results obtained were proven inadequate for the proposed environment because the collected data does not adequately represent a set of possibilities necessary for perfect net training. A new network has been built based on “artificially” created data using the early stopping method in training. The new results showed the net effectiveness in identifying false targets without jeopardizing flight security, essential for air traffic systems. 4 Keywords Artificial Neural Net, Classification, Air Traffic Control. 5 Introdução Sistemas de controle de tráfego aéreo normalmente apresentam uma síntese das informações através de uma representação pictorial, na tela plana da console do radar, do retorno de um pulso de radiofreqüência refletido por um objeto. Cada representação é denominada pista. Este tipo de sistema, conhecido como Sistema de Tratamento de Dados (STV), provê ao controlador de tráfego aéreo uma visão global de sua área de responsabilidade, bem como de áreas adjacentes a fim de facilitar a

Upload: phungnga

Post on 11-Nov-2018

217 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: UTILIZAÇÃO DE REDES NEURAIS ARTIFICIAIS NA … · redes neurais ferramentas poderosas quando o modelamento matemático é muito complexo. Classificação de pistas em sistemas de

UTILIZAÇÃO DE REDES NEURAIS ARTIFICIAIS NA FILTRAGEM DE ALVOS FALSOS EM SISTEMAS DE CONTROLE DE TRÁFEGO AÉREO

Raimundo Nogueira Lopes Neto Instituto Tecnológico de Aeronáutica – ITA Pós-Graduação em Aplicações Operacionais

São José dos Campos/SP - 12228-900 [email protected]

Karl Heinz Kienitz

Instituto Tecnológico de Aeronáutica – ITA Divisão de Engenharia Eletrônica

São José dos Campos/SP - 12228-900 [email protected]

1 Resumo Uma das tarefas mais desgastantes em sistemas de controle de tráfego aéreo é a correta

identificação dos tráfegos. Muito tempo é perdido na tentativa de se classificar perfeitamente uma aeronave. Por vezes, aparecem alvos falsos que, por apresentarem características semelhantes a aeronaves, não podem ser desprezados sem análise. Baseado nas heurísticas utilizadas pelos operadores na identificação de alvos falsos, montou-se uma rede neural artificial com a finalidade de filtrar alvos reais. Os resultados obtidos mostraram-se inadequados para o ambiente proposto em virtude dos dados coletados não representarem adequadamente o espaço de estados necessário para o perfeito treinamento da rede. Uma nova rede foi obtida baseada em dados gerados “artificialmente”, utilizando o método de parada antecipada no treinamento. Os novos resultados mostram a eficiência da rede na identificação de alvos falsos sem comprometer a segurança de vôo, essencial em sistemas de trafego aéreo.

2 Palavras-chave Rede Neural Artificial, Classificação, Controle de Tráfego Aéreo.

3 Abstract One of the most tiresome tasks in air traffic control systems is to correctly identify the traffic.

Much time is spent to achieve a correct aircraft classification. Sometimes false targets appear, and due to their similarity to aircraft they must not be disregarded without analysis. Based on the heuristic used by the operators in false target identification tasks, an artificial neural network was built to filter real targets. The results obtained were proven inadequate for the proposed environment because the collected data does not adequately represent a set of possibilities necessary for perfect net training. A new network has been built based on “artificially” created data using the early stopping method in training. The new results showed the net effectiveness in identifying false targets without jeopardizing flight security, essential for air traffic systems.

4 Keywords Artificial Neural Net, Classification, Air Traffic Control.

5 Introdução Sistemas de controle de tráfego aéreo normalmente apresentam uma síntese das informações

através de uma representação pictorial, na tela plana da console do radar, do retorno de um pulso de radiofreqüência refletido por um objeto. Cada representação é denominada pista. Este tipo de sistema, conhecido como Sistema de Tratamento de Dados (STV), provê ao controlador de tráfego aéreo uma visão global de sua área de responsabilidade, bem como de áreas adjacentes a fim de facilitar a

Page 2: UTILIZAÇÃO DE REDES NEURAIS ARTIFICIAIS NA … · redes neurais ferramentas poderosas quando o modelamento matemático é muito complexo. Classificação de pistas em sistemas de

2054

transição de responsabilidades de controle sobre tráfego que esteja entrando ou saindo de sua área de atuação.

Toda aeronave civil ou militar estrangeira que utiliza o espaço aéreo brasileiro é obrigada, antes de decolar, a informar aos órgãos de controle de tráfego aéreo através de um plano de vôo de circulação aérea geral (CAG). Este documento contém informações essenciais para o serviço de controle de tráfego aéreo como: aeródromo de decolagem, hora prevista para decolagem, rota, aeródromo de destino, etc. Quando o vôo é local, uma notificação de vôo, com apenas algumas informações, é suficiente. A fim de facilitar o sistema de controle de tráfego aéreo, as aeronaves civis brasileiras que cumprem rotas repetitivas podem utilizar-se de um plano de vôo repetitivo (RPL). No banco de dados (BDS) do STD são lançados diariamente os planos CAG e as notificações de vôo.

Toda pista é acompanhada de uma etiqueta de identificação onde constam os seguintes dados: Código IFF (código numérico transmitido pela aeronave); Velocidade/ proa/ altitude; e Label.

Sempre que surge uma pista nova no STV pode ocorrer ou não uma correlação automática entre as informações inseridas no BDS e a informação do tráfego em questão. Uma vez que haja a correlação, é alarmada ao operador através da primeira linha da etiqueta de identificação da pista: a matrícula da aeronave é mostrada no lugar do código IFF. O controlador de vôo, ao identificar que a correlação ocorreu, atribui ao tráfego uma classificação específica no campo “Label” visando facilitar o trabalho de controle.

Porém, em alguns casos, a correlação pode não ocorrer, particularmente nos tráfegos que não utilizam equipamento TDR (equipamento na aeronave que transmite o código IFF). Nestes casos, o controlador é obrigado, por questões de segurança, a utilizar outros recursos a fim de identificar a aeronave. Porém, algumas dessas pistas podem ser falsas, ou seja, surgem no sistema mas não são tráfegos aéreos. Normalmente são decorrentes de anomalias magnéticas na atmosfera que interferem com sinais da freqüência emitida pelo radar. Podem ocorrer também o caso de um radar de controle gerar pistas falsas para outro radar.

Uma das tarefas mais desgastantes do controlador é classificar corretamente os tráfegos aéreos. Muito tempo é perdido na tentativa de se classificar uma pista falsa, visto que por vezes apresentam características semelhantes a tráfegos aéreos e que, por questões de segurança, não podem ser desprezados. Os principais indícios de pista falsa são:

Tráfego sem IFF; e Velocidade e altitude incoerentes.

Portanto, o objetivo deste trabalho é mostrar a utilização de uma rede neural para filtrar pistas falsas a fim de auxiliar o controlador na tarefa de controle do espaço sob sua jurisdição. Inicialmente será mostrada a construção de uma rede treinada com dados reais. Nos testes com pistas de aeronaves de alta performance, o desempenho da rede mostra-se insatisfatório. Uma nova rede é proposta e treinada com um conjunto de treinamento artificial a fim de suplantar a deficiência encontrada na representatividade do espaço de estados dos padrões apresentados à rede inicial. Os resultados denotam uma significativa melhora na detecção de alvos falsos nas mais variadas circunstâncias, ratificando a confiabilidade do uso da rede para o ambiente proposto.

6 Rede neural Segundo Haykin (1999), em um processamento de informação clássico para classificação de

padrões, normalmente formula-se um modelo matemático das observações do ambiente com dados reais. O projeto de uma rede neural para o problema de classificação é baseado diretamente dos dados do problema, permitindo-se que o conjunto de dados “fale por si mesmo”, fornecendo um modelo implícito do ambiente, sem a complexidade das formulações matemáticas tradicionais. Isto torna as redes neurais ferramentas poderosas quando o modelamento matemático é muito complexo.

Classificação de pistas em sistemas de tráfego aéreo é uma atividade crítica, em que o nível de confiança da plataforma é um fator fundamental. Para implementação do modelo neural, utilizou-se o software MATLAB por ser uma ferramenta bastante utilizada, reconhecida pela comunidade científica e consagrada por sua facilidade de uso e robustez.

Page 3: UTILIZAÇÃO DE REDES NEURAIS ARTIFICIAIS NA … · redes neurais ferramentas poderosas quando o modelamento matemático é muito complexo. Classificação de pistas em sistemas de

2055

6.1 Modelo inicial 6.1.1 Conjuntos de dados

Por razões de segurança, optou-se por tornar o sistema conservativo com relação à classificação de alvos falsos. Isto se refletiu no tratamento dos possíveis erros. Neste sentido, as hipóteses de erro são:

E0: Pista verdadeira classificada como falsa (denominado “erro fatal”); e E1: Pista falsa classificada como verdadeira.

Desta forma, a hipótese de erro E1 é um erro tolerável em um sistema de tráfego aéreo, visto que ainda haverá, nestes casos, a intervenção do operador para reclassificá-la como falsa. Por outro lado, a hipótese de erro E0 é inadmissível por comprometer a segurança do tráfego aéreo.

Em um projeto de uma rede neural, os dados do ambiente, também chamados de conhecimento do mundo, são retirados através de exemplos, que podem ser rotulados ou não. Nos exemplos rotulados, cada exemplo de entrada está associado a uma saída desejada. Por outro lado, os exemplos não-rotulados consistem de ocorrências diferentes dos elementos do conjunto de exemplos de entrada. O conjunto de exemplos rotulados é denominado conjunto de treinamento.

Foram coletados os dados do STD para compor os conjuntos de treinamento e teste. O preparo do conjunto de padrões a serem utilizados pela rede era feito baseado na avaliação do padrão constituído pelas variáveis velocidade e altitude instantâneas, que recebiam o rótulo de alvo falso ou não pelo operador.

Como afirma Haykin (1999), um fator importante a ser observado na escolha dos exemplos de treinamento é a presença de exemplos positivos e negativos. No problema de caracterização de uma pista falsa em um sistema de tráfego aéreo, os exemplos positivos constituíam de pistas que efetivamente não fossem falsas. Os exemplos negativos eram os casos contrários. Desta forma montou-se o conjunto de dados com 242 padrões para o treinamento e 234 padrões para teste.

6.1.2 Metodologia para obtenção da rede

O trabalho de montagem da rede é um processo de otimização paramétrica, onde os parâmetros a serem considerados influenciam tanto na precisão dos resultados como na taxa de aprendizado da rede. Sabe-se que não há um método específico para escolha dos valores de tais parâmetros. Existem algumas heurísticas que podem ajudar no processo [REIS03].

Neste sentido, optou-se por uma arquitetura de rede neural do tipo feedforward de múltiplas camadas. Com apenas uma camada oculta, já foi possível obter bons resultados. A metodologia utilizada para descobrir o número de neurônios satisfatório foi o aumento gradual da quantidade de neurônios. Foram testados, na camada oculta, de 1 a 8 neurônios.

A fase em que a rede é treinada por meio de um algoritmo apropriado é chamado de aprendizagem. Após a fase de treinamento, o aprendizado adquirido é representado pela matriz de pesos, que foi continuamente modificada pelo algoritmo de treinamento, gerando um modelo compacto e robusto onde o todo o conhecimento está distribuído.

Uma apresentação completa do conjunto de treinamento é denominada época. Várias épocas podem ser necessárias para estabilizar os pesos sinápticos e biases, permitindo assim que o erro médio quadrático sobre todo o conjunto de treinamento convirja para um valor mínimo.

Antes de atingir a versão final da rede, outros testes foram realizados: Utilização de outros algoritmos de aprendizado; Redução do número de padrões do conjunto de treinamento; Utilização das possíveis combinações das funções de ativação nas camadas oculta e de saída; Limitação do número de épocas estabelecendo-se um erro maior que zero como objetivo; e Modelos com duas camadas ocultas.

Um outro teste que foi feito antes de se obter a rede definitiva merece especial destaque pelos resultados obtidos. Sabe-se que as redes neurais são muito suscetíveis a ruídos. Dependendo do conjunto de dados de entrada, é interessante evitar que os ruídos tenham um efeito muito grande sobre os pesos da rede e comprometam o resultado que interessa. Para ilustrar este fato, calculou-se a média dos 242 padrões de entrada do conjunto de treinamento, cujos resultados foram: 0.49 e 165. Observa-se a presença de outliers. Nestes casos, faz-se necessário um tratamento prévio nos dados de entrada, normalizando os dados em uma faixa de valores controlada. No MATLAB®, as funções premnmx ( ) e

Page 4: UTILIZAÇÃO DE REDES NEURAIS ARTIFICIAIS NA … · redes neurais ferramentas poderosas quando o modelamento matemático é muito complexo. Classificação de pistas em sistemas de

2056

prestd ( ) podem ser usadas para escalonar as entradas e saídas desejadas de forma que se situem na faixa [-1,1]. Este recurso foi utilizado, porém os resultados obtidos no treinamento não foram satisfatórios e, portanto, o recurso de normalização foi abandonado.

6.1.3 Rede obtida

Após o incremento do 4º neurônio, não se verificou uma melhora significativa na rede. O melhor resultado ficou assim definido:

2 (duas) entradas (velocidade e altura); 4 (quatro) neurônios na camada oculta; 1 (um) neurônio na camada de saída; Função de ativação tangente hiperbólica na camada oculta; e Função de ativação sigmóide na camada de saída.

Uma maneira informativa de examinar o comportamento de convergência do algoritmo LMS é traçar a curva de aprendizagem, que pode ser observada na Figura 1. A curva de aprendizagem é um gráfico do valor de estimação do erro médio quadrático, medξ (n), em função do número de iterações n.

Figura 1 – Curva de aprendizagem da rede obtida

6.1.4 Algoritmo de treinamento

O algoritmo de treinamento utilizado aqui foi o backpropagation com otimização Levemberg-Marquardt (LM), sugerido pelo software MATLAB® como o algoritmo de melhor desempenho para obter menores medξ (n). Para um número de neurônios pequeno este algoritmo é muito eficiente. Maiores detalhes sobre o algoritmo LM podem ser encontrados na toolbox de Redes Neurais do MATLAB® [NNETM00].

O treinamento em lote realizado se caracteriza por atualizar os pesos e biases somente após cada época. Os gradientes calculados em cada exemplo de treinamento são somados juntos para determinar a mudança na matriz de pesos.

Page 5: UTILIZAÇÃO DE REDES NEURAIS ARTIFICIAIS NA … · redes neurais ferramentas poderosas quando o modelamento matemático é muito complexo. Classificação de pistas em sistemas de

2057

6.1.5 Teste

Uma vez terminada a fase de treinamento, a rede está pronta para ser testada através de seu conjunto de exemplos não-rotulados, denominado conjunto de teste. Através dos exemplos não-rotulados é possível avaliar a capacidade da rede de generalização, ou seja, inferir uma classe para a entrada correspondente coerente com o treinamento imposto.

Apresentado o conjunto de teste à rede, a taxa de acerto foi de 100%. Como afirma Haykin (1999), uma limitação séria de uma solução através de um modelo neural é sua incapacidade de “explicar” o processo de computação utilizado para inferir a classificação. O resultado do teste é a única medida de desempenho da rede.

Visando eliminar as dúvidas com relação às respostas da rede, adotou-se o seguinte limiar: Saída > 0,09 era considerada 1 (um); e Saída <= 0,09 era considerada 0 (zero).

O MATLAB dispõe de uma rotina (postreg) que permite fazer uma regressão entre os resultados obtidos e os resultados esperados. A Figura 2 mostra os resultados obtidos na regressão.

Figura 2 -Regressão entre os resultados obtidos e os resultados esperados

Observa-se que um resultado de 98,7% de acerto significa um ligeiro desvio do que seria o resultado ideal de 100%. É possível visualizar também as saídas da rede, que se concentraram em 1 (um) ou em valores muito próximos de 0 (zero), representados por círculos pequenos nas extremidades inferior esquerda e superior direita. O resultado 1 (um) representado pelo círculo na extremidade superior esquerda significa a presença de erro E1. O valor R é o coeficiente de correlação entre as saídas desejadas e as esperadas.

Um sistema que esteja se propondo a auxiliar à decisão de um operador para fins de classificação de tráfego aéreo deve estar preparado para as mais diversas situações que possam ocorrer. Portanto, visando certificar o modelo, foi montado um conjunto de teste com padrões gerados

Presença do E1

Page 6: UTILIZAÇÃO DE REDES NEURAIS ARTIFICIAIS NA … · redes neurais ferramentas poderosas quando o modelamento matemático é muito complexo. Classificação de pistas em sistemas de

2058

“artificialmente” baseado no envelope de vôo da aeronave de alta performance F-16, mostrado na Figura 3.

Figura 3 – Envelope de vôo da aeronave F-16 [JANE`S99]

Na geração do conjunto de dados foi dada prioridade para padrões que se encontravam no limite

do gráfico de velocidade (em mach) por altitude (em ft), simulando que uma aeronave como o F-16 sobrevoasse o espaço aéreo brasileiro com características de vôo bastante raras em uma navegação para um ataque.

Teste do envelope do f-16

0100200300400500600700

0 0,5 1 1,5 2 2,5Velocidade em mach

Alti

tude

em

ft (x

100)

Figura 4 – Conjunto de teste simulando o F-16

A Figura 4 representa o conjunto de dados de teste gerado de padrões no limite do envelope de

vôo do F-16. O resultado da simulação foi de 42,8 % de acerto, com ocorrência de erros E0 para o modelo, o que torna o sistema não confiável. Tem que se levar em consideração também que o conjunto de teste estava muito fora das características de vôo consideradas normais em uma incursão de uma aeronave inimiga de alta performance.

A rede não foi capaz de generalizar os padrões onde ocorreram os erros E0 por não ter sido treinada adequadamente para reconhecer alguns tipos de padrão em que foi submetida. Portanto, era de se esperar que erros dessa natureza acontecessem. Conclui-se que os dados coletados para o treinamento foram insuficientes para treinar o modelo adequadamente, visto que o espaço de estados não está muito representativo das possíveis ocorrências em um sistema que se propõe a classificar alvos em um sistema de tráfego aéreo. A coleta de dados que seja representativa do espaço de estados

Alvos classificados como falsos (E0)

Page 7: UTILIZAÇÃO DE REDES NEURAIS ARTIFICIAIS NA … · redes neurais ferramentas poderosas quando o modelamento matemático é muito complexo. Classificação de pistas em sistemas de

2059

possíveis é inviável, pois a incursão de tráfegos de aeronaves de alta performance é uma ocorrência muito rara. Tornou-se, então, premente a busca de alternativas a fim de realizar um treinamento mais adequado.

6.2 Modelo revisado 6.2.1 Conjuntos de dados

A fim de tornar o espaço de estados do conjunto de treinamento suficiente para classificar adequadamente padrões de velocidade e altitudes eventualmente possíveis em veículos aéreos, optou-se por gerar artificialmente o conjunto de dados para treinar e testar a rede. O conjunto de padrões tinha que se basear em um espaço de estados que fosse definitivamente representativo. Portanto, optou-se por gerar um envelope de vôo de uma aeronave fictícia que englobasse qualquer veículo aéreo.

Foi desenvolvido em MATLAB® um algoritmo para montar o envelope de vôo usando os dados de desempenho das aeronaves de melhor performance atuais. Para gera este envelope, ampla pesquisa foi realizada com relação a dados de desempenho nas aeronaves das seguintes classes [JANE’S99]:

Aeronaves de alta performance; UAV (Unmanned Aerial Vehicles); Helicópteros; e Aeronaves denominadas “espiãs” (voam em altas altitudes).

Baseado neste envelope, foram gerados artificialmente os conjuntos de padrões com 256 exemplos.

De acordo com Rippley (1996), citado por Jacob (2003), a rede neural é um classificador não-paramétrico que requer o conhecimento de características pertinentes à aplicação, de forma que alterações na topologia e até mesmo no processo de aprendizado acarretem ganhos de desempenho. O termo “não-paramétrico” é usado onde não existe um modelo matemático prévio das observações do ambiente [BISHOP95].

Assim, o processo de aprendizagem se transforma em uma escolha de parametrização para um conjunto de dados. Em outras palavras, a seleção da rede é uma escolha da melhor rede dentre um conjunto de estruturas candidatas (parametrizações), de acordo com critérios estabelecidos [HAYKIN99].

Neste contexto, uma ferramenta padrão da estatística conhecida como validação cruzada torna-se bastante útil.

6.2.2 Validação cruzada

A idéia é validar o modelo com um conjunto de dados diferente daquele utilizado para estimar os parâmetros. Com isso, é possível avaliar o desempenho de vários modelos candidatos e, assim, escolher o melhor. O uso da validação cruzada é atrativo particularmente quanto é necessário projetar uma rede neural cujo objetivo seja uma boa generalização, evitando o chamado overfitting e, conseqüentemente, especialização no conjunto de treinamento [NNETM00].

Para aplicação da técnica da validação cruzada, o conjunto de dados deve ser dividido inicialmente em conjunto de treinamento e conjunto de teste. O primeiro, por sua vez, deverá ser dividido em subconjunto de estimação e subconjunto de validação. O subconjunto de estimação será usado para treinar a rede e o subconjunto de validação para selecionar a melhor rede entre as redes candidatas.

Seguindo os resultados de Kearns (1996), citado por Haykin (1999), uma escolha sensata para a divisão dos subconjuntos é atribuir 80% do conjunto de treinamento para o subconjunto de estimação e 20% para o subconjunto de validação. Usando aproximações destes resultados, foram separados aleatoriamente 216 padrões para o subconjunto de estimação, usado para selecionar o modelo; e 40 padrões para o subconjunto de validação, para validar o modelo.

6.2.3 A rede obtida

A metodologia usada para gerar a rede foi idêntica a da rede inicial, inclusive foi usada a mesma arquitetura e algoritmo de treinamento. Todos os testes feitos anteriormente foram refeitos e chegou-se

Page 8: UTILIZAÇÃO DE REDES NEURAIS ARTIFICIAIS NA … · redes neurais ferramentas poderosas quando o modelamento matemático é muito complexo. Classificação de pistas em sistemas de

2060

a uma configuração semelhante a da rede inicial, exceto pelo número de 6 neurônios na camada oculta, ao invés de 4.

Utilizando-se o subconjunto de estimação para treinar a rede, obteve-se a curva de aprendizagem representada pela Figura 5

Figura 5 - Curva de aprendizagem da rede final obtida

6.2.4 Método de parada antecipada (Early stopping)

Normalmente, um perceptron de múltiplas camadas treinado com o algoritmo de retropropagação aprende em estágios, partindo da realização de funções de mapeamento razoavelmente simples para mais complexas, conforme a seção de treinamento avança. Em uma situação típica, o medξ (n) decresce com o aumento do número de épocas, conforme a rede caminha em direção ao um mínimo local da superfície de erro [HAYKIN99].

Tendo como objetivo uma boa generalização, é muito difícil perceber quando é o melhor momento para encerrar o treinamento, olhando-se apenas para a curva de treinamento. Provavelmente ocorrerá uma especialização da rede no conjunto de treinamento, acarretando erros significativos no conjunto de testes. É possível identificar o início do excesso do treinamento através da validação cruzada, ou seja, o processo de treinamento é interrompido periodicamente (após um número determinado de épocas), a fim de ser testado com o subconjunto de validação. Este procedimento é conhecido como método de parada antecipada.

6.2.5 Análise da validação

Após a simulação do subconjunto de validação, na busca do erro 0 (zero), a taxa de acerto foi de 100% . O resultado da regressão pode ser visualizado na Figura 6.

Page 9: UTILIZAÇÃO DE REDES NEURAIS ARTIFICIAIS NA … · redes neurais ferramentas poderosas quando o modelamento matemático é muito complexo. Classificação de pistas em sistemas de

2061

Figura 6 - Regressão entre os resultados da rede final

Observando o resultado da regressão, nota-se que o desempenho da rede foi excelente, com uma correlação entre as saídas desejada e esperada praticamente igual a 1 (um), sem a presença de erros.

Porém, um padrão em particular estava destoando dos demais. O padrão de validação (vel=0 e alt=40) estava com uma saída na rede de aproximadamente 0,19 (Figura 6). Este padrão do subconjunto de validação representa o teto máximo de pairado de helicópteros, portanto um padrão que está no limite do envelope de vôo gerado. Apesar disso, a rede ainda interpretou como uma resposta correta de acordo com o limiar estabelecido anteriormente com relação ao tratamento das saídas.

Observou-se que, limitando o treinamento da rede, de acordo com o método de parada antecipada, as respostas para este padrão em particular tornaram-se mais próximas de 1 (um). A fim de avaliar a melhor saída para o padrão citado, a rede foi treinada com diferentes limites de erro. Partindo-se do limite alcançado pelo treinamento inicial da rede (10-18), novas redes foram sendo construídas aumentando-se apenas o erro final pretendido e, conseqüentemente, limitando o treinamento do subconjunto de estimação.

A Figura 7 demonstra os resultados do padrão (vel=0 e alt=40) para redes treinadas sob diferentes limites de erro, após a simulação do subconjunto de validação em cada rede gerada. Erros acima de 10-3 não se mostraram coerentes com relação aos resultados das outras saídas, por isso foram desconsiderados.

vel = 0 alt = 40

Page 10: UTILIZAÇÃO DE REDES NEURAIS ARTIFICIAIS NA … · redes neurais ferramentas poderosas quando o modelamento matemático é muito complexo. Classificação de pistas em sistemas de

2062

Padrão vel=0 e alt=40

0

0,2

0,4

0,6

0,8

0 5 10 15 20Erro (10-x)

Out

put d

a re

de

Figura 7 – Comportamento da rede em relação à saída do padrão (vel=0 e alt=40)

Observando, na Figura 7, o comportamento da saída para o padrão em questão, conclui-se que a rede obteve um melhor treinamento com um limite de erro de 10-8 (saída=0,6). Um dado importante a ser abordado é que as saídas dos outros padrões não alteraram significativamente quando a rede foi simulada com limites de erro entre 10-3 a 10-18. Por isso, a escolha da melhor rede, usando o método de parada antecipada, foi baseada apenas neste padrão.

A regressão dos resultados da rede limitada ao erro 10-8 pode ser observada na Figura 8. Nota-se que houve um ligeiro incremento em R em relação ao resultado da Figura 6 devido a melhora na saída do padrão (vel=0 e alt=40).

Figura 8 - Regressão dos resultados da rede final limitada a 10-8 de erro

vel = 0 alt = 40

Page 11: UTILIZAÇÃO DE REDES NEURAIS ARTIFICIAIS NA … · redes neurais ferramentas poderosas quando o modelamento matemático é muito complexo. Classificação de pistas em sistemas de

2063

O software MATLAB® afirma que [NNETM00]: Quando o número de parâmetros da rede é muito menor que o número de padrões do

conjunto de treinamento, como é o caso da rede final, há poucas chances de ocorrer overfitting; e Para aplicação do método de parada antecipada, deve-se evitar o uso de algoritmos de

convergência rápida, como é o caso do LM. Apesar disso, o método de parada antecipada tornou-se eficaz na escolha da melhor rede para o

modelo em questão, como será demonstrado nos testes a seguir.

6.2.6 Testes

O primeiro teste realizado foi com o conjunto de padrões da aeronave F-16 testado no modelo inicial. O resultado do teste foi de 100% de acertos. Comparando com os 42,8% do modelo inicial, nota-se uma melhora excepcional com relação à taxa de acerto, ratificando a confiabilidade do modelo revisado.

O segundo conjunto de teste serviu para validar o modelo neural com relação aos padrões coletados do STD. Foi utilizado o mesmo conjunto de teste usado no modelo inicial da rede para que possa ser comparado com o resultado do modelo final. Após a simulação, o resultado foi de 94% de acerto na identificação dos padrões apresentados. Apesar de ter ocorrido erros, nenhum foi do tipo erro E0, o que viabiliza o modelo para utilização no ambiente proposto.

Figura 9 – Regressão dos resultados do conjunto de teste do STD

A regressão dos resultados pode ser observada na Figura 9. Nota-se que o correlacionamento entre as saídas desejada e esperada é menor que o resultado de quando o mesmo conjunto foi apresentado à rede inicial (Figura 2).

Comparando o resultado do modelo inicial (98,7%) com o modelo final (94%), verifica-se que houve um decréscimo no desempenho com relação à taxa de erro. Essa queda de desempenho retrata a necessidade do modelo ser conservativo, visando a não ocorrência de erros E0. No entanto, agregou-se

Presença do erro E1

Page 12: UTILIZAÇÃO DE REDES NEURAIS ARTIFICIAIS NA … · redes neurais ferramentas poderosas quando o modelamento matemático é muito complexo. Classificação de pistas em sistemas de

2064

uma confiabilidade significativa com relação a aeronaves que possam sobrevoar o espaço aéreo, usando padrões de velocidade e altitude de aeronaves de qualquer performance.

7 Conclusão O objetivo deste trabalho foi mostrar a utilização uma rede neural para filtrar pistas falsas a fim

de auxiliar o controlador na tarefa de controle do espaço sob sua jurisdição. Inicialmente foi mostrada a construção de uma rede treinada com dados reais. Nos testes com

aeronaves de alta performance, o desempenho da rede mostrou-se insatisfatório. Concluiu-se que os padrões coletados para o treinamento da rede não se mostraram representativos em relação ao espaço de estados possíveis. Esta coleta é inviável, visto que determinados tráfegos aéreos raramente adentram no espaço aéreo em questão, restringindo a montagem de um conjunto de treinamento adequado. A solução adotada foi gerar os dados artificialmente, de forma a obter padrões diferentes dos padrões encontrados no dia a dia de operação, a fim de dar confiabilidade ao sistema. Uma nova rede foi montada com um conjunto de treinamento representativo. Na montagem da rede , optou-se por fazer uso do método de parada antecipada no treinamento, o que serviu para selecionar a melhor rede para o ambiente proposto. Os resultados denotam uma sensível queda na taxa de acerto, mas uma significativa melhora na filtragem de alvos falsos nas mais variadas circunstâncias, ratificando a confiabilidade do uso da rede para sistemas críticos, como o sistema de tráfego aéreo.

8 Referências [REIS03] Reis, L. P. Análise do desempenho de redes neurais artificiais na predição de indicadores do mercado financeiro. Trabalho de Graduação. São José dos Campos: Instituto Tecnológico da Aeronáutica, 2003. [NNETM00] MATLAB - The language of technical computing: neural network toolbox. Version 6.0.0.88. [S.I.]: The Mathworks Inc, 2000. 1 CD-ROM. [JANE`S99] Jackson, P. (Ed). Jane’s – All The world’s aircrafts – 1998-99. Surrey: Jane’s information group, 1999. [BISHOP95] Bishop, C. M. Neural networks for pattern recognition. New York:Oxford, 1995. [HAYKIN99] Haykin, S. Neural Networks: a comprehensive foundation. 2.nd. ed. Upper Saddle River: Prentice-Hall, 1999. [RIPPLEY96] Rippley, B. D. Pattern recognition and neural networks. Cambrigde: Cambrigde University Press, 1996. [JACOB03] Jacob, A. M. Classificação supervisionada de imagens SAR via redes neurais artificiais. Dissertação de Mestrado. São José dos Campos: Instituto Tecnológico da Aeronáutica, 2003.