modelo de relatório de trabalho - ica.ele.puc-rio.br ielpo.pdf · este trabalho apresenta um...

50
Daniel Neves Ielpo Previsão de Indicadores de Qualidade de Serviços em Rede Banda Larga Fixa através de Redes Neurais Artificiais Monografia de Final de Curso 01/09/2015 Monografia apresentada ao Departamento de Engenharia Elétrica da PUC/Rio como parte dos requisitos para a obtenção do título de Especialização em Business Intelligence. Orientador: Juan Guillermo Lazo Lazo

Upload: phamdien

Post on 22-Nov-2018

215 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Modelo de Relatório de Trabalho - ica.ele.puc-rio.br Ielpo.pdf · Este trabalho apresenta um sistema de previsão para os indicadores de qualidade do serviço de uma rede de banda

Daniel Neves Ielpo

Previsão de Indicadores de Qualidade de Serviços em Rede Banda Larga Fixa através

de Redes Neurais Artificiais

Monografia de Final de Curso

01/09/2015

Monografia apresentada ao Departamento de Engenharia Elétrica da PUC/Rio como parte dos requisitos para a obtenção do título

de Especialização em Business Intelligence.

Orientador:

Juan Guillermo Lazo Lazo

Page 2: Modelo de Relatório de Trabalho - ica.ele.puc-rio.br Ielpo.pdf · Este trabalho apresenta um sistema de previsão para os indicadores de qualidade do serviço de uma rede de banda

Daniel Neves Ielpo

Previsão de Indicadores de Qualidade de Serviços em Rede Banda Larga Fixa através de Redes Neurais Artificiais

Monografia apresentada ao Departamento de Engenharia Elétrica da PUC/Rio como parte dos requisitos para a obtenção do título de Especialização em Business Intelligence.

Professor Orientador: Juan Guillermo Lazo Lazo

Rio de Janeiro 2013

Page 3: Modelo de Relatório de Trabalho - ica.ele.puc-rio.br Ielpo.pdf · Este trabalho apresenta um sistema de previsão para os indicadores de qualidade do serviço de uma rede de banda

Agradecimentos

A minha família, especialmente aos meus pais e minha irmã Valéria e meu afilhado Heitor, pelo carinho e apoio.

À Fernanda pelo amor, companheirismo e incentivo. Aos meus grandes amigos: Vítor, Moreno, Bernardo, Igor, Bruno,

Felipe, Luiz, Rafael, Eduardo, Fábio, Thiago, Rodrigo, Davi, Thomaz, Carlos, Wilson por serem os melhores amigos que alguém pode ter.

Aos meus compadres Carlos e Vanessa e minha afilhada Eduarda, por serem uma nova parte da minha família.

A todos meus colegas de trabalho especialmente: Isabele, Wagner, Raphael, Jorge, Bruno e Júlio pelas ajudas e incentivos de todos os dias.

A todos os professores do curso BI Master, especialmente ao meu orientador Juan pelos novos conhecimentos passados durante todo o curso.

Page 4: Modelo de Relatório de Trabalho - ica.ele.puc-rio.br Ielpo.pdf · Este trabalho apresenta um sistema de previsão para os indicadores de qualidade do serviço de uma rede de banda

RESUMO Este trabalho apresenta um sistema de previsão para os indicadores de

qualidade do serviço de uma rede de banda larga fixa utilizando Redes Neurais

Artificiais. O fornecimento de serviço de banda larga fixa como qualquer outro

tipo de serviço prestado a residência de clientes, está sujeito a diversos tipos de

problemas e defeitos. Além de gerar custos operacionais para as operadoras de

banda larga, existem metas de qualidade que são reportadas obrigatoriamente a

Agência Nacional de Telecomunicações a Anatel. Se essas metas de qualidade

não são atendidas, elas podem geram multas e outras penalidades às

operadoras. A equipe responsável pela operação dos serviços de campo é

responsável pelos seguintes indicadores: a taxa de instalações realizadas no

prazo, a quantidade de reparos sobre a quantidade de circuitos de acessos

ativos e a taxa de reparos resolvidos no prazo estabelecido pela Agência. O

objetivo desse trabalho é construir um sistema para prever o comportamento e a

demanda de serviços desses indicadores aplicando técnicas de previsão

utilizando redes neurais artificiais. Com isto será possível auxiliar a equipe

responsável pelos reparos dimensionar melhor a equipe de atendimento e tomar

medidas proativas para atingir as metas obrigatórias.

Page 5: Modelo de Relatório de Trabalho - ica.ele.puc-rio.br Ielpo.pdf · Este trabalho apresenta um sistema de previsão para os indicadores de qualidade do serviço de uma rede de banda

ABSTRACT This work presents a forecasting system for the indicators of quality of a

network of fixed broadband services using Artificial Neural Networks. The

provision of broadband services like any other service provided to customer

residences, is subject to various types of problems and defects. Furthermore

generating operational costs for broadband operators, there are quality goals that

are mandatorily reported to the National Telecommunications Agency Anatel. If

these quality goals are not met, they can fine and place other penalties to the

operators. The staff responsible for the operation of field services is responsible

for the following indicators: the ratio of installations finished at the established

time, the ratio of repairs over the total amount of access circuits installed and the

ratio of repairs finished at the established time. The aim of this work is to build a

system to predict the behavior of these indicators and the demand of these

services using artificial neural networks to forecast. With this work it will be

possible to help the team responsible for repairs to better scale the service team

and take proactive measures to achieve the required goals.

Page 6: Modelo de Relatório de Trabalho - ica.ele.puc-rio.br Ielpo.pdf · Este trabalho apresenta um sistema de previsão para os indicadores de qualidade do serviço de uma rede de banda

Sumário

1. INTRODUÇÃO ................................................................................. 6 2. DESCRIÇÃO DO PROBLEMA ......................................................... 9 3. METODOLOGIAS .......................................................................... 15 4. ARQUITETURA DO SISTEMA PROPOSTO.................................. 25 5. RESULTADOS ............................................................................... 32

6. CONCLUSÕES E TRABALHOS FUTUROS .................................. 47 Referências Bibliográficas ........................................................................ 49

Page 7: Modelo de Relatório de Trabalho - ica.ele.puc-rio.br Ielpo.pdf · Este trabalho apresenta um sistema de previsão para os indicadores de qualidade do serviço de uma rede de banda

1. INTRODUÇÃO

MOTIVAÇÃO

A principal motivação deste trabalho é auxiliar a equipe responsável pela

manutenção da planta externa de serviços de banda larga residencial, prevendo

o comportamento dos indicadores de qualidade do serviço. Para esse trabalho

foram utilizados especificamente os dados dos serviços realizados pela empresa

no Estado do Rio de Janeiro.

Atualmente não existe uma medida proativa para auxiliar a equipe a prever

como será o comportamento dos indicadores, e assim manter os indicadores

atendendo aos padrões estabelecidos pela Anatel.

A qualidade do serviço é medida diariamente através dos indicadores:

Taxa de Reclamações, Taxa de Instalação do Serviço e Taxa de Tempo de

Reparo. Mas estes indicadores apenas representam a quantidade/qualidade de

serviços que foram realizados, não auxiliando a equipe à tomada de decisões.

Só se buscam justificativas para os resultados e não soluções.

OBJETIVOS DO TRABALHO

Os principais objetivos deste trabalho são:

Realizar através de Redes Neurais Artificiais previsões do

comportamento dos principais indicadores de qualidade dos

serviços de banda larga residencial. Para assim verificar se as

metas estabelecidas pela Anatel serão atendidas.

E para auxiliar no trabalho diário da equipe de manutenção da

planta externa, prever a quantidade de serviços de reparo e de

instalação que serão abertos, também através de Redes Neurais

Artificiais.

DESCRIÇÃO DO TRABALHO

O desenvolvimento desta monografia envolveu cinco etapas: Extração dos

dados históricos de reparo e instalações dos serviços de banda larga;

Construção do histórico dos indicadores; Estudo dos métodos de previsão

através de redes neurais artificiais; Desenvolvimento dos modelos de previsão;

Estudos de casos.

Page 8: Modelo de Relatório de Trabalho - ica.ele.puc-rio.br Ielpo.pdf · Este trabalho apresenta um sistema de previsão para os indicadores de qualidade do serviço de uma rede de banda

7

A extração dos dados históricos de reparo e instalações dos serviços de

banda larga foi realizada no banco de dados de histórico dos serviços. Este

banco de dados é carregado diariamente com os dados dos serviços realizados

no dia anterior. Essas informações são extraídas dos sistemas que controlam o

processo desde atendimento ao cliente ao abrir a ordem de serviço até a

atividade em campo e seu encerramento. Foram consultados os dados dos

serviços desde o dia 01/01/2003 até 31/09/2013. As informações foram

consolidadas pelas seguintes informações: mês de abertura do serviço, GRA

(Gerência de Rede de Atendimento), código do município, estação de rede,

código de abertura do serviço (apresenta o motivo da abertura do atendimento),

data de abertura do serviço e total de serviços atendidos no prazo e quantidade

total de serviços solicitados. Como o período é relativamente grande a extração

teve que ser realizada mês a mês na base gerando um total de 459 arquivos

com os dados dos reparos, instalações e da planta de serviços instalada.

A etapa seguinte foi a construção dos históricos dos indicadores, nessa

etapa foram consolidados todos os arquivos da etapa anterior. Em seguida foi

montada a série histórica dos indicadores de taxa de reclamações, taxa de

instalação do serviço, taxa de tempo de reparo. Além dos indicadores também

foi montada a série histórica das solicitações dos serviços de instalação e

reparos abertos.

O estudo dos métodos de previsão através de redes neurais artificiais se

deu através do material utilizado no curso “Previsão de séries e inferência por

redes neurais”, onde foram apresentados exemplos de previsão de carga

elétrica. Além disso, também foi utilizado o exemplo de redes multilayer

perceptron de entradas atrasadas de tempo apresentados por Silva, Nunes et al.

(2010).

A etapa seguinte foi o desenvolvimento dos modelos de previsão, o

primeiro passo foi selecionar qual ferramenta seria utilizada. A primeira tentativa

de construção foi utilizando o WEKA 3.7.10, pois apresentou ser uma ferramenta

de fácil utilização. Para realizar o desenvolvimento foi instalado o pacote de

“Forecast” e utilizado o classificador “Multilayer Perceptron”. Foram

apresentadas as séries dos indicadores, mas os resultados com essa ferramenta

não foram bons, as médias absolutas de erro das previsões estavam muito altas

e não era possível customizar muito a execução do modelo. Então a segunda

opção foi utilizar o Matlab e a “Neural Network Toolbox”, que se apresentou uma

Page 9: Modelo de Relatório de Trabalho - ica.ele.puc-rio.br Ielpo.pdf · Este trabalho apresenta um sistema de previsão para os indicadores de qualidade do serviço de uma rede de banda

8

ferramenta com muito mais recursos, apesar maior complexidade para o

desenvolvimento. Logo nos primeiros testes os resultados foram melhores que

do que os obtidos com o WEKA, então o restante do trabalho prosseguiu com o

Matlab.

Por fim passou-se à etapa do estudo de casos, onde foram utilizadas

várias configurações de redes neurais para prever as taxas dos indicadores,

além da quantidade de serviços. Os principais parâmetros alterados nos diversos

testes foram a janela de entrada, horizonte de previsão, os algoritmos de

treinamento e a quantidade de neurônios da camada escondida. Os melhores

resultados obtidos estão apresentados neste trabalho.

ORGANIZAÇÃO DA MONOGRAFIA

Esta monografia está dividida em cinco capítulos adicionais, descritos a

seguir.

O capítulo 2 apresenta a descrição do problema. É apresentada a Agência

Nacional de Telecomunicações (Anatel) e de que forma as empresas

prestadoras de serviços de comunicação multimídia são fiscalizadas, através dos

indicadores de qualidade. Também são descritos quais são os critérios utilizados

para o cálculo dos indicadores e por fim é apresentado o histórico destes.

O capítulo 3 apresenta a metodologia utilizada. É apresentado

sucintamente o que são redes neurais e suas aplicações.

O capítulo 4 apresenta a arquitetura do sistema proposto. É apresentado a

forma que foi implementado o sistema para previsão dos indicadores de

qualidade e os de quantidade de serviços utilizando as redes neurais.

O capítulo 5 detalha os melhores resultados obtidos para as previsões.

Finalmente, o capítulo 6 descreve as conclusões do trabalho e identifica

possíveis trabalhos futuros.

Page 10: Modelo de Relatório de Trabalho - ica.ele.puc-rio.br Ielpo.pdf · Este trabalho apresenta um sistema de previsão para os indicadores de qualidade do serviço de uma rede de banda

9

2. DESCRIÇÃO DO PROBLEMA

As empresas prestadoras de Serviço de Comunicação Multimídia – SCM –

que inclui os serviços de banda larga fixa com mais de 50 mil assinantes devem

reportar indicadores do nível de qualidade mensalmente a Agência Nacional de

Telecomunicações - Anatel.

A Anatel é uma autarquia criada pela Lei Geral de Telecomunicações. Ela

possui poderes de outorga, regulamentação e fiscalização, possuindo as

seguintes atribuições:

“Compete à Agência adotar as medidas necessárias para o atendimento do interesse público e para o desenvolvimento das telecomunicações brasileiras, atuando com independência, imparcialidade, legalidade, impessoalidade e publicidade.

Dentre as atribuições da Anatel, merecem destaque:

implementar, em sua esfera de atribuições, a política nacional de telecomunicações;

expedir normas quanto à outorga, à prestação e à fruição dos serviços de telecomunicações no regime público;

administrar o espectro de radiofreqüências e o uso de órbitas, expedindo as respectivas normas;

expedir normas sobre prestação de serviços de telecomunicações no regime privado;

expedir normas e padrões a serem cumpridos pelas prestadoras de serviços de telecomunicações quanto aos equipamentos que utilizarem;

expedir ou reconhecer a certificação de produtos, observados os padrões e normas por ela estabelecidos;

reprimir infrações dos direitos dos usuários; e

exercer, relativamente às telecomunicações, as competências legais em matéria de controle, prevenção e repressão das infrações da ordem econômica, ressalvadas as pertencentes ao Conselho Administrativo de Defesa Econômica (Cade).”

(Portal Anatel - Sobre a Anatel - Atribuições, 2013)

Com o objetivo de melhoria dos níveis de qualidade percebida pelos

usuários na prestação de serviço, a Anatel através do Regulamento Geral de

Qualidade para Serviços de Comunicação Multimídia (RGQ – SCM) estabeleceu

parâmetros mínimos de qualidade para o serviço de banda larga.

Dentre os indicadores estabelecidos pela Anatel a equipe de Operações de

Campo de Planta Externa é responsável pelos seguintes indicadores:

Taxa de Reclamações (SCM1);

Taxa de Instalação do Serviço (SCM11);

Page 11: Modelo de Relatório de Trabalho - ica.ele.puc-rio.br Ielpo.pdf · Este trabalho apresenta um sistema de previsão para os indicadores de qualidade do serviço de uma rede de banda

10

Taxa de Tempo de Reparo (SCM13).

As seções a seguir detalham os indicadores.

2.1 – Indicador SCM1 – Taxa de reclamações

O indicador representa a relação do número de reclamações recebidas na

Prestadora, e o número total de acessos em serviço.

Representação matemática

Onde:

A - número total de reclamações, no mês, junto à Prestadora de SCM; e

B - número total de acessos em serviço na rede da Prestadora no último

dia do mês.

Metas:

seis por cento nos doze primeiros meses de exigibilidade das

metas (corresponde ao mês de agosto de 2012)

quatro por cento nos doze meses seguintes ao período

estabelecido (agosto de 2013); e

dois por cento a partir do término do período estabelecido

anteriormente (agosto de 2014).

2 .2 – Indicador SCM11 - Taxa de Instalação do Serviço

O indicador representa as solicitações de instalação de serviço em áreas

atendidas pela rede da Prestadora, sem prejuízo das obrigações contidas no

respectivo Termo de Autorização, observadas as condições técnicas e

capacidades disponíveis nas redes das Prestadoras, devem ser atendidas no

prazo de até 10 (dez) dias úteis, contado do recebimento da solicitação, admitido

maior prazo a pedido do Assinante.

Representação matemática

Onde:

A - número total de instalações realizadas no prazo estabelecido, contado

a partir da solicitação, no mês; e

Page 12: Modelo de Relatório de Trabalho - ica.ele.puc-rio.br Ielpo.pdf · Este trabalho apresenta um sistema de previsão para os indicadores de qualidade do serviço de uma rede de banda

11

B - número total de instalações realizadas, no mês.

Metas:

noventa por cento dos casos nos doze primeiros meses de

exigibilidade das metas, conforme estabelecido (agosto de 2012);

noventa e cinco por cento dos casos a partir do término do período

estabelecido (agosto de 2013).

2.3 – Indicador SCM13 – Taxa de tempo de reparo

O indicador apresenta as solicitações de reparos por falhas ou defeitos na

prestação do serviço, devem ser atendidas em até vinte e quatro horas,

contadas do recebimento da solicitação, admitido maior prazo a pedido do

Assinante.

Representação Matemática:

Onde:

A - número total de solicitações de reparo, atendidas no prazo de vinte e

quatro horas ou dentro do prazo solicitado pelo Assinante, se diverso, contado a

partir do seu recebimento, no mês; e

B - número total de solicitações de reparo recebidas pela Prestadora, no

mês.

Metas:

noventa por cento dos casos nos doze primeiros meses de

exigibilidade das metas, conforme estabelecido (agosto de 2012);

noventa e cinco por cento dos casos a partir do término do período

estabelecido (agosto de 2013).

A seguir será apresentado o histórico dos indicadores do estado do Rio de

Janeiro desde Janeiro de 2003 a Setembro de 2013.

Page 13: Modelo de Relatório de Trabalho - ica.ele.puc-rio.br Ielpo.pdf · Este trabalho apresenta um sistema de previsão para os indicadores de qualidade do serviço de uma rede de banda

12

Indicador SCM1

A figura abaixo apresenta o gráfico da evolução do indicador SCM1.

Figura 2.1 – Gráfico histórico da taxa do indicador SCM01.

Apesar de serem exibidos os dados desde janeiro de 2003, devemos

lembrar que as metas e prazos estabelecidos pela Anatel passaram a vigorar a

partir de agosto de 2012. Então os períodos anteriores servem somente para

ilustrar como estariam esses indicadores nestes períodos caso estes existissem.

A tabela abaixo apresenta o histórico do indicador SCM1.

2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013

Janeiro 25,95% 13,78% 6,86% 4,62% 4,84% 4,09% 4,95% 4,94% 5,49% 8,34% 10,85%

Fevereiro 24,68% 11,88% 6,34% 4,34% 4,33% 4,03% 4,39% 4,82% 6,07% 7,31% 7,87%

Março 21,86% 10,61% 8,82% 4,19% 4,72% 3,94% 5,46% 5,85% 6,09% 8,04% 9,25%

Abril 21,78% 8,88% 7,44% 3,68% 4,25% 3,81% 4,87% 5,40% 6,23% 7,20% 8,59%

Maio 21,53% 9,05% 6,57% 4,83% 4,06% 4,00% 4,50% 5,21% 7,18% 7,18% 8,69%

Junho 20,02% 9,74% 5,75% 3,64% 2,99% 3,92% 4,32% 4,63% 7,12% 6,70% 7,76%

Julho 24,53% 10,21% 4,86% 3,29% 2,98% 4,97% 4,65% 4,74% 7,45% 7,15% 7,81%

Agosto 20,73% 8,15% 4,47% 3,37% 3,09% 4,59% 4,48% 4,63% 7,76% 7,70% 8,08%

Setembro 27,20% 7,62% 4,16% 3,17% 3,09% 4,75% 3,70% 4,49% 6,78% 7,01% 7,01%

Outubro 24,98% 7,56% 4,19% 3,57% 3,82% 4,96% 3,81% 5,13% 7,52% 8,21% -

Novembro 18,82% 7,19% 3,97% 4,16% 3,42% 4,19% 4,11% 4,73% 7,28% 7,77% -

Dezembro 18,05% 6,66% 3,89% 4,25% 3,81% 4,40% 4,32% 5,41% 7,49% 9,25% -

Tabela 2.1 – Histórico do indicador SCM1.

Como podemos ver as metas não estão sendo atingidas. No período atual,

a partir de agosto de 2013, a meta definida é de 4% e a partir de agosto de 2014

a meta será de 2%.

0,00%

5,00%

10,00%

15,00%

20,00%

25,00%

30,00%0

1/0

1/2

00

3

01

/07

/20

03

01

/01

/20

04

01

/07

/20

04

01

/01

/20

05

01

/07

/20

05

01

/01

/20

06

01

/07

/20

06

01

/01

/20

07

01

/07

/20

07

01

/01

/20

08

01

/07

/20

08

01

/01

/20

09

01

/07

/20

09

01

/01

/20

10

01

/07

/20

10

01

/01

/20

11

01

/07

/20

11

01

/01

/20

12

01

/07

/20

12

01

/01

/20

13

01

/07

/20

13

Page 14: Modelo de Relatório de Trabalho - ica.ele.puc-rio.br Ielpo.pdf · Este trabalho apresenta um sistema de previsão para os indicadores de qualidade do serviço de uma rede de banda

13

Indicador SCM11

A figura abaixo apresenta o gráfico da evolução do indicador SCM11.

Figura 2.2 – Gráfico histórico da taxa do indicador SCM11.

Como dito anteriormente devemos levar em consideração que as metas e

prazos estabelecidos pela Anatel, passaram a vigorar a partir de agosto de 2012.

Então os períodos anteriores servem somente para ilustrar como estariam esses

indicadores nestes períodos caso estes existissem.

A tabela abaixo apresenta o histórico do indicador SCM11.

2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013

Janeiro 0,00% 71,62% 89,71% 94,96% 87,04% 59,90% 65,82% 55,44% 80,53% 53,16% 35,44%

Fevereiro 0,00% 71,87% 88,75% 95,61% 85,24% 46,96% 61,98% 52,35% 64,71% 39,96% 42,54%

Março 0,00% 79,14% 85,10% 95,87% 86,08% 49,56% 56,71% 50,12% 67,91% 23,88% 40,76%

Abril 9,78% 76,35% 92,38% 95,66% 90,75% 50,22% 55,60% 48,49% 72,96% 34,59% 46,46%

Maio 9,91% 83,44% 95,90% 94,17% 83,97% 47,97% 49,95% 55,43% 82,54% 45,55% 53,13%

Junho 7,65% 87,33% 94,76% 98,37% 77,44% 46,90% 52,89% 62,74% 39,40% 50,94% 54,34%

Julho 9,73% 81,09% 96,19% 97,99% 74,61% 42,40% 53,52% 80,76% 41,78% 59,99% 54,02%

Agosto 7,36% 81,74% 96,77% 99,04% 71,12% 37,63% 58,65% 80,35% 46,13% 56,03% 53,46%

Setembro 5,50% 87,31% 96,79% 98,51% 66,02% 38,44% 63,32% 76,47% 57,17% 49,66% 45,84%

Outubro 25,21% 89,07% 98,86% 88,38% 61,25% 46,22% 64,24% 65,01% 53,54% 57,26% -

Novembro 58,96% 84,08% 98,32% 91,22% 57,47% 59,39% 59,74% 90,32% 51,73% 49,68% -

Dezembro 56,94% 90,09% 97,41% 92,25% 56,26% 66,18% 61,80% 90,20% 56,93% 41,27% -

Tabela 2.2 – Histórico do indicador SCM11.

Como podemos ver as metas não estão sendo atingidas. No período atual,

a partir de agosto de 2013, a meta definida pela Anatel é de 95%.

0,00%

20,00%

40,00%

60,00%

80,00%

100,00%

120,00%

01

/01

/20

03

01

/07

/20

03

01

/01

/20

04

01

/07

/20

04

01

/01

/20

05

01

/07

/20

05

01

/01

/20

06

01

/07

/20

06

01

/01

/20

07

01

/07

/20

07

01

/01

/20

08

01

/07

/20

08

01

/01

/20

09

01

/07

/20

09

01

/01

/20

10

01

/07

/20

10

01

/01

/20

11

01

/07

/20

11

01

/01

/20

12

01

/07

/20

12

01

/01

/20

13

01

/07

/20

13

Page 15: Modelo de Relatório de Trabalho - ica.ele.puc-rio.br Ielpo.pdf · Este trabalho apresenta um sistema de previsão para os indicadores de qualidade do serviço de uma rede de banda

14

Indicador SCM13

A figura abaixo apresenta o gráfico da evolução do indicador SCM13.

Figura 2.3 – Gráfico histórico da taxa do indicador SCM13.

Como dito anteriormente, devemos ressaltar que as metas e prazos

estabelecidos pela Anatel, passaram a vigorar a partir de agosto de 2012. Então

os períodos anteriores servem somente para ilustrar como estariam esses

indicadores nestes períodos caso estes existissem.

A tabela abaixo apresenta o histórico do indicador SCM13.

Como podemos ver as metas não estão sendo atingidas. No período atual,

a partir de agosto de 2013, a meta definida pela Anatel é de 95%.

0,00%

20,00%

40,00%

60,00%

80,00%

100,00%

01

/01

/20

03

01

/07

/20

03

01

/01

/20

04

01

/07

/20

04

01

/01

/20

05

01

/07

/20

05

01

/01

/20

06

01

/07

/20

06

01

/01

/20

07

01

/07

/20

07

01

/01

/20

08

01

/07

/20

08

01

/01

/20

09

01

/07

/20

09

01

/01

/20

10

01

/07

/20

10

01

/01

/20

11

01

/07

/20

11

01

/01

/20

12

01

/07

/20

12

01

/01

/20

13

01

/07

/20

13

Tabela 2.3 – Histórico do indicador SCM13.

2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013

Janeiro 53,94% 62,67% 69,42% 77,51% 67,21% 85,75% 93,28% 94,45% 86,25% 81,78% 82,06%

Fevereiro 36,57% 56,53% 64,21% 74,86% 32,18% 89,34% 91,16% 92,54% 90,46% 71,82% 80,72%

Março 37,71% 65,62% 63,22% 73,84% 76,13% 90,18% 89,67% 91,07% 92,08% 71,48% 74,82%

Abril 27,76% 60,38% 56,54% 81,24% 81,50% 88,34% 91,61% 93,46% 88,28% 79,33% 72,62%

Maio 40,40% 65,64% 62,76% 79,64% 85,60% 82,31% 86,70% 94,44% 83,00% 75,93% 78,80%

Junho 69,83% 65,86% 66,37% 81,58% 84,86% 81,64% 92,04% 94,57% 76,09% 76,90% 75,72%

Julho 67,19% 74,03% 73,74% 81,75% 88,78% 86,99% 93,37% 95,38% 75,31% 80,25% 80,92%

Agosto 53,48% 76,20% 76,83% 71,72% 84,64% 85,99% 94,01% 94,75% 61,13% 71,66% 66,09%

Setembro 55,89% 74,07% 75,14% 58,69% 85,58% 87,73% 96,52% 91,54% 58,63% 75,37% 84,34%

Outubro 66,76% 70,60% 77,21% 66,15% 91,17% 87,87% 96,57% 86,34% 63,11% 69,94% -

Novembro 61,60% 67,28% 78,38% 63,29% 89,30% 88,14% 95,47% 88,80% 74,51% 80,42% -

Dezembro 55,06% 68,97% 76,14% 76,83% 87,53% 88,04% 94,12% 87,88% 83,22% 77,90% -

Page 16: Modelo de Relatório de Trabalho - ica.ele.puc-rio.br Ielpo.pdf · Este trabalho apresenta um sistema de previsão para os indicadores de qualidade do serviço de uma rede de banda

15

3. METODOLOGIAS

Nesta sessão será apresentado sucintamente o que são Redes Neurais

Artificiais, a metodologia utilizada para realizar a previsão dos indicadores e

quantidade de serviços.

3.1 - O que são Redes Neurais Artificiais

Redes Neurais Artificiais (RNAs) são sistemas paralelos distribuídos

inspirados no sistema nervoso de seres vivos. São compostos por unidades de

processamentos simples (neurônios artificiais) que tem como objetivo computar

funções matemáticas, e estão organizadas em uma ou mais camadas

interligadas por um grande número de interconexões (sinapses artificiais).

Tem como características principais:

Capacidade de adaptação por experiência: através da

apresentação de sucessivos exemplos, os pesos sinápticos são

ajustados, possibilitando a aquisição de conhecimento;

Capacidade de aprendizado: através da aplicação de métodos de

treinamento, a rede é capaz de relacionar as diferentes variáveis

que compõe o sistema;

Capacidade de generalização: após treinamento a rede é capaz de

generalizar o conhecimento extraído, criando soluções

desconhecidas até então;

Capacidade de agrupamento de dados: as redes neurais são

capazes realizar agrupamento de padrões baseando-se nas

características de um conjunto de informações, separando os

componentes dos conjunto com características em comum.

As redes neurais podem ser aplicadas na solução de diversos tipos de

problemas. Abaixo segue alguns campos de aplicação:

Controle de processos: as redes identificam ações de controle

empregados em robótica, aeronaves, elevadores, satélites e etc;

Reconhecimento / classificação de padrões: as redes associam um

padrão de entrada e relaciona com um conjunto definido de saídas.

Exemplos: reconhecimento de voz, escrita e imagens;

Agrupamento de dados: através do reconhecimento de padrões de

entrada a rede é capaz de identificar e detectar similaridades e

Page 17: Modelo de Relatório de Trabalho - ica.ele.puc-rio.br Ielpo.pdf · Este trabalho apresenta um sistema de previsão para os indicadores de qualidade do serviço de uma rede de banda

16

particularidades e assim realizar o seu agrupamento. Uma

aplicação possível é o data mining;

Sistemas de previsão: a rede é capaz de estimar um valor futuro,

levando em consideração diversos exemplos do comportamento do

domínio. Exemplos de aplicação são previsões de séries temporais,

previsão do tempo.

3.2 - Neurônio

3.2.1 - Neurônio Biológico

A unidade básica que constitui o sistema nervoso é o neurônio. Seu papel

é transmitir impulsos elétricos recebidos das conexões (sinapses) com outros

neurônios. O neurônio poder ser dividido em três seções:

Dentritos: é uma estrutura ramificada que tem como a sua principal

função captar os impulsos elétricos vindos de diversos neurônios

ou do próprio meio externo onde os mesmos podem estar em

contato;

Soma (ou corpo celular): tem como função principal função

processar as informações recebidas dos dentritos e dependendo do

potencial de ativação gerado poderá disparar um impulso elétrico

através de seu axônio;

Axônio: é um prolongamento fino e sua função é transmitir os

impulsos nervosos provenientes do corpo celular para outros

neurônios ou células sensoriais, musculares ou glandulares. As

suas terminações também é constituída de ramificações

denominadas terminações sinápticas.

Figura 3.1 - Neurônio Biológico. Fonte: Silva, Nunes et al. 2010 pág 29.

Page 18: Modelo de Relatório de Trabalho - ica.ele.puc-rio.br Ielpo.pdf · Este trabalho apresenta um sistema de previsão para os indicadores de qualidade do serviço de uma rede de banda

17

A sinapse é uma região de contato muito próximo entre a extremidade do

axônio de um neurônio e a superfície de outras células. Na maioria das sinapses

nervosas, as membranas das células que fazem sinapses estão muito próximas,

mas não se tocam. Há um pequeno espaço entre as membranas celulares (o

espaço sináptico ou fenda sináptica).

Figura 3.2 – Conexões sinápticas. Fonte: Silva, Nunes et al. 2010 pág 30.

Estima-se que a rede neural biológica humana seja constituída de 100

bilhões de neurônios. Todos eles interligados por conexões sinápticas

(viabilizadas por mais de cinquenta substâncias neurotransmissoras) em média a

6 mil neurônios, totalizando um total de 600 trilhões de sinapses.

3.2.2 - Neurônio Artificial

Como mencionado anteriormente as redes neurais artificiais são inspiradas

nos neurônios biológicos e nos sistemas nervosos. Os neurônios artificiais são

modelos bem simplificados dos neurônios biológicos.

O modelo de neurônio artificial proposto por McCulloch & Pitts (1943) é

uma simplificação do modelo biológico e engloba as suas principais

características. Ainda é o modelo mais utilizado nas diferentes arquiteturas de

redes neurais artificiais. Sua descrição matemática resultou em um modelo com

n terminais de entrada x1, x2,... xn (que representam os dentritos) e apenas um

terminal de saída y (representando o axônio). Para simular o comportamento das

sinapses biológicas, os terminais de entrada do neurônio têm pesos sinápticos

w1, w2, ... , wn . De forma análoga, a relevância de cada uma das entradas xi do

neurônio é então executada por meio de suas multiplicações pelos respectivos

pesos sinápticos wi. Os pesos determinam “em que grau” o neurônio deve

considerar sinais de disparo que ocorrem naquela conexão.

Page 19: Modelo de Relatório de Trabalho - ica.ele.puc-rio.br Ielpo.pdf · Este trabalho apresenta um sistema de previsão para os indicadores de qualidade do serviço de uma rede de banda

18

Figura 3.3 – Neurônio Artificial. Fonte: Silva, Nunes et al. 2010 pág 34.

Um neurônio realiza um disparo quando a soma dos impulsos que ele

recebe ultrapassam o seu limiar de ativação, chamado de threshold. O corpo do

neurônio é emulado por um mecanismo simples que faz a soma dos valores xiwi,

recebidos pelo neurônio (soma ponderada) e decide se o neurônio deve ou não

disparar (saída igual a 1 ou 0) comparando a soma obtida ao limiar ou threshold

do neurônio. A ativação do neurônio é obtida através da aplicação de uma

função de ativação que ativa ou não a saída, dependendo do valor da soma

ponderada das suas entradas. A equação a seguir modela a ativação da saída

do neurônio:

A partir deste modelo foram derivados vários outros que permitem a

produção de uma saída qualquer, não necessariamente zero ou um, e com

diferentes funções de ativação. A figura abaixo apresenta alguns outros

exemplos: (a) função linear, (b) função rampa, (c) função degrau e (d) função

sigmoidal.

Figura 3.4 – Exemplos de funções de ativação.

3.3 - Arquitetura de redes neurais

Page 20: Modelo de Relatório de Trabalho - ica.ele.puc-rio.br Ielpo.pdf · Este trabalho apresenta um sistema de previsão para os indicadores de qualidade do serviço de uma rede de banda

19

A arquitetura de redes neurais artificiais é definida pela disposição dos

neurônios nas camadas e o padrão de conexão destes.

Basicamente pode ser dividida em três partes ou camadas:

Camada de entrada: responsável pelo recebimento das

informações (dados);

Camada escondida, intermediárias, ocultas ou invisíveis: são

compostas de neurônios e são as responsáveis por obter as

características do sistema que está sendo inferido;

Camada de saída: esta camada também constituída de neurônios é

responsável pela produção e apresentação dos resultados finais da

rede, obtidos dos processamentos das camadas anteriores.

As principais arquiteturas de redes neurais são: redes feedfoward de

camada simples, redes feedfoward de múltiplas camadas, redes recorrentes e

redes reticuladas.

3.3.1 - Arquitetura feedfoward de camada simples

Nesta arquitetura de redes neurais artificias, tem-se apenas uma camada

de entrada que é a mesma de saída.

A figura abaixo apresenta uma rede feedfoward de camada simples

composta da n entradas e m saídas.

Figura 3.5 – Rede feedfoward de camada única. Fonte: Silva, Nunes et al. 2010 pág 47.

Pode-se observar que a quantidade de saídas deste tipo de rede coincidirá

com o número de neurônios. Este tipo de rede é frequentemente utilizado na

solução de problemas linearmente separáveis como, por exemplo, classificação

de padrões e filtragem linear.

As redes Perceptron e Adaline são exemplos de redes com arquitetura

feedfoward de camada simples.

Page 21: Modelo de Relatório de Trabalho - ica.ele.puc-rio.br Ielpo.pdf · Este trabalho apresenta um sistema de previsão para os indicadores de qualidade do serviço de uma rede de banda

20

3.3.2 - Arquitetura feedfoward de múltiplas camadas

Conforme citado anteriormente, as redes de camada simples resolvem

somente problemas linearmente separáveis. As redes feedfoward de múltiplas

camadas são caracterizadas pela presença de uma ou mais camadas

escondidas de neurônios.

A figura abaixo apresenta uma rede feedfoward de múltiplas camadas

composta da n sinais, duas camadas neurais escondidas constituídas

respectivamente de n1 e n2 neurônios, e uma camada de saída de m neurônios

representando os valores de saída da aplicação.

Figura 3.6 – Rede feedfoward de múltiplas camadas. Fonte: Silva, Nunes et al. 2010 pág 48.

Este tipo de rede são empregadas na solução de problemas como a

aproximação de funções, classificação de padrões, identificação de sistemas,

otimização, robótica, controle de processos e outros.

Os principais tipos de rede com arquitetura feedfoward de camadas

múltiplas são o Perceptron multicamadas (multilayer Perceptron – MLP) e as

redes de base radial (radial basis function – RFB).

3.3.3 - Arquitetura recorrente ou realimentada

As redes neurais realimentadas são redes cujas saídas dos neurônios

realimentam as entradas para outros neurônios. A realimentação qualifica esses

tipos de rede para processamento dinâmico de informações, elas podem ser

utilizadas em sistemas variantes em relação ao tempo, com previsão de séries

temporais, otimização e identificação de sistemas, controle de processos entre

outros.

Entre os principais tipos de rede que possuem realimentação estão as

redes Hopfield e a rede Perceptron multicamadas com realimentação entre

neurônios situados em camadas distintas.

Page 22: Modelo de Relatório de Trabalho - ica.ele.puc-rio.br Ielpo.pdf · Este trabalho apresenta um sistema de previsão para os indicadores de qualidade do serviço de uma rede de banda

21

Abaixo está um exemplo de rede Perceptron com realimentação, em que a

camada de saída realimenta a camada intermediária.

Figura 3.7 – Rede recorrente. Fonte: Silva, Nunes et al. 2010 pág 49.

3.3.4 - Arquitetura em estrutura reticulada

As redes neurais artificiais com estruturas reticuladas dispõem

espacialmente os neurônios com o propósito de extração de características, a

localização espacial dos neurônios está relacionada com o processo de ajuste

de seus pesos e limiares. As principais aplicações deste tipo de redes são para

solução de problemas de agrupamento (clustering), reconhecimento de padrões,

otimização de sistemas entre outros.

A figura abaixo representa uma rede neural reticulada disposta em um

espaço bidimensional. Podemos observar que as entradas alimentam todos os

neurônios da rede.

Figura 3.8 – Rede de estrutura reticulada. Fonte: Silva, Nunes et al 2010 pág 50.

A rede de Kohonen é a principal representante da arquitetura reticulada.

3.4 - Processos de treinamento e aprendizado de redes neurais

Como visto anteriormente uma das principais características das redes

neurais é a capacidade de aprender a partir da apresentação de amostras

Page 23: Modelo de Relatório de Trabalho - ica.ele.puc-rio.br Ielpo.pdf · Este trabalho apresenta um sistema de previsão para os indicadores de qualidade do serviço de uma rede de banda

22

(padrões), que expressam o comportamento de um sistema. Após aprender a

relacionar as entradas e saída, ela é capaz de generalizar respostas / soluções.

Ela é capaz de gerar uma saída aproximada do que se espera, a partir de

quaisquer sinais apresentados na sua entrada.

O processo de treinamento consiste em processos ordenados necessários

para que a rede realize os ajustes sinápticos e limiares dos neurônios, para que

ao fim, ela seja capaz de gerar soluções em suas saídas, e que essas respostas

estejam de acordo com o sistema que está sendo mapeado. Esses processos de

treinamento são chamados de algoritmos de treinamento.

Para realizar o treinamento o conjunto total das amostras disponíveis que

representam o comportamento do sistema é dividido em dois subconjuntos, que

são o conjunto de treinamento e o conjunto de teste. O subconjunto de

treinamento é composto aleatoriamente por 60 a 90% das amostras do total, e é

utilizado para o processo de aprendizado da rede. O subconjunto de teste, que é

composto por 10 a 40% das amostras, é utilizado para verificar se a capacidade

de generalização da rede atingiu um nível aceitável.

No processo de treinamento de redes neurais, cada apresentação

completa do subconjunto de treinamento com o intuito de realizar o ajuste dos

pesos sinápticos e limiares dos neurônios será denominado época de

treinamento.

A seguir serão apresentados alguns paradigmas de treinamento e

aprendizagem.

3.4.1 - Treinamento supervisionado

O treinamento supervisionado como objetivo ajustar os parâmetros da

rede, de forma que ela encontre uma ligação das entradas com as suas

respectivas saídas desejadas. Desta forma, deve-se ser disponibilizado uma

tabela de dados (entradas / saídas) representativa do processo, também

conhecida como tabela de atributos / valores.

Para cada entrada apresentada a rede a sua saída é comparada com a

resposta desejada, como se houvesse um “professor” ensinando a rede a

resposta correta.

Os pesos sinápticos e os limiares são ajustados continuamente através

das comparações entre a resposta obtida pela rede com a saída desejada, esta

diferença será utilizada no procedimento de ajuste. A rede estará treinada

Page 24: Modelo de Relatório de Trabalho - ica.ele.puc-rio.br Ielpo.pdf · Este trabalho apresenta um sistema de previsão para os indicadores de qualidade do serviço de uma rede de banda

23

quando a diferença das saídas obtidas pela rede e as saídas desejadas

estiverem dentro de valores aceitáveis.

3.4.2 - Treinamento não-supervisionado

Diferente do anterior neste paradigma não há a necessidade de um

“professor”. Durante o treinamento são apresentados a rede somente valores de

entrada sem as suas saídas desejadas.

Como consequência a própria rede deve se auto-organizar para

estabelecer uma relação entre os componentes do conjunto total de amostras,

identificando os seus subconjuntos (clusters) similares.

A quantidade máxima dos possíveis clusters pode ser especificado pelo

projetista da rede, levando em conta que ele possui conhecimento sobre o

problema que está sendo tratado.

3.4.3 - Treinamento com reforço

Os treinamentos em reforço têm sido considerados uma variação do

treinamento supervisionado, aonde há a comparação da resposta dada pela rede

com a saída desejada. Os algoritmos utilizados no treinamento com reforço

ajustam os parâmetros dos neurônios baseando-se nas informações obtidas da

interação com o sistema (ambiente) que está sendo mapeado, as quais são

utilizados para medir o desempenho do aprendizado.

O processo de treinamento é realizado por tentativa e erro, pois a única

resposta para uma determinada entrada é se esta é satisfatória ou não. Se for

satisfatória, os pesos sinápticos e limiares são incrementados gradualmente com

a finalidade de reforçar (recompensar) este comportamento do sistema.

3.4.4 - Aprendizado usando lote de padrões (off-line)

Neste tipo de aprendizagem, os ajustes nos pesos sinápticos e limiares só

são realizados após a apresentação de todos o conjunto de treinamento, pois

cada passo de ajuste leva em consideração o total de desvios observados nas

amostras de treinamento frente aos valores desejados para as saídas.

As redes que utilizam aprendizagem por lote de padrões necessitam de

pelo menos uma época de treinamento para realizar o ajuste dos pesos e

limiares.

3.4.5 - Aprendizado usa padrão-por-padrão (on-line)

Page 25: Modelo de Relatório de Trabalho - ica.ele.puc-rio.br Ielpo.pdf · Este trabalho apresenta um sistema de previsão para os indicadores de qualidade do serviço de uma rede de banda

24

Ao contrário da aprendizagem por lote, na aprendizagem usando padrão-

por-padrão (on-line), os ajustes dos pesos e limiares são efetuados após a

apresentação de cada amostra de treinamento.

A aprendizagem on-line normalmente é utilizada quando há uma grande

variação do comportamento do sistema, sendo praticamente impossível utilizar o

padrão off-line, pois as amostras de um determinado instante podem não mais

representar, o comportamento do processo naquele momento.

Mas para que a rede consiga fornecer respostas mais precisas é

necessário que sejam apresentados um número significativo de amostras, pois

as ações de ajuste dos pesos e limiares são bem localizados e pontuais.

Page 26: Modelo de Relatório de Trabalho - ica.ele.puc-rio.br Ielpo.pdf · Este trabalho apresenta um sistema de previsão para os indicadores de qualidade do serviço de uma rede de banda

25

4. ARQUITETURA DO SISTEMA PROPOSTO

Neste capítulo será descrito o desenvolvimento das redes neurais

utilizadas para a previsão dos indicadores de qualidade e as redes para prever a

quantidade de serviços.

4.1 - Dados históricos para previsão

Os dados utilizados deste trabalho consistem nos históricos de reparos e

instalações realizadas no período de 01/01/2003 a 31/09/2013 no estado do Rio

de Janeiro. Os dados foram extraídos através de consultas SQL no banco de

dados armazena o histórico dessas informações operacionais.

Este banco de dados recebe diariamente informações dos sistemas

responsáveis pelo controle do processo de atendimento aos clientes. São

armazenados todos os dados dos serviços e todas as etapas do atendimento

desde a abertura pelo cliente até o encerramento.

Como a base de dados possui muitos registros os dados na consulta foram

agregados pelas informações que achei que poderiam ser relevantes para

apresentar a rede. As informações foram:

Mês de Referência: o mês no qual o serviço foi aberto

GRA (Gerência de Rede de Atendimento): parte da topologia da

rede, um GRA agrega geograficamente várias estações.

Código da Localidade: código numérico da localidade, cada

município possui um código padronizado pela Anatel.

Estação: corresponde a estação de rede o qual o cliente está

conectado, uma estação atende vários circuitos de clientes.

Unidade de negócio: corresponde ao tipo de cliente que está sendo

atendido, se trata-se de um cliente residencial, empresarial e etc.

Data de abertura do serviço: data o qual o serviço foi solicitado pelo

cliente.

Numerador: indica a quantidade de serviços realizados no prazo.

Denominador: indica a quantidade total de serviços solicitados.

Page 27: Modelo de Relatório de Trabalho - ica.ele.puc-rio.br Ielpo.pdf · Este trabalho apresenta um sistema de previsão para os indicadores de qualidade do serviço de uma rede de banda

26

Na figura abaixo está um exemplo de um arquivo gerado.

Figura 4.1 – Exemplo arquivo de extraído da base de serviços.

Os dados dos serviços foram extraídos mês a mês, gerando uma base

separada para reparos e outra para instalações.

Além disto era necessário a planta de serviços instalada, esses dados são

consolidados ao final de cada mês e armazenados desta forma, sendo assim só

possuímos o total de circuitos ativos no final de cada mês.

Em seguida os dados de todos os arquivos foram agregados, e foi gerado

o histórico diário das taxas dos indicadores SCM11 e SCM13, e o histórico

mensal do indicador SCM1.

A figura abaixo mostra um exemplo do indicador SCM1 gerado.

Figura 4.2 – Exemplos do indicador SCM1

Page 28: Modelo de Relatório de Trabalho - ica.ele.puc-rio.br Ielpo.pdf · Este trabalho apresenta um sistema de previsão para os indicadores de qualidade do serviço de uma rede de banda

27

4.2 - Rede Neural

As redes neurais utilizadas neste trabalho foram implementadas com o

auxílio do Matlab utilizando a Neural Network Toolbox. A função newff realiza a

criação de uma rede feedfoward de múltiplas camadas que pode ser treinada

através do algoritmo backpropagation (treinamento supervisionado). Abaixo

segue como foi montada a arquitetura e os conjuntos de treinamento.

4.2.1 - Arquitetura da rede

Para desenvolver a rede deste trabalho, me baseei no exemplo de rede

percentron multicamada (PMC) de entradas atrasadas no tempo apresentado

por Silva Nunes et al.(2010). Esta rede é enquadrada na arquitetura feedfoward

de camadas múltiplas, inexistindo qualquer realimentação das saídas dos

neurônios de camadas posteriores em direção aos neurônios da primeira

camada.

A previsão dos valores realizados por esse tipo de rede posteriores a um

instante t, associado ao comportamento do processo, é calculada em função dos

valores temporariamente anteriores. Isto é:

( )

Onde é a ordem do preditor, ou seja, a quantidade de amostras

anteriores que serão fornecidas para estimar o valor .

A figura abaixo ilustra a topologia de uma rede PMC de entradas atrasadas

no tempo.

Figura 4.3 – Topologia de PMC com entradas atrasadas no tempo. Fonte: Silva, Nunes et al. 2010 pág. 140.

Page 29: Modelo de Relatório de Trabalho - ica.ele.puc-rio.br Ielpo.pdf · Este trabalho apresenta um sistema de previsão para os indicadores de qualidade do serviço de uma rede de banda

28

Podemos ver que a rede recebe entradas

que representam o comportamento do processo, e prediz como resposta o

valor esperado para , cujo resultado é explicitado pelo valor fornecido

pelo neurônio de saída.

Durante o treinamento a rede ajustará seus pesos e limiares visando

minimizar o erro produzido pela diferença de e . Tem-se então:

, onde ( )

onde N é a quantidade total de amostra disponíveis.

4.2.3 – Treinamento e aprendizado

O treinamento e aprendizado da rede é similar ao PMC. O principal detalhe

que deve ser levado em conta é a montagem do conjunto de treinamento da

rede. O exemplo de montagem do conjunto de treinamento foi retirado de Silva,

Nunes et al. (2010). Dado um sistema dinâmico foram colhidas seguintes 8

medidas {N=8} ao longo do tempo:

Como apresentado na figura 4.3, podemos assumir que o processo possa

ser mapeado com uma ordem de predição igual a três , teremos então

para o PMC um total de 5 amostras de treinamento para o conjunto de

treinamento, pois o parâmetro t variará de 4 até 8, como na figura abaixo.

Figura 4.3 – Montagem do conjunto de treinamento de PMC com entradas atrasadas no tempo. Fonte: Silva, Nunes et al. 2010 pág. 141.

Na realidade, realiza-se no vetor x(t) uma operação de janela deslizante de

largura movimentando a mesma para a direita a cada iteração de tempo. A

figura a seguir ilustra o mecanismo.

Page 30: Modelo de Relatório de Trabalho - ica.ele.puc-rio.br Ielpo.pdf · Este trabalho apresenta um sistema de previsão para os indicadores de qualidade do serviço de uma rede de banda

29

Figura 4.4 – Mecanismo de montagem do conjunto de treinamento de PMC com entradas atrasadas no tempo. Fonte: Silva, Nunes et al. 2010 pág. 142.

Após treinar a rede, para realizar a predição de seus valores futuros basta

inserir amostras anteriores a série, considerando agora o domínio de operação

. A figura abaixo ilustra isto:

Figura 4.5 – Predição de valores futuros. Fonte: Silva, Nunes et al. 2010 pág. 142.

Verificando a figura 4.5 podemos verificar que para a predição do

comportamento do processo frente ao domínio de operação , basta

apresentarmos à rede os valores dos três últimos da série para

obter a estimativa de , representado pelo valor do neurônio de saída.

Seguindo o mesmo método para prever o valor de deve-se apresentar os

valores originais da série e mais o valor estimado de produzido

no passo anterior.

4.4 – Implementação no Matlab

4.4.1 – Pré-processamento dos dados

Com a série histórica das taxas dos indicadores e da quantidade de

serviços foi iniciado o trabalho para montar os conjuntos de treinamento. Optei

apresentar para a rede somente os dados da séries sem mais dados adicionais

extraídos da base.

Page 31: Modelo de Relatório de Trabalho - ica.ele.puc-rio.br Ielpo.pdf · Este trabalho apresenta um sistema de previsão para os indicadores de qualidade do serviço de uma rede de banda

30

Antes de criar os conjuntos, os dados foram pré-processados utilizando as

funções de normalização de dados do Matlab prestd, trastd e poststd. O intuito

de normalizar os dados é diminuir a influência causada por outliers (valores

atípicos que se destacam excessivamente em relação aos outros), assim

diminuindo a distância entre os valores das variáveis.

A função prestd normaliza os dados retornando um vetor com as médias

normalizadas e outro com os targets normalizados, ambos com média zero e

desvio-padrão igual a 1 (um). Também retorna dois vetores com as médias e

desvios-padrão da matriz de entrada original e dois vetores contendo as médias

e desvio padrão desvios-padrão dos targets originais. Para apresentar novos

dados a rede é necessário que elas também sejam pré-processadas com as

médias e desvios-padrão que foram calculados para o conjunto de treinamento.

Isto é realizado com o uso da função trastd, utilizada para apresentar o conjunto

de validação a rede após o treinamento.

E para realizar a conversão dos valores de saída da rede para as mesmas

unidades dos valores de entrada utiliza-se a função poststd.

4.4.2 – Construção dos conjuntos de treinamento

Para construir os conjuntos de treinamento foi implementado no script do

Matlab uma funcionalidade que dado o tamanho da janela de entrada e a

quantidade de amostras para treinamento e validação, era montado um vetores

com os valores de entrada (treinamento e validação) e outro com os targets

(treinamento e validação). A alteração deste parâmetro foi realizado

manualmente para cada teste realizado.

Para o indicador SCM1 que tinha a sua taxa mensal realizei testes

variando a janela de 3 até 24 meses.

Para os demais indicadores e para a previsão de quantidade de serviços,

como possuía os dados diários, realizei a variação da janela de entrada de 3 até

31 dias.

4.4.3 – Treinamento validação e teste

Para realizar o treinamento da rede utilizei dois algoritmos de

backpropagation implementados no Matlab trainbr e trainlm. Ambos algoritmos

são baseados na otimização de Levenberg-Marquardt (busca de um mínimo-

global) para ajustar os pesos e limiares.

Page 32: Modelo de Relatório de Trabalho - ica.ele.puc-rio.br Ielpo.pdf · Este trabalho apresenta um sistema de previsão para os indicadores de qualidade do serviço de uma rede de banda

31

O algoritmo trainlm é o mais rápido e recomendado da Neural Network

Toolbox. Já o trainbr minimiza uma combinação de erros quadráticos e pesos, e

em seguida determina a combinação correta de forma a produzir uma rede que

generaliza bem. Esse processo é chamado de regularização Bayesiana.

Os conjuntos de treinamento eram apresentados para a criação das redes

com os parâmetros especificados. Além do número de janelas foi realizada a

variação do número de neurônios da camada escondida. Realizei a variação

entre 7 à 30 neurônios.

Para cada configuração alterada da rede (janela de entrada, tamanho do

conjunto de treinamento e validação, algoritmo de treinamento e número de

neurônios na camada escondida) foram realizados sem torno de 10 testes para

cada configuração. A melhor configuração de rede era salva a cada melhor

resultado obtido.

4.4.4 – Avaliação dos resultados

Para realizar a avaliação da performance da rede, os dados separados

para o conjunto de validação, eram submetidos como entrada para a rede. E

cada valor previsto pela rede era comparado com o valor real. E assim realizei a

avaliação baseando os resultados pela média absoluta percentual de erro

(MAPE) e média absoluta de erro (MAE).

Page 33: Modelo de Relatório de Trabalho - ica.ele.puc-rio.br Ielpo.pdf · Este trabalho apresenta um sistema de previsão para os indicadores de qualidade do serviço de uma rede de banda

32

5. RESULTADOS

A seguir serão apresentados os melhores resultados obtidos nas previsões

dos indicadores do nível de qualidade do serviço de banda larga e da quantidade

de serviços de reparo e instalação abertos.

5.1 - Previsão da taxa do indicador SCM1

Conforme indicado na seção 2 este indicador representa a relação do

número de reclamações recebidas na Prestadora, sobre o número total de

acessos em serviço.

Para fazer o treinamento e validação da rede, foram utilizados a série

mensal deste indicador desde o mês de Janeiro de 2003 até Setembro de 2013.

Segue abaixo os parâmetros que obtiveram o melhor resultado

Quantidade de amostras de treinamento: 112

Janela de Entrada: 12 meses

Algoritmo de Treinamento: Levenberg-Marquardt backpropagation

Quantidade de neurônios na camada escondida: 12

Número de camadas: 2

Épocas: 1000

A seguir segue o gráfico da simulação da rede antes do treinamento,

utilizando o conjunto de treinamento.

Figura 5.1 – Simulação da previsão do indicador SCM1 antes do treinamento.

Page 34: Modelo de Relatório de Trabalho - ica.ele.puc-rio.br Ielpo.pdf · Este trabalho apresenta um sistema de previsão para os indicadores de qualidade do serviço de uma rede de banda

33

Após o treinamento da rede, o gráfico abaixo apresenta o resultado da

simulação utilizando o do conjunto de treinamento.

Figura 5.2 – Simulação da previsão do indicador SCM1 após treinamento.

Resultados:

Horizonte de Previsão: 5 meses

Média Absoluta Percentual de Erro: 6,21%

Média Absoluta de Erro: 0,0047

O resultado da simulação com o conjunto de validação.

Figura 5.3 –Previsão do indicador SCM1 com o conjunto de validação.

Page 35: Modelo de Relatório de Trabalho - ica.ele.puc-rio.br Ielpo.pdf · Este trabalho apresenta um sistema de previsão para os indicadores de qualidade do serviço de uma rede de banda

34

Valor real Valor previsto

0,087 0,084

0,078 0,088

0,078 0,076

0,081 0,082

0,070 0,077

Tabela 5.1 – Conjunto dos dados de validação do indicador SCM1 com o resultado da previsão.

O resultado das previsões utilizando o conjunto de validação foi

satisfatório, exceto para o segundo mês previsto que teve erro de 1%, após este

mês os resultados da rede acompanharam a tendência do indicador.

Page 36: Modelo de Relatório de Trabalho - ica.ele.puc-rio.br Ielpo.pdf · Este trabalho apresenta um sistema de previsão para os indicadores de qualidade do serviço de uma rede de banda

35

5.2 - Previsão da taxa do indicador SCM11

Este indicador representa a taxa solicitações de instalação que foram

atendidas no prazo mínimo definido pela Anatel.

Para fazer o treinamento e validação da rede, foi utilizada a série diária

deste indicador desde o mês de Janeiro de 2003 até Setembro de 2013.

Segue abaixo os parâmetros que obtiveram o melhor resultado

Quantidade de amostras de treinamento: 3877

Janela de Entrada: 7 dias

Algoritmo de Treinamento: Bayesian regulation backpropagation

Quantidade de neurônios na camada escondida: 10

Número de camadas: 2

Épocas: 1000

A seguir segue o gráfico da simulação da rede antes do treinamento,

utilizando o conjunto de treinamento.

Figura 5.4 – Simulação da previsão do indicador SCM11 antes do treinamento.

Page 37: Modelo de Relatório de Trabalho - ica.ele.puc-rio.br Ielpo.pdf · Este trabalho apresenta um sistema de previsão para os indicadores de qualidade do serviço de uma rede de banda

36

Após o treinamento da rede, o gráfico abaixo apresenta o resultado da

simulação utilizando o do conjunto de treinamento.

Figura 5.5 – Simulação da previsão do indicador SCM11 após treinamento.

Resultados

Horizonte de Previsão: 23 dias

Média Absoluta Percentual de Erro: 2,17%

Média Absoluta de Erro: 0,0186

O resultado da simulação com o conjunto de validação.

Figura 5.6 –Previsão do indicador SCM11 com o conjunto de validação.

Page 38: Modelo de Relatório de Trabalho - ica.ele.puc-rio.br Ielpo.pdf · Este trabalho apresenta um sistema de previsão para os indicadores de qualidade do serviço de uma rede de banda

37

Valor real Valor previsto

0,780 0,793

0,800 0,787

0,830 0,796

0,830 0,816

0,860 0,824

0,860 0,839

0,840 0,843

0,840 0,839

0,900 0,838

0,890 0,871

0,900 0,878

0,890 0,887

0,910 0,882

0,860 0,894

0,860 0,868

0,870 0,869

0,880 0,869

0,880 0,878

0,880 0,877

0,840 0,881

0,830 0,855

0,830 0,841

0,810 0,835

Tabela 5.2 – Conjunto dos dados de validação do indicador SCM11 com o resultado da previsão.

O resultado das previsões utilizando o conjunto de validação foi satisfatório

os resultados da rede acompanharam a tendência do indicador.

Page 39: Modelo de Relatório de Trabalho - ica.ele.puc-rio.br Ielpo.pdf · Este trabalho apresenta um sistema de previsão para os indicadores de qualidade do serviço de uma rede de banda

38

5.3 - Previsão da taxa do indicador SCM13

Este indicador representa a taxa de solicitações de reparos por falhas ou

defeitos que foram atendidas no prazo mínimo definido pela Anatel.

Para fazer o treinamento e validação da rede, foi utilizada a série diária

deste indicador desde o mês de Janeiro de 2003 até Setembro de 2013.

Segue abaixo os parâmetros que obtiveram o melhor resultado

Quantidade de amostras de treinamento: 3896

Janela de Entrada: 7 dias

Algoritmo de Treinamento: Bayesian regulation backpropagation

Quantidade de neurônios na camada escondida: 14

Número de camadas: 2

Épocas: 1000

A seguir segue o gráfico da simulação da rede antes do treinamento,

utilizando o conjunto de treinamento.

Figura 5.7 – Simulação da previsão do indicador SCM13 antes do treinamento.

Page 40: Modelo de Relatório de Trabalho - ica.ele.puc-rio.br Ielpo.pdf · Este trabalho apresenta um sistema de previsão para os indicadores de qualidade do serviço de uma rede de banda

39

Após o treinamento da rede, o gráfico abaixo apresenta o resultado da

simulação utilizando o do conjunto de treinamento.

Figura 5.8 – Simulação da previsão do indicador SCM13 após treinamento.

Resultados

Horizonte de Previsão: 23 dias

Média Absoluta Percentual de Erro: 8,26%

Média Absoluta de Erro: 0,034

O resultado da simulação com o conjunto de validação.

Figura 5.9 –Previsão do indicador SCM13 com o conjunto de validação.

Page 41: Modelo de Relatório de Trabalho - ica.ele.puc-rio.br Ielpo.pdf · Este trabalho apresenta um sistema de previsão para os indicadores de qualidade do serviço de uma rede de banda

40

Valor Real Valor Previsto

0,540 0,474

0,520 0,544

0,490 0,528

0,460 0,509

0,500 0,481

0,450 0,479

0,350 0,437

0,420 0,423

0,460 0,490

0,490 0,457

0,440 0,481

0,420 0,456

0,360 0,424

0,340 0,370

0,430 0,382

0,400 0,436

0,450 0,430

0,480 0,447

0,450 0,458

0,390 0,421

0,370 0,390

0,380 0,419

0,410 0,392

Tabela 5.3 – Conjunto dos dados de validação do indicador SCM13 com o resultado da previsão.

O resultado geral das previsões utilizando o conjunto de validação foi

satisfatório, os resultados da rede acompanharam a tendência do indicador.

Page 42: Modelo de Relatório de Trabalho - ica.ele.puc-rio.br Ielpo.pdf · Este trabalho apresenta um sistema de previsão para os indicadores de qualidade do serviço de uma rede de banda

41

5.4 - Previsão da Quantidade de Reparos Abertos

Para auxiliar a equipe de operações de campo a manter a taxa nos

parâmetros desejados pela Anatel, além de prever o comportamento da taxa

mensal das reclamações sobre a quantidade de acessos e taxa de reparos

atendidos no prazo, e agir de forma proativa é necessário prever a quantidade

de reparos que serão abertos no mês. Assim possibilitar uma melhor

organização da equipe para realizar os atendimentos.

Para realizar o treinamento e validação da rede, foram utilizados os dados

da quantidade de reparos abertos diariamente desde 01/01/2003 até 31/09/2013.

Segue abaixo os parâmetros que obtiveram o melhor resultado:

Quantidade de amostras de treinamento: 3896

Janela de Entrada: 7 dias

Algoritmo de Treinamento: Bayesian regulation backpropagation

Quantidade de neurônios na camada escondida: 7

Número de camadas: 2

Épocas: 1000

A seguir segue o gráfico da simulação da rede antes do treinamento,

utilizando o conjunto de treinamento.

Figura 5.10 – Simulação da previsão da quantidade de reparos abertos antes do treinamento.

Page 43: Modelo de Relatório de Trabalho - ica.ele.puc-rio.br Ielpo.pdf · Este trabalho apresenta um sistema de previsão para os indicadores de qualidade do serviço de uma rede de banda

42

Após o treinamento da rede, o gráfico abaixo apresenta o resultado da

simulação utilizando o do conjunto de treinamento.

Figura 5.11 – Simulação da previsão da quantidade de reparos abertos após treinamento.

Resultados

Horizonte de Previsão: 23 dias

Média Absoluta Percentual de Erro: 7,16%

Média Absoluta de Erro: 197,42

O resultado da simulação com o conjunto de validação.

Figura 5.12 –Previsão da quantidade de reparos abertos com o conjunto de validação.

Page 44: Modelo de Relatório de Trabalho - ica.ele.puc-rio.br Ielpo.pdf · Este trabalho apresenta um sistema de previsão para os indicadores de qualidade do serviço de uma rede de banda

43

Valor Real Valor Previsto

1460 1516

3511 3447

3295 3401

3136 3328

2673 3085

3102 2895

2254 2612

1406 1607

3348 3455

3679 3242

3783 3548

3267 3347

3270 2952

2636 2719

1756 1706

3545 3947

3284 3588

3495 3206

3278 3342

2819 3036

2250 2311

1411 1593

2996 2881

Tabela 5.4 – Conjunto dos dados de validação da quantidade de reparos abertos com o resultado da previsão.

O resultado geral das previsões utilizando o conjunto de validação foi

satisfatório, os resultados da rede acompanharam a tendência do indicador.

Page 45: Modelo de Relatório de Trabalho - ica.ele.puc-rio.br Ielpo.pdf · Este trabalho apresenta um sistema de previsão para os indicadores de qualidade do serviço de uma rede de banda

44

5.5 - Previsão da Quantidade de Solicitações de Instalação Abertas

Para auxiliar a equipe de operações de campo a manter a taxa nos

parâmetros desejados pela Anatel além de prever o comportamento da taxa

mensal das instalações de serviço atendidas no prazo, e agir de forma proativa é

necessário prever a quantidade de instalações que serão abertas no mês. Assim

possibilitar uma melhor organização da equipe para realizar os atendimentos.

Para realizar o treinamento e validação da rede foram utilizados os dados

da quantidade de solicitações abertas diariamente desde 01/01/2003 até

31/09/2013.

Segue abaixo os parâmetros que obtiveram o melhor resultado.

Quantidade de amostras de treinamento: 3896

Janela de Entrada: 7 dias

Algoritmo de Treinamento: Bayesian regulation backpropagation

Quantidade de neurônios na camada escondida: 7

Número de camadas: 2

Épocas: 1000

A seguir segue o gráfico da simulação da rede antes do treinamento,

utilizando o conjunto de treinamento.

Figura 5.13 – Simulação da previsão da quantidade de solicitações de instalação antes do treinamento.

Page 46: Modelo de Relatório de Trabalho - ica.ele.puc-rio.br Ielpo.pdf · Este trabalho apresenta um sistema de previsão para os indicadores de qualidade do serviço de uma rede de banda

45

Após o treinamento da rede, o gráfico abaixo apresenta o resultado da

simulação utilizando o do conjunto de treinamento.

Figura 5.14 – Simulação da previsão da quantidade de solicitações de instalação após treinamento.

Resultados

Horizonte de Previsão: 7 dias

Média Absoluta Percentual de Erro: 18,09%

Média Absoluta de Erro: 248,33

O resultado da simulação com o conjunto de validação.

Figura 5.15 –Previsão da quantidade de solicitações de instalação com o conjunto de validação.

Page 47: Modelo de Relatório de Trabalho - ica.ele.puc-rio.br Ielpo.pdf · Este trabalho apresenta um sistema de previsão para os indicadores de qualidade do serviço de uma rede de banda

46

Valor real Valor previsto

2225 2143

2360 2481

2371 2199

1875 2147

1314 1192

404 411

1130 2092

Tabela 5.5 – Conjunto dos dados de validação da quantidade de solicitações de instalação com o resultado da previsão.

O resultado geral das previsões utilizando o conjunto de validação foi

satisfatório, exceto para o sétimo dia que previu mais 962 serviços de instalação,

apesar de acompanhar a tendência de crescimento do indicador ele foi o

principal fator do percentual de erro ser alto, mas os resultados anteriores da

rede acompanharam a tendência do indicador com erro baixo.

Page 48: Modelo de Relatório de Trabalho - ica.ele.puc-rio.br Ielpo.pdf · Este trabalho apresenta um sistema de previsão para os indicadores de qualidade do serviço de uma rede de banda

47

6. CONCLUSÕES E TRABALHOS FUTUROS

Este trabalho apresenta um modelo baseado em redes neurais para

previsão dos indicadores de qualidade exigidos pela Anatel às empresas

prestadoras de serviços de comunicação multimídia.

Os objetivos definidos no início do trabalho foram atingidos.

Implementar através de redes neurais artificiais a previsão do

comportamento dos principais indicadores de qualidade dos

serviços de banda larga residencial. O resultado das previsões para

os três indicadores obtiveram resultados satisfatórios, com uma

taxa de erro baixa, e as previsões sempre acompanhando a

tendência dos indicadores.

Auxiliar a equipe de manutenção da planta externa a manter os

serviços nos padrões exigidos, prevendo a quantidade de serviços

de reparo e instalação que serão abertos, através de redes neurais.

O resultado para a quantidade de serviços de reparo teve um

resultado satisfatório para um período de quase um mês. Já para o

de previsão de quantidade de instalações o horizonte de previsão

foi menor, mas mesmo assim o resultado foi satisfatório.

Um ponto de melhoria neste trabalho seria automatizar o script Matlab para

testar diversas combinações das variáveis da rede e guardar a com o melhor

resultado. Todos os testes foram feitos de forma semiautomática, então existe a

possibilidade de existir configurações da rede que obtenham resultados mais

precisos, apesar destes terem sido satisfatórios para todos os casos

apresentados. Isto também facilitaria para a aplicação da previsão dos

indicadores para outros estados além do Rio de Janeiro.

Outro ponto de melhoria seria adicionar a rede outros dados que foram

extraídos da base para tentar obter resultados melhores, neste trabalho foram

apresentados somente as séries históricas das taxas dos indicadores e as

quantidades dos serviços.

Além disto, para a previsão da quantidade de serviços de instalação um

ponto que poderia ser melhorado seria acrescentar uma variável à rede que

indicaria se os dados apresentados são de um período de lançamento de uma

nova oferta. Os lançamentos de novas ofertas, na maioria dos casos causam um

aumento de instalações solicitadas pelos clientes. Mas infelizmente não existe

disponível um histórico de lançamento de ofertas para realizarmos este teste.

Page 49: Modelo de Relatório de Trabalho - ica.ele.puc-rio.br Ielpo.pdf · Este trabalho apresenta um sistema de previsão para os indicadores de qualidade do serviço de uma rede de banda

48

Para trabalhos futuros, existem outras aplicações utilizando redes neurais

que poderiam auxiliar a equipe de manutenção da planta externa. Um exemplo

seria a classificação dos reparos e instalações. Através de clusterização

identificar quais são os serviços que potencialmente não irão cumprir o prazo de

atendimento.

Outra possibilidade de trabalho seria construir uma rede que dadas as

características do reparo, como código de abertura do reparo, localidade e

outros dados, preveja qual a mais provável solução do reparo prevendo o código

de encerramento do reparo.

Page 50: Modelo de Relatório de Trabalho - ica.ele.puc-rio.br Ielpo.pdf · Este trabalho apresenta um sistema de previsão para os indicadores de qualidade do serviço de uma rede de banda

49

Referências Bibliográficas

Ivan Nunes da Silva, D. H. Spatti, R. A. Flauzino, Rede Neurais Artificiais para

Engenharia e Ciências Aplicadas: Curso Prático, Artliber Editora, 2010.

Portal Anatel - Sobre a Anatel - Atribuições. (20 de 07 de 2013). Fonte: Portal

Anatel: www.anatel.gov.br

W.S. McCulloch and W.Pitts. A Logical Calculus of the Ideas Immanent in

Nervous Activity. Bulletin of Mathematical Biophysics, 1943.