big data: tendências e oportunidades - palestrante: sérgio mafra

1

Utilização de Big Data para Computação de Alto Desempenho

Sérgio MafraLíder Inovação TI

“Scotty, We Need More Power”

O ONS

3

Escopo de atuação do ONS

O Operador Nacional do Sistema Elétrico (ONS) é o órgão responsável pela coordenação e controle da operação das

instalações de geração e transmissão de energia elétrica no Sistema Interligado Nacional (SIN), sob a fiscalização e regulação da Agência Nacional de Energia Elétrica (Aneel).

Para o exercício de suas atribuições legais e o cumprimento de sua missão institucional, o ONS desenvolve uma série de estudos e ações a serem exercidas sobre o sistema e

seus agentes para manejar o estoque de energia de forma a garantir a segurança do suprimento contínuo em todo o país.

4

Num. de empregados: 745

• 596 com grau universitário

• 405 engenheiros

NorteIsolado

BrasiliaCNOSCOSR-NCO

RecifeNúcleo N/NECOSR-NE

Rio de JaneiroEscritório

CentralCOSR-SE

FlorianópolisNúcleo SulCOSR-S

Instalações do ONS

5

O SIN atende 98% do consumo de eletricidade

do Brasil.

SIN - Sistema Elétrico Brasileiro

Sistemas IsoladosAmazônia Legal2% do Mercado

Predominantemente Térmico+ 300 localidades isoladas-

Modelo predominantementehidroelétrico com grandes

reservatórios egrandes interligações.

6

SIN - Sistema Elétrico Brasileiro

7

Área de atuação do ONS

O que é Big Data?

9

Conceitos

Big Data

Volume

Variedade

Velocidade

10

Origem dos Dados

Transações

Interações

Observações

Big Data

11

O que é “Big Data”?

Variedade e Complexidade dos Dados

ERP e CRM

Web

Big DataPB

TB

GB

MB

Geographic Information System (GIS)

Sensores

Modelos Matemáticos

Meteorologia

Logs

Recomendações

Colaboração

Mobile Web

Business Intelligence

SAGER/SAAT

Medição Fasorial (SMF)

12

O uso da informação está evoluindo...

Level of Business Impact

Why Did It Happen?

What Happened?

Data MiningReporting,

Dashboards

Transactional, Lagging Information

Reporting Centric

Predictability

Level of Business Impact

What Is Likely to Happen?

Why Did It Happen?

What Happened?

Data Mining

Skill Impact

Reporting, Dashboards

What Is Happening?

Real-Time Analytics

Transactional Unstructured

Reporting-Centric Pattern RecognitionPattern-Matching

Modeling by quants Modeling for the masses

13

Processo de Big Data

Coleta

• Armazenar• Limpeza de

Dados• Distribuir

Processamento

• Selecionar• Agregar• Exportar

Análise

• Modelos• Minerar Dados• Análise de

Dados

Sistema de Medição Sincronizada de Fasores (SMSF)

15

Sistema de Medição Sincronizada de Fasores - SMSF

PDC

16

Processo do SMSF

Coletar (PMU)• Tensão• Corrente• Frequência• Tempo (GPS)

Transmitir (Telecom)• UDP/IP• C37.118

Concentrar (PDC)• Concentrar dados• Diferentes fontes• Múltiplos formatosProtocolos

17

Desafios

• SCADA possui resolução de ms (mili)– Não serve para medir ângulos elétricos– Medidas não são síncronas

• É necessário uma fonte temporal de alta precisão– GPS fornece precisão de 14 ns (nano)– 60 coletas por segundo de cada grandeza

18

Benefícios

• Melhoria da qualidade dos dados observados para a operação em Tempo Real e para o Planejamento

• Avaliação com maior precisão em situações de distúrbios

• Recomposição mais rápida dos sistemas interligados• Estimação de estado em zonas não cobertas

19

Armazenamento Anual do SMSF

2013• 8,5 TB

2015• 70 TB

2018• 120 TB

2022• 312 TB

Big Data

Data

Coleta estimada para apenas 7 grandezas de medida

Volume total do Storage do Data Center (RJ) em

2013

20

Limitações do Modelo Atual

• Não é possível explorar os dados originais• Mover grandes quantidades de dados para

DataWarehouses torna-se um problema acima de 2 terabytes

• Dados arquivados = apagar os dados• Log de Aplicações• Dados de Telemetria de qualquer natureza

Novas Soluções

22

• Coletor de informações dos PMU• Análise simplificada da situação • Geração de arquivo histórico• Integração com hadoop

Projeto Piloto

23

• Sistema de Arquivos Distribuído (HDFS) em conjunto com o S3 (AWS)

• Processamento Distribuído (Map Reduce) em ambiente clusterizado

• Utilização de Hive para análise de dados

Projeto Piloto

24

Projeto Piloto

Histórico

1 Tb

Cluster Hadoop

OpenPDC

Coletor

Master

Nó 1

Nó 3

Nó N

Nó 2

HDFS

HDFS

HDFS

HDFS

S3

Armazenador

Glacier

Historiador

Glacier

Glacier

Glacier

Glacier

Análise

PMUs

Processamento

25

Obrigado !!!

smafra@ons.org.br@smafra

“Scotty, We STILL Need More Power”