big data: tendências e oportunidades - palestrante: sérgio mafra
DESCRIPTION
Rio Info 2013 Tecnologias Inovadoras 17 de setembro - 14h às 18h Big data: tendências e oportunidades Palestrante: Sérgio MafraTRANSCRIPT
![Page 1: Big data: tendências e oportunidades - Palestrante: Sérgio Mafra](https://reader033.vdocuments.com.br/reader033/viewer/2022061111/5456035faf795917618b58a3/html5/thumbnails/1.jpg)
1
Utilização de Big Data para Computação de Alto Desempenho
Sérgio MafraLíder Inovação TI
“Scotty, We Need More Power”
![Page 2: Big data: tendências e oportunidades - Palestrante: Sérgio Mafra](https://reader033.vdocuments.com.br/reader033/viewer/2022061111/5456035faf795917618b58a3/html5/thumbnails/2.jpg)
O ONS
![Page 3: Big data: tendências e oportunidades - Palestrante: Sérgio Mafra](https://reader033.vdocuments.com.br/reader033/viewer/2022061111/5456035faf795917618b58a3/html5/thumbnails/3.jpg)
3
Escopo de atuação do ONS
O Operador Nacional do Sistema Elétrico (ONS) é o órgão responsável pela coordenação e controle da operação das
instalações de geração e transmissão de energia elétrica no Sistema Interligado Nacional (SIN), sob a fiscalização e regulação da Agência Nacional de Energia Elétrica (Aneel).
Para o exercício de suas atribuições legais e o cumprimento de sua missão institucional, o ONS desenvolve uma série de estudos e ações a serem exercidas sobre o sistema e
seus agentes para manejar o estoque de energia de forma a garantir a segurança do suprimento contínuo em todo o país.
![Page 4: Big data: tendências e oportunidades - Palestrante: Sérgio Mafra](https://reader033.vdocuments.com.br/reader033/viewer/2022061111/5456035faf795917618b58a3/html5/thumbnails/4.jpg)
4
Num. de empregados: 745
• 596 com grau universitário
• 405 engenheiros
NorteIsolado
BrasiliaCNOSCOSR-NCO
RecifeNúcleo N/NECOSR-NE
Rio de JaneiroEscritório
CentralCOSR-SE
FlorianópolisNúcleo SulCOSR-S
Instalações do ONS
![Page 5: Big data: tendências e oportunidades - Palestrante: Sérgio Mafra](https://reader033.vdocuments.com.br/reader033/viewer/2022061111/5456035faf795917618b58a3/html5/thumbnails/5.jpg)
5
O SIN atende 98% do consumo de eletricidade
do Brasil.
SIN - Sistema Elétrico Brasileiro
Sistemas IsoladosAmazônia Legal2% do Mercado
Predominantemente Térmico+ 300 localidades isoladas-
Modelo predominantementehidroelétrico com grandes
reservatórios egrandes interligações.
![Page 6: Big data: tendências e oportunidades - Palestrante: Sérgio Mafra](https://reader033.vdocuments.com.br/reader033/viewer/2022061111/5456035faf795917618b58a3/html5/thumbnails/6.jpg)
6
SIN - Sistema Elétrico Brasileiro
![Page 7: Big data: tendências e oportunidades - Palestrante: Sérgio Mafra](https://reader033.vdocuments.com.br/reader033/viewer/2022061111/5456035faf795917618b58a3/html5/thumbnails/7.jpg)
7
Área de atuação do ONS
![Page 8: Big data: tendências e oportunidades - Palestrante: Sérgio Mafra](https://reader033.vdocuments.com.br/reader033/viewer/2022061111/5456035faf795917618b58a3/html5/thumbnails/8.jpg)
O que é Big Data?
![Page 9: Big data: tendências e oportunidades - Palestrante: Sérgio Mafra](https://reader033.vdocuments.com.br/reader033/viewer/2022061111/5456035faf795917618b58a3/html5/thumbnails/9.jpg)
9
Conceitos
Big Data
Volume
Variedade
Velocidade
![Page 10: Big data: tendências e oportunidades - Palestrante: Sérgio Mafra](https://reader033.vdocuments.com.br/reader033/viewer/2022061111/5456035faf795917618b58a3/html5/thumbnails/10.jpg)
10
Origem dos Dados
Transações
Interações
Observações
Big Data
![Page 11: Big data: tendências e oportunidades - Palestrante: Sérgio Mafra](https://reader033.vdocuments.com.br/reader033/viewer/2022061111/5456035faf795917618b58a3/html5/thumbnails/11.jpg)
11
O que é “Big Data”?
Variedade e Complexidade dos Dados
ERP e CRM
Web
Big DataPB
TB
GB
MB
Geographic Information System (GIS)
Sensores
Modelos Matemáticos
Meteorologia
Logs
Recomendações
Colaboração
Mobile Web
Business Intelligence
SAGER/SAAT
Medição Fasorial (SMF)
![Page 12: Big data: tendências e oportunidades - Palestrante: Sérgio Mafra](https://reader033.vdocuments.com.br/reader033/viewer/2022061111/5456035faf795917618b58a3/html5/thumbnails/12.jpg)
12
O uso da informação está evoluindo...
Level of Business Impact
Why Did It Happen?
What Happened?
Data MiningReporting,
Dashboards
Transactional, Lagging Information
Reporting Centric
Predictability
Level of Business Impact
What Is Likely to Happen?
Why Did It Happen?
What Happened?
Data Mining
Skill Impact
Reporting, Dashboards
What Is Happening?
Real-Time Analytics
Transactional Unstructured
Reporting-Centric Pattern RecognitionPattern-Matching
Modeling by quants Modeling for the masses
![Page 13: Big data: tendências e oportunidades - Palestrante: Sérgio Mafra](https://reader033.vdocuments.com.br/reader033/viewer/2022061111/5456035faf795917618b58a3/html5/thumbnails/13.jpg)
13
Processo de Big Data
Coleta
• Armazenar• Limpeza de
Dados• Distribuir
Processamento
• Selecionar• Agregar• Exportar
Análise
• Modelos• Minerar Dados• Análise de
Dados
![Page 14: Big data: tendências e oportunidades - Palestrante: Sérgio Mafra](https://reader033.vdocuments.com.br/reader033/viewer/2022061111/5456035faf795917618b58a3/html5/thumbnails/14.jpg)
Sistema de Medição Sincronizada de Fasores (SMSF)
![Page 15: Big data: tendências e oportunidades - Palestrante: Sérgio Mafra](https://reader033.vdocuments.com.br/reader033/viewer/2022061111/5456035faf795917618b58a3/html5/thumbnails/15.jpg)
15
Sistema de Medição Sincronizada de Fasores - SMSF
PDC
![Page 16: Big data: tendências e oportunidades - Palestrante: Sérgio Mafra](https://reader033.vdocuments.com.br/reader033/viewer/2022061111/5456035faf795917618b58a3/html5/thumbnails/16.jpg)
16
Processo do SMSF
Coletar (PMU)• Tensão• Corrente• Frequência• Tempo (GPS)
Transmitir (Telecom)• UDP/IP• C37.118
Concentrar (PDC)• Concentrar dados• Diferentes fontes• Múltiplos formatosProtocolos
![Page 17: Big data: tendências e oportunidades - Palestrante: Sérgio Mafra](https://reader033.vdocuments.com.br/reader033/viewer/2022061111/5456035faf795917618b58a3/html5/thumbnails/17.jpg)
17
Desafios
• SCADA possui resolução de ms (mili)– Não serve para medir ângulos elétricos– Medidas não são síncronas
• É necessário uma fonte temporal de alta precisão– GPS fornece precisão de 14 ns (nano)– 60 coletas por segundo de cada grandeza
![Page 18: Big data: tendências e oportunidades - Palestrante: Sérgio Mafra](https://reader033.vdocuments.com.br/reader033/viewer/2022061111/5456035faf795917618b58a3/html5/thumbnails/18.jpg)
18
Benefícios
• Melhoria da qualidade dos dados observados para a operação em Tempo Real e para o Planejamento
• Avaliação com maior precisão em situações de distúrbios
• Recomposição mais rápida dos sistemas interligados• Estimação de estado em zonas não cobertas
![Page 19: Big data: tendências e oportunidades - Palestrante: Sérgio Mafra](https://reader033.vdocuments.com.br/reader033/viewer/2022061111/5456035faf795917618b58a3/html5/thumbnails/19.jpg)
19
Armazenamento Anual do SMSF
2013• 8,5 TB
2015• 70 TB
2018• 120 TB
2022• 312 TB
Big Data
Data
Coleta estimada para apenas 7 grandezas de medida
Volume total do Storage do Data Center (RJ) em
2013
![Page 20: Big data: tendências e oportunidades - Palestrante: Sérgio Mafra](https://reader033.vdocuments.com.br/reader033/viewer/2022061111/5456035faf795917618b58a3/html5/thumbnails/20.jpg)
20
Limitações do Modelo Atual
• Não é possível explorar os dados originais• Mover grandes quantidades de dados para
DataWarehouses torna-se um problema acima de 2 terabytes
• Dados arquivados = apagar os dados• Log de Aplicações• Dados de Telemetria de qualquer natureza
![Page 21: Big data: tendências e oportunidades - Palestrante: Sérgio Mafra](https://reader033.vdocuments.com.br/reader033/viewer/2022061111/5456035faf795917618b58a3/html5/thumbnails/21.jpg)
Novas Soluções
![Page 22: Big data: tendências e oportunidades - Palestrante: Sérgio Mafra](https://reader033.vdocuments.com.br/reader033/viewer/2022061111/5456035faf795917618b58a3/html5/thumbnails/22.jpg)
22
• Coletor de informações dos PMU• Análise simplificada da situação • Geração de arquivo histórico• Integração com hadoop
Projeto Piloto
![Page 23: Big data: tendências e oportunidades - Palestrante: Sérgio Mafra](https://reader033.vdocuments.com.br/reader033/viewer/2022061111/5456035faf795917618b58a3/html5/thumbnails/23.jpg)
23
• Sistema de Arquivos Distribuído (HDFS) em conjunto com o S3 (AWS)
• Processamento Distribuído (Map Reduce) em ambiente clusterizado
• Utilização de Hive para análise de dados
Projeto Piloto
![Page 24: Big data: tendências e oportunidades - Palestrante: Sérgio Mafra](https://reader033.vdocuments.com.br/reader033/viewer/2022061111/5456035faf795917618b58a3/html5/thumbnails/24.jpg)
24
Projeto Piloto
Histórico
1 Tb
Cluster Hadoop
OpenPDC
Coletor
Master
Nó 1
Nó 3
Nó N
Nó 2
HDFS
HDFS
HDFS
HDFS
S3
Armazenador
Glacier
Historiador
Glacier
Glacier
Glacier
Glacier
Análise
PMUs
Processamento