BigData&IoT

EduardoOgasawaraeogasawara@ieee.org

Centro Federal de Educação Tecnológica Celso Suckow da Fonseca CEFET/RJ

h1p://eic.cefet-rj.br/~eogasawara

2

Data Deluge

3

A Era do Big Data

§  Aumentocrescentenosdadosproduzidosnomundo§  Em2011aes;ma;vaerade1.8ZB≈1021B§  Presentenoseixos

§  Indústria§  Serviços(Google,Facebook,etc)§  Finanças§  e-commerce

§  Governo§ Mobilidadeurbana

§  Ciência§  Levantamentosastronômicos(LST)§  e-Science

4

O fenômeno do Big Data

5

O que é Big Data?

§  Datasets que não podem ser capturados, gerenciadosouprocessadosporumúnicocomputadorconvencional

✗

✓ ✓

✓

6

Big Data: Características

7

Big Data: Desafios na Gerência de Dados

§  Coletaearmazenamentodedados

•  Transferênciadedados•  Intrasite•  Intersites

•  Pré-processamento•  Limpezadedados•  Remoçãoderedundância

•  Carga(ETL)

Declíniodoprincípiodeonesizefitsall

8

Big Data: Armazenamento e Processamento

§  Sistemadearquivos§  TecnologiadeBancodeDados§  Processamentodefluxosdedados

9

Big Data: Armazenamento de Dados

§  RawDataorFlatFiles§  DirectA]achedStorage(DAS)§  NetworkA]achedStorage(NAS)§  StorageAreaNetwork(SAN)

§  Aspectosdearmazenamentodistribuído§  Consistência§  Disponibilidade§  Par;cionamentocomredundância

10

Big Data: Armazenamento e Consulta a Dados

§  SGBDRelacionalCentralizado§  Amostragem

§  SGBDRelacionalParalelo§  Dadoshomogêneos§  Dadosnormalizados§  Cargadedados§  Controledeconcorrência

§  SistemasNo-SQL§  Chave-valor§  Colunas§  Documento§  Paralelos/UDFparalelas

11

Big Data: Processamento de Fluxos

§  UsodeUDFs§  Modelo de processamento paralelo de MessagePassage Interface (MPI) e Open Mul9processing(OpenMP)podemnãosersuficientes

§  MapReduce§  Hadoop§  Spark

§  PigLa;n

12

Big Data – Aspectos Arquiteturais e de Negócios

13

Análise de Dados

14

Tipos de análise de dados

§  Temporeal§  Off-line§  Emmemória§  AnálisecentradaemInteligênciadeNegócios§  AnáliseMassivadeDados(Hadoop)

15

Ciência de Dados

16

Ciência de dados: desafio para a ciência, indústria e governo

17

Processo Geral de Extração de Conhecimento

Classificação,PadrõesFrequentes,Agrupamento

18

Como o meio acadêmico aborda a Ciência de Dados

§  Nomundo§  Criaçãodefórunsespecíficos(conferências,revistas)§  ProgramasdePós-graduação

§ Mestrados(23nosEUA)§  Especializações

§  NoBrasil§  INCTemCiênciadeDados(LNCC,CEFET/RJ,IME,UFPR,...)§  ProgramadePós-GraduaçãoemCiênciadeDados(PPGCD)doCEFET/RJ

§  Especializações

19

IoT

§  IoT(InternetdasCoisas)§  Cadaobjetopassaaseriden;ficadoeconectadoarede§  Objetosfuncionamcomosensores§  Aspectostemporaiseespaciais

20

IoT: Aplicações

§  Logís;ca§  monitoramentodeveículos§  o;mizaçãodinâmicaderotas

§  Cidadesinteligentes§  gerenciamentoderecursoshídricos§  reduçãodeconges;onamento§  iden;ficaçãodeacidentes§  vagasparaestacionamentodecarros§  aumentodesegurança

§  Medicina§  acompanhamentodepacientes

§  Casasinteligentes§  usoderecursosecômodos§  controledetemperatura§  reconhecimentodefaceseiden;ficaçãodehumor§  alertadeeventosraros

21

Ligação entre IoT e Big Data

HojenãoéoprincipalcenáriodeBigData,masem2030...

22

Big Data em IoT: Um novo desafio à nossa porta Fabio Porto, Eduardo Ogasawara, Artur Ziviani

§  Mercadode4trilhõesdedólares(2020)§  25bilhõesdedisposi;vos§  50trilhõesdeGBdedados§  Fontesdedadosdealtafrequênciadetransmissão

§  Coletaearmazenamentodessesdados

23

Big Data em IoT: Desafios

§  GerênciadeDados§  Amostragem§  Agregação§  Armazenamentoespaço-temporal§  Processamento de grandes volumes de transações emmemória

§  AnálisedeDados§  AsabordagensdeKDDsãocentralizadas§  NocenáriodeIoTosalgoritmosprecisamserparalelizados§  Reduçãodedimensionalidadeenumerosidade§  Método de Mineração: Classificação, Agrupamento, PadrõesFrequentes

24

Considerações Finais

§  Oportunidadededesenvolverartefatosinteligentes§  Potencialdeproduçãodepatentes

§  Cenáriomuitoricoparaaspesquisasem:§  BancodeDados§  MineraçãodeDados§  Aprendizadodemáquina§  CiênciadeDados

§  Pressão crescente pela formação dos Cien;stas deDados§  Habilidadesdiferenciadas

25

Referências

§  [1]J.Gubbi,R.Buyya,S.Marusic,andM.Palaniswami,2013,InternetofThings(IoT):AVision, Architectural Elements, and FutureDirec;ons,FutureGener. Comput. Syst., v.29,n.7(Sep.),p.1645–1660.

§  [2] D. Miorandi, S. Sicari, F. De Pellegrini, and I. Chlamtac, 2012, Internet of things:Vision, applica;ons and research challenges, Ad Hoc Networks, v. 10, n. 7 (Sep.), p.1497–1516.

§  [3]L.Atzori,A.Iera,andG.Morabito,2010,TheInternetofThings:Asurvey,ComputerNetworks,v.54,n.15(Oct.),p.2787–2805.

§  [4]F.Chen,P.Deng,J.Wan,D.Zhang,A.V.Vasilakos,X.Rong,F.Chen,P.Deng,J.Wan,etal.,2015,DataMiningfortheInternetofThings:LiteratureReviewandChallenges,DataMiningfortheInternetofThings:LiteratureReviewandChallenges,Interna9onalJournal of Distributed Sensor Networks, Interna9onal Journal of Distributed SensorNetworks,v.2015,2015(Aug.),p.e431047.

§  [5]C.-W.Tsai,C.-F.Lai,M.-C.Chiang,andL.T.Yang,2014,DataMiningfor InternetofThings:ASurvey,IEEECommunica9onsSurveysTutorials,v.16,n.1(First.),p.77–97.

§  [6] C. Perera, C.H. Liu, S. Jayawardena, andM. Chen, 2014, A Survey on Internet ofThingsFromIndustrialMarketPerspec;ve,IEEEAccess,v.2,p.1660–1679.

§  [7] M. Chen, S. Mao, and Y. Liu, 2014, Big Data: A Survey, Mobile Networks andApplica9ons,v.19,n.2(Jan.),p.171–209.

§  [8] R.-I. Ciobanu, V. Cristea, C. Dobre, and F. Pop, 2014, "Big Data Pla}orms for theInternetofThings",In:N.BessisandC.Dobre,eds.,BigDataandInternetofThings:ARoadmapforSmartEnvironments,SpringerInterna;onalPublishing,p.3–34.