adriano amaral - novas tendências

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal/Restricted/Highly Restricted

Big, Fast e Opendata Transformando dados em ouro

1

MSEE, Adriano Amaral [email protected] Big Data & Data Science

1

mailto:[email protected]

mailto:[email protected]

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

“Na era da Internet, nós não podemos confrontar os desafios do futuro, fazendo as coisas que fazíamos a 20 anos atrás”

Executivo do CaixaBank quando da implementação do “data pool” e

experiência do usuário laboratório

2

Inspiração

3

Não vim para explicar… mas sim pra confundir!

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 4

Os alquimistas estão chegando….

O Alquimista…


Cidadãos Demanda de novos serviços

Governos e Empresas Adaptação para atender as necessidades

Slide, Arturo Muente-Kunigami

@n0wh3r3m4n


http://www.clickestudante.com/resultado-dos-protestos-pelo-brasil.html


As 3 Leis da Economia dos Dados

1. Dados advém da atividade;

2. Dados tendem a gerar mais dados;

3. Dados em plataformas, não isoladamente;

Copyright © 2015 Oracle and/or its affiliates. All rights reserved. Oracle Confidential – Internal

Caminho dos dados!

0

20

40

60

80

100

120

140

2011 2012 2013 2014 2015 2016 2017

Milh

ares

Dados no SGBD 20%+

Dados fora do SGBD crescendo a taxas 40%+

IDC: Structured Versus Unstructured Data: The Balance of Power Continues to Shift. #247106. Table 1.

Fato: Hadoop mais usado para dados estruturados

10

E mais uma coisinha… pesquisas da TDWI e Gartner

indicam que Data Warehouses maduros, hoje, já

acomodam diversos dados não-estruturados ou semi-

estruturados!

Maior parte das aplicações em Hadoop são utilizando fontes de repositórios estruturados;

Muitos dados ditos como “não estruturados” em uso no Hadoop, na verdade são estruturados (ex.: web log analytics e analise de sentimento são tipicamente impusionados por JSON ou XML)


Opendata Revolution Apenas começando!

11

http://www.economist.com/news/international/21678833-open-data-revolution-has-not-lived-up-expectations-it-only-getting?fsrc=scn/tw_ec/out_of_the_box


Proximo www. Revolução 20 anos!

12


dataLab 1.Design

2.Construção

3.Libere

4.Revise

Fonte: Adaptado Modelo Ágil

Dados

Cidadão/Cliente


Inovação Aberta


Dados em Valor Como extrair valor dos dados?

16


Mais Valor… Visão G20

20


Luta contra a corrupção… Muito além disso!

21


Dados da Camara Proposição de retorno

22


Dados da Educação Avaliação, acompanhamento das escolas públicas!

23


Mexico ICMO Fraudes na Educação

24


Prescrições Economia e desvios

25

http://www.economist.com/news/britain/21567980-how-scrutiny-freely-available-data-might-save-nhs-money-

beggar-thy-neighbour


Triagem médica usando dados da saúde…

26


Complicações cirúrgicas e monitoramento da qualidade dos serviços hospitalares, a partir dos Dados

27

Monitoramento de Estabelecimentos de Saúde


Governança Caso Nigéria!

28


Atacado Mercado de energia renovável!

29

https://piclo.uk


Agua Dados em Agua

30


Bigdata: Definição…

32

“Big Data é qualquer dado que é caro demais para gerenciar e extrair valor”

Michael Franklin

Thomas M. Siebel Professor of Computer Science

Director of the Algorithms, Machines and People Lab

University of Berkeley


Dinâmico e Integral

Estático e Sistêmico


Simplificado e Sêmantico

Modelagem e Complexidade

Orientado aos Dados

First Nat Bank of Philadelphia

Wachovia

Wells Fargo

Crocker National First Union

Norwest

Is owned by

Now known as

Now known as

Now known as Now known as

Core States

Now known as


MapReduce

No-SQL

Linked Data

Machine Learning

Real-time ingestion

} Maquina de Dados Processamento Grafo

Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | Oracle Company Confidential

Impacto de Eventos

Reservatório Dados

Fabrica de Dados

Repositório de Informações

Análise e Insights

Lab. Descoberta

Informação Ativa

Descobertas Continuas

Fluxo de Dados

Investigação

Descoberta

Saídas Descobertas

Eventos & Dados

38

Dados Conhecidos

Novos Dados

Motor Decisão

Investigação

Gestão

Governança e Controle dos Casos

Segurança dos Dados e Casos

Opendata

Inovação Rapida

Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal

Descoberta dos Dados, não modelagem Virando a mesa, e criando inovação!

Aquisição

Aquisição dos dados baseados em parâmetros

investigativos pré-definidos e dinâmicos

Busca

Identificação dos dados mais

relevantes no contexto

investigativo e fácil acesso aos

mesmos

Entendimento

Enquadramento dos dados baseado em sua significância e

valor das informações contidas,

entendimento dos relacionamentos

Ajustes

Ferramentas para higienização e

enriquecimento dos dados de maneira ágil e

dinamica

Análise

Constatações e validações de

hipóteses investigativas e formulação de

novas hipóteses, primeiros resultados

Colaboração

Publicar os casos de investigação a

revisão de outros agentes e analistas,

feedback de procuradores e jurisprudências

Descoberta

Desvelar elementos

ocultos e novos no processo investigativo fomentando

novas fontes e insights

39

Tempo

adriano amaral - novas tendências

Technology