adriano amaral - novas tendências

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal/Restricted/Highly Restricted

Big, Fast e Opendata Transformando dados em ouro

1

MSEE, Adriano Amaral adriano.amaral@oracle.com Big Data & Data Science

1

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

“Na era da Internet, nós não podemos confrontar os desafios do futuro, fazendo as coisas que fazíamos a 20 anos atrás”

Executivo do CaixaBank quando da implementação do “data pool” e

experiência do usuário laboratório

2

Inspiração

3

Não vim para explicar… mas sim pra confundir!

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 4

Os alquimistas estão chegando….

O Alquimista…

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 6

Cidadãos Demanda de novos serviços

Governos e Empresas Adaptação para atender as necessidades

Slide, Arturo Muente-Kunigami

@n0wh3r3m4n

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 7

http://www.clickestudante.com/resultado-dos-protestos-pelo-brasil.html

Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |

As 3 Leis da Economia dos Dados

1. Dados advém da atividade;

2. Dados tendem a gerar mais dados;

3. Dados em plataformas, não isoladamente;

Copyright © 2015 Oracle and/or its affiliates. All rights reserved. Oracle Confidential – Internal

Caminho dos dados!

0

20

40

60

80

100

120

140

2011 2012 2013 2014 2015 2016 2017

Milh

ares

Dados no SGBD 20%+

Dados fora do SGBD crescendo a taxas 40%+

IDC: Structured Versus Unstructured Data: The Balance of Power Continues to Shift. #247106. Table 1. Page 9

Fato: Hadoop mais usado para dados estruturados

10

E mais uma coisinha… pesquisas da TDWI e Gartner

indicam que Data Warehouses maduros, hoje, já

acomodam diversos dados não-estruturados ou semi-

estruturados!

Maior parte das aplicações em Hadoop são utilizando fontes de repositórios estruturados;

Muitos dados ditos como “não estruturados” em uso no Hadoop, na verdade são estruturados (ex.: web log analytics e analise de sentimento são tipicamente impusionados por JSON ou XML)

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

Opendata Revolution Apenas começando!

11

http://www.economist.com/news/international/21678833-open-data-revolution-has-not-lived-up-expectations-it-only-getting?fsrc=scn/tw_ec/out_of_the_box

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

Proximo www. Revolução 20 anos!

12

Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | 13

dataLab 1.Design

2.Construção

3.Libere

4.Revise

Fonte: Adaptado Modelo Ágil

Dados

Cidadão/Cliente

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 14

Inovação Aberta

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 15

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

Dados em Valor Como extrair valor dos dados?

16

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 17

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 18

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 19

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

Mais Valor… Visão G20

20

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

Luta contra a corrupção… Muito além disso!

21

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

Dados da Camara Proposição de retorno

22

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

Dados da Educação Avaliação, acompanhamento das escolas públicas!

23

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

Mexico ICMO Fraudes na Educação

24

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

Prescrições Economia e desvios

25

http://www.economist.com/news/britain/21567980-how-scrutiny-freely-available-data-might-save-nhs-money-

beggar-thy-neighbour

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

Triagem médica usando dados da saúde…

26

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

Complicações cirúrgicas e monitoramento da qualidade dos serviços hospitalares, a partir dos Dados

27

Monitoramento de Estabelecimentos de Saúde

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

Governança Caso Nigéria!

28

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

Atacado Mercado de energia renovável!

29

https://piclo.uk

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

Agua Dados em Agua

30

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

Bigdata: Definição…

32

“Big Data é qualquer dado que é caro demais para gerenciar e extrair valor”

Michael Franklin

Thomas M. Siebel Professor of Computer Science

Director of the Algorithms, Machines and People Lab

University of Berkeley

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal/Restricted/Highly Restricted

Dinâmico e Integral

Estático e Sistêmico

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal/Restricted/Highly Restricted

Simplificado e Sêmantico

Modelagem e Complexidade

Orientado aos Dados

First Nat Bank of Philadelphia

Wachovia

Wells Fargo

Crocker National First Union

Norwest

Is owned by

Now known as

Now known as

Now known as Now known as

Core States

Now known as

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 35

MapReduce

No-SQL

Linked Data

Machine Learning

Real-time ingestion

} Maquina de Dados Processamento Grafo

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential 36

Cadeia de Valor dos Dados

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

INTELIGÊNCIA

NECESSIDADE

Informação Dados

Decisões Insights Resultados

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential 37

Compartilhando uma visão…

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

Dados

Open Data

Big Data

Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | Oracle Company Confidential

Impacto de Eventos

Reservatório Dados

Fabrica de Dados

Repositório de Informações

Análise e Insights

Lab. Descoberta

Informação Ativa

Descobertas Continuas

Fluxo de Dados

Investigação

Descoberta

Saídas Descobertas

Eventos & Dados

38

Dados Conhecidos

Novos Dados

Motor Decisão

Investigação

Gestão

Governança e Controle dos Casos

Segurança dos Dados e Casos

Opendata

Inovação Rapida

Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal

Descoberta dos Dados, não modelagem Virando a mesa, e criando inovação!

Aquisição

Aquisição dos dados baseados em parâmetros

investigativos pré-definidos e dinâmicos

Busca

Identificação dos dados mais

relevantes no contexto

investigativo e fácil acesso aos

mesmos

Entendimento

Enquadramento dos dados baseado em sua significância e

valor das informações contidas,

entendimento dos relacionamentos

Ajustes

Ferramentas para higienização e

enriquecimento dos dados de maneira ágil e

dinamica

Análise

Constatações e validações de

hipóteses investigativas e formulação de

novas hipóteses, primeiros resultados

Colaboração

Publicar os casos de investigação a

revisão de outros agentes e analistas,

feedback de procuradores e jurisprudências

Descoberta

Desvelar elementos

ocultos e novos no processo investigativo fomentando

novas fontes e insights

39

Tempo

Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal 40

Big data vivo …. O Hadoop Visual e Fácil

Explore

Transforme Descubra

Encontre