O outro lado da moeda nos projetos de Big Data:

Benefícios, mitos e desafios

José Luiz Kugler FGV - EAESP

https://www.youtube.com/watch?v=HNaCf_Fnp6E

1 Como chegamos

até aqui?

Altamente especializado

Caçador imbatível

Forte, ágil e veloz

Generalista

Caçador, extrativista, pescador, agricultor…

Relativamente fraco e lento

Extinto há 13 mil anos

Quase extinto em várias ocasiões,

mas…

criteriosa observação

tentativa e erro…

amplo networking & trocas

tentativa e erro…

uso eficiente de recursos

tentativa e erro…

recombinação de estratégias e recursos

tentativa e erro…

6 Inteligência de Negócios Eduardo de Rezende Francisco – José Luiz Kugler

Sobrevivemos graças a:

2 O ambiente

competitivo atual

8 Inteligência de Negócios Eduardo de Rezende Francisco – José Luiz Kugler

Globalização

Datificação da sociedade

Intensa pressão de custos

Consumidores exigentes e impacientes

Erosão da lealdade

Economia influenciada pelos modelos “free” & “freemium”…

9 Inteligência de Negócios Eduardo de Rezende Francisco – José Luiz Kugler

Ambiente competitivo atual…

3 “Datificação”

Quantos dados

são gerados a cada

minuto?

Fonte: http://cdn.visualnews.com/wp-

content/uploads/2012/06/DOMO-Data-in-One-Minute-600x953.jpg

A datificação da sociedade

Os 5 “Vs” do Big Data

Fonte: Bernard Marr, 2015

dados não intermediados por humanos

forte teor qualitativo, quando gerados

por humanos

múltiplas fontes

múltiplos stakeholders

formato dinâmico e fluido

14 Inteligência de Negócios Eduardo de Rezende Francisco – José Luiz Kugler

Na prática, isto significa:

“Manuseio de bases de dados muito amplas, que

impõem significativas dificuldades logísticas em termos de computação e análise.

Exige a expansão das fronteiras da competência

analítica da empresa, quanto a obter, armazenar e

analisar as informações necessárias para conduzir as

suas operações, reduzir riscos e atender seu mercado

de forma efetiva.”

15 Inteligência de Negócios Eduardo de Rezende Francisco – José Luiz Kugler

Implicações do Big Data

Fonte: Forrester Reseach, 2014

“… expansão … da competência analítica… quanto a…

conduzir as suas operações,

reduzir riscos e

atender seu mercado de forma efetiva.”

16 Inteligência de Negócios Eduardo de Rezende Francisco – José Luiz Kugler

Implicações do Big Data

Fonte: Forrester Reseach, 2014

17 Inteligência de Negócios Eduardo de Rezende Francisco – José Luiz Kugler

Análise do Big Data

Fonte: Bernard Barr, 2015

E o “small data”?

E o “small data”?

4 Portanto, o

segredo está na

análise...

Fonte: TDWI, 2014

Fonte: TDWI, 2014

Dados

A habilidade de organizar e analisar os dados influencia a nossa visão do mundo...

Ação

Análise

Decisão

Dados

A habilidade de organizar e analisar os dados influencia a nossa visão do mundo...

Ação

Análise

Decisão

Perguntas Críticas de Negócio

Mundo real

Data Engineering

Bases de Dados

Análise e Decisão

Ação

Perguntas Críticas de Negócio

Data Engineering

Mundo real

Data Science

Bases de Dados

Análise e Decisão

Ação

Data Science

Perguntas Críticas de Negócio

Data Engineering

Data Science

DE + DS = Business Analytics

Coleta de Dados Data Architecture Data Blending Data Modeling

Modelos Estatísticos Matemáticos Computacionais Visuais

=

5 Alguns

cuidados

O Big Data permite detectar correlações

sutis, que dificilmente seriam percebidas

nos meios tradicionais, mas...

Não diz quais correlações são

significantes... ou seja, quais modelos

são estúpidos ou não!

Mitos do Big Data

Uma enorme parcela do Big Data é

resultante da mentalidade “copy and

pass along...”

28% dos quase 600 milhões de tweets

gerados todo dia são retweets.*

Mitos do Big Data

* Fonte: Dataclism, por Christian Rudder. Fourth Estate, 2014.

O Big Data incentiva a obtenção de

respostas aparentemente “científicas”

para problemas que, na verdade, são

insolúveis.

Projeto Pantheon, do MIT Media Lab:

quais foram os escritores mais

importantes da humanidade?

Mitos do Big Data

1. Homero 2. Shekeaspeare ... 8. Goethe 20. Nostradamus 24. Leo Tolstoi 32. Cervantes 79. J. R. R. Tolkien 117. João Evangelista 136. Paulo Coelho

Boas perguntas

Arquitetura analítica

Competência analítica requer:

Boas ferramentas

Fonte: MIT, The Analytics Mandate, 2014

Devemos dedicar mais tempo e esforço (90%)

na modelagem e análise dos dados, a partir

das questões críticas

A exploração “não direcionada” dos dados

(10%) pode gerar inspirações valiosas, mas

não deve ser a principal estratégia de análise*

Pareto “ampliado”: 90/10

* Não devemos confundir a estratégia com a técnica de análise de

dados; as técnicas não supervisionadas podem gerar excelentes

resultados, em contextos específicos.

6 Tendências

Projetos híbridos, combinando dados

“tradicionais” com “big data”

Basket Analysis e matrizes de afinidade mais

precisas

Os modelos irão, definitivamente, incorporar

componentes e visões que irão bem além dos

“atributos do produto” e da “experiência do

consumidor”

Tendências

Os modelos vão exigir intenso “data

blending”

As etapas de busca, análise e

impacto precisam ser aceleradas

Tendências

Novas modalidades de análise:

Data as a Service (DaaS)

Auto serviço

Terceirização; e

Automação da análise

Tendências

7 Resumo da

Ópera

Organizações inteligentes:

(1) sabem usar as ferramentas analíticas; mas, sobretudo, sabem fazer as perguntas certas;

(2) investem no desenvolvimento de uma arquitetura analítica robusta;

(3) sabem lidar com integração, blending e qualidade dos dados; e

(4) valorizam o raciocínio analítico.