big data, analytics, aplicações, aspectos práticos e o cientista de dados

76
(c) 2014 UWS -- Não Distribuir 1 Big Data Analytics Dan S. Reznik Upper West Soluções 15-Jan-2015

Upload: dan-reznik

Post on 15-Jul-2015

297 views

Category:

Technology


1 download

TRANSCRIPT

(c) 2014 UWS -- Não Distribuir 1

Big Data Analytics

Dan S. ReznikUpper West Soluções

15-Jan-2015

1. Introdução a “big data”

2. Aplicações

3. Aspectos práticos em projetos

4. Cientista de Dados

5. Engajamento do Cliente

(c) 2014 UWS -- Não Distribuir 2

Plano

Big Data

(c) 2014 UWS -- Não Distribuir 3

Big Data

(c) 2013 UWS -- Não Distribuir 4

(milhões de Tb)

Big Data: Projetos Ativos

(c) 2014 UWS -- Não Distribuir 6

Oportunidade por Vertical

(c) 2014 UWS -- Não Distribuir 7

Big Data: valor em potencial

Faci

lidad

e d

e c

aptu

rad

e d

ado

s

Business Intelligence

(c) 2014 UWS -- Não Distribuir 8

Dados Insights Ações

BI vs Big Data

(c) 2014 UWS -- Não Distribuir 9

Do DW para o BD

(c) 2014 UWS -- Não Distribuir 10

Multi-structured

Típos de Analítica

(c) 2014 UWS -- Não Distribuir 11

Aumentar Receita

Diminuir Custos

Gerenciar Riscos

Fontes de ROI

(c) 2014 UWS -- Não Distribuir 12

Dificuldades em consolidar dados

Dados errôneos / não preenchidos

Não há informação suficiente

Há informação demais

Recursos humanos

Problemas com BI

Valor a partir da Integração

(c) 2014 UWS -- Não Distribuir 14

VALOR

Rapidez e Valor

(c) 2014 UWS -- Não Distribuir 15

Silos de dados

Centrismo no Cliente

Integração

Não quero mais trabalho

Não quero que você tenha meus dados

Não quero que você veja os furos com meus dados

(c) 2014 UWS -- Não Distribuir 19

Integração: os 3 “nãos”

Aplicaçõespor Vertical

(c) 2014 UWS -- Não Distribuir 20

Acompanhamento do clickstream, mídias sociais

(Facebook/Twitter) e tradicionais para: Obter visão do comportamento do cliente, preferências,

percepção de produtos.

Avaliar a resposta a campanhas, promoções, em termos de engajamento e ROI.

Identificar “entusiastas da marca” e engajá-los na divulgação de produtos e promoção de mais vendas

Oferecer recomendações relevantes e descontos eficazes.

Otimização de assortment & layout de lojas físicas

Marketing(Varejo, E-Commerce)

(c) 2014 UWS -- Não Distribuir 21

Coleta de sensores em equipamentos/veículos,

para predizer o momento da manutenção ou reparo. Reparo antes do tempo desperdiça dinheiro; reparo tardio acarreta parada custosa.

Mídias Sociais e Chats: detectar problemas e reclamações pós-venda para ativar garantia e evitar má percepção pelos consumidores

Industrial / Manufaturados

(c) 2014 UWS -- Não Distribuir 22

Minerar dados de interação com clientes para

segmentá-los de acordo com nível de risco e pré-disposição ao consumo de certos produto.

Criação de ofertas personalizadas, relevantes, e sofisticadas.

Decidir quais sinistros podem ser aprovados imediatamente e quais necessitam revisão humana.

Monitorar Caixas Eletrônicos para identificar anomalias / fraude

Financeiro / Seguros

(c) 2014 UWS -- Não Distribuir 23

Análise de dados clínicos e exames para

identificar pacientes com probabilidade de readmissão após uma alta. Neste casos o hospital pode intervir, evitando custos.

Análise de trajetórias de vários pacientes/doenças/médicos/exames, a fim de identificar o caminho mais efetivo a ser trilhado (Golden Path)

Análise de histórico de atendimentos/exames para identificação de fraude ou ineficiências.

Saúde & Planos

(c) 2014 UWS -- Não Distribuir 24

Monitoramento e suporte ao SAC: melhoria do

atendimento, identificação e solução rápida

Redução de Churn: análise do uso, perfil do cliente, comportamento digital (canais de marketing e mídias sociais) para entrega de ofertas e descontos, evitando o “churn” e aumentando receita

Monitoramento da rede: identificação de problemas gargalos, planejamento de capacidade, otimização de investimentos em clientes mais lucrativos.

Operadoras / Telecom

(c) 2014 UWS -- Não Distribuir 25

Disponibilização de dados federais, estaduais,

municipais para promover o desenvolvimento de aplicativos visando o bem comum.

Unificação de registros do cidadão para desenvolvimento de políticas públicas e otimização dos serviços, além da redução de burocracia

Estruturação de milhões de processos e laudos de texto em gráficos para gerar economias e identificar fraude

Governo

(c) 2014 UWS -- Não Distribuir 26

Como análise de dados pode ser útil para sua

empresa

Aumento de receita

Diminuição de custos

Diminuição de riscos

Problemas de Preparo de Dados

Qualidade

Dispersão / Acesso

Documentação, Especificação

Exercício

(c) 2014 UWS -- Não Distribuir 27

Exemplos de Projetos

www.upperwestsolucoes.com

(c) 2014 UWS -- Não Distribuir 28

Busca Semântica de Laudos

(c) 2014 UWS -- Não Distribuir 29

Motor de Recomendação

Detecção de Fraude

Integração de Dados do Cidadão

Otimização de Marketing Digital

Mobile

EmailMarketing

Web

Peixe Urbano

Motor de Recomendação

Ofertas do Dia

Demografia ComprasClicks

Exemplo de Recomendação

PorcãoSpa 12 sessõesBalanceamentoÁlbum de fotosSushiArvorismoBúziosEscova Marroquina

Reordenação

userID: 1234Compras: 10* Automotivo: 5* Estética: 3* Gastronomia: 2

BalanceamentoSpa 12 sessõesEscova MarroquinaPorcãoSushiÁlbum de fotosArvorismoBúzios

Mistura de Experts

Expert emdemografia

Expert empreferencias,

ratings, marcas, social networks

Expert emhistórico de

comprasS

w2

w1

w3

Ofertasdo dia

Ofertasordenadas

por relevância

Subjectpersonalizado

Titulopersonalizado

Preview paneatraente

Ofertasordenadaspor relevância

Gazeus Games:Otimização de Marketing

(c) 2014 UWS -- Não Distribuir 34

(c) 2014 UWS -- Não Distribuir 35

Base Integrada do CidadãoSEPLAG-MG

(c) 2014 UWS -- Não Distribuir 36

Vinculação de Registros

(c) 2014 UWS -- Não Distribuir 37

Arquitetura do Sistema

(c) 2014 UWS -- Não Distribuir 38

Assalto a Caixas Eletrônicos

(c) 2014 UWS -- Não Distribuir 39

Localização dos Eventos

Logs

Semi-Estruturado

Estruturado

BancoParalelo

DeteccaoAnomalias

alarmes

ATM

ATM

ATM

(c) 2014 UWS -- Não Distribuir 40

Solução

(c) 2014 UWS -- Não Distribuir 41

Detecção de Anomalias

(c) 2014 UWS -- Não Distribuir 42

Busca Semântica emLaudos de Radiologia

2,5 M de laudos de radiologia

Indexador GUI

Ontologia

(c) 2014 UWS -- Não Distribuir 43

Ontologia de Termos Médicos

(c) 2014 UWS -- Não Distribuir 44

Aspectos Práticosem Projetos

(c) 2014 UWS -- Não Distribuir 45

Ecossistema de Dados

Fluxo de Trabalho

(c) 2014 UWS -- Não Distribuir 48

Pirâmide de Maslow

- Qualidade- Integração- Governança

• 360 Cust. View• Anti-Fraud• Anti Churn

ESTRATÉGIA, ROI+

Maturidade

(c) 2014 UWS -- Não Distribuir 49

Ambiente HeterogêneoProcessos InformaisDados Caóticos

Ambiente IntegradoProcessos controladosDados Coerentes

SimplificaçãoEncurtar tempo de EntregaRedução de Custos

Barreiras

Pouca experiência / competitividade a partir de

dados

Mal qualificadas em profissionais de dados

Pulverização em Silos

Qualidade de dados totalmente não gerenciada

Dados reféns de TI – me tira daqui!

Problemas políticos

Fluxo de trabalho não instituído

Desconhecimento quanto ao processo de maturidade

(c) 2014 UWS -- Não Distribuir 51

Problemas a Serem Combatidos

O Cientista de Dados

(c) 2014 UWS -- Não Distribuir 52

Análise de Dados

Utilizando dados clinicos e operacionais, oferecer

soluções de

Saúde da população

Redesenho de fluxos de trabalho

Mobilidade do hospital para a residência

Experiência do Paciente

Novos modelos de negócio

Equipamento gerenciado

Parcerias publico-privadas

Educação e Treinamento

Oferta de TrabalhoSoluções em Healthcare

(c) 2014 UWS -- Não Distribuir 54

Data warehousing, modelagem “Star Schema” (data

mart), técnicas de visualização, desenho e implantação de dashboards (BI);

SGBDs (Oracle, MS SQL Server, Postgre, etc.), ferramentas de ETL, SQL, OLAP, arquiteturas de Big Data (Hadoop);

Programação orientada a objeto, método ágil, Java, .NET, JSON, HTML5;

Experiência em R, SAS, SPSS, Tableau, Qlikview, Cognos, Microestrategy, Oracle BI;

Qualificações I - Requeridas

(c) 2014 UWS -- Não Distribuir 55

Proficiência em Matemática, Estatística (Correlações),

Mineração de Dados, Analítica Preditiva (baseadaem probabilidade e correlação); Machine learning, Algoritmos de Mineração de Dados (Bayesiano, Clustering, etc.);

Conhecimento profundo de Health Information Exchange (HIE), padrões de interoperabilidade(TISS, openehr, hl7, ihe profiles, DICOM, etc.), classificação clínica (icd 10, snomed ct, loinc, sigtap, TUSS, etc.)

Qualificações II -- Desejadas

(c) 2014 UWS -- Não Distribuir 56

Ciência de Dados

(c) 2014 UWS -- Não Distribuir 57

Cientista de Dados

• Gerente de Projetos• Estatístico• Especialista no Negócio• Arquiteto de Dados• Desenvolvedor de Software

Engajamento do Cliente

(c) 2014 UWS -- Não Distribuir 59

Retenção do Cliente

A jornada do cliente

Retenção tem valor exponencial

4 P’s => SIVA

Produto

Promoção

Preço

Praça

Solução

Informação

Valor

Acesso

Centrar em Produto vs Cliente

(c) 2014 UWS -- Não Distribuir 66

Cliente = Quebra Cabeça

Dados Comportamentais

Dados Psicográficos

Máquina Correlacional

Investimentos vs Vendas

O que conta na tomada de decisão do cliente?

A estratégia de marketing corresponde a expectativa do cliente e/ou as metas do negócio?

Dados do cliente estão potencializados em todos departamentos do negócio?

Quais clientes geram mais lucro? Vendas?

Quais ações estimulam a compra?

Quais mensagens ou promoções causam maior resposta?

Quais compras futuras posso estimular por cliente?

Algumas Perguntas

360 View: Geradores de Valor

Melhorar interações c/ cliente

Dar poder a quem lida diretamente c/

cliente

Potencializar dados e conhecimentos já

existentes

Criar interações relevantes e lucrativas

Melhorar a análise de

dados

Viabilizar o uso de informações de

várias fontes

Criar visão holística do cliente

Melhorar self-servicedo cliente

Dar poder a clientes para potencializar

seus dados

Gerar recomendações e a “’melhor próxima

ação”

Diminuir custos de interação enquanto fideliza-se o cliente

(c) 2014 UWS -- Não Distribuir 76

Obrigado!

Dan S. Reznik

[email protected]