big data tutorial e aplicaçãoes - ufrgs.br · aplicações fraude no e-commerce ... extraindo...

56
Big Data – Tutorial e Aplicaçãoes O seu mundo é Big Data! Josias Oliveira Executive Director LATAM

Upload: dotuyen

Post on 23-Nov-2018

219 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a

Big Data – Tutorial e Aplicaçãoes

O seu mundo é Big Data!

Josias Oliveira

Executive Director LATAM

Page 2: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a

Apresentação

A história de Big Data

Hadoop – O Elefante

Big Data na atualidade

O futuro de Big Data

Aplicações

Fraude no e-commerce

Inovar no Processo de Pelotização

Estratégias Inteligentes para Venda Direta

Page 3: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a

Apresentação

Page 4: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a

Formação

Bacharelado e Licenciatura em MatemáticaUSP – Universidade de São Paulo

Estatística* – Início em Jan/2003, interrompido em Mar/2004UNICAMP – Universidade Estadual de Campinas

MBA Gestão de Negócios – Início em 2010FIA – Fundação Instituto de Administração (com fim em Jun/2012)

Experiência Profissional

Executive Director LATAMStatSoft South America

Gerente Geral de Modelagem EstatísticaUOL - PagSeguro

Gerente de Administração de Vendas e Inteligência de Mercado

Coordenador de Segmentação de MercadoAVON Cosmetics Inc.

Consultor em Modelagem de FraudeItaú-Unibanco

Consultor Data MinerStatSoft South América

Analista de DadosNEPP/UNICAMP – Núcleo de Estudo de Políticas Públicas da Unicamp

Page 5: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a

A StatSoft é uma empresa especializada em Analytics, Data Mining e Big Dataque está no mercado há 30 anos, em 30 escritórios no mundo e, recentemente,foi incorporada à DELL Group.

Page 6: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a

A nossa missão é transformar a

Cultura Analítica de nossos clientes:

elevando o capital intelectual,

tornando mais eficiente a tomada de

decisão e agregando valor com

produtos e processos mais

inteligentes.

Page 7: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a

Os pilares

para

desenvolver

a Cultura

Analítica

com alto

padrão de

excelência

em nossos

clientes,

são 4.

Coaching

Tecnology

Training

Analytics

Page 8: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a

A História de Big Data

Page 9: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a

1944

1961

1967

1971

1975

1980 2000

20101990

2011Fevereiro 2011

Maio

2012Abril 2012

Maio

Page 10: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a

Hadoop – O Elefante

Page 11: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a

Pontos críticos com a quantidade massiva de dados

Processamento Disponibilidade

Page 12: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a

Uma solução para gestão operacional da computação paralela deve:

Dependência

entre os dadosBalancear a carga e

escalonamentoInterrupção de máquinas

Page 13: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a

Jeffrey

Dean

MapReduce(Fevereiro, 2003)

Google File System(Outubro, 2003)

Simplified Data Processing

on Large Clusters(Dezembro, 2004)

Sanjay

Ghemawat

Page 14: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a

Este é Hadoop!

Doug em evento da Cloudera8 May 2014 - CeBIT Australia

Hadoop Distributed File System - HDFS

Big Data

Page 15: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a

Extraindo “reviews” do website www.carreview.com

Não Estruturados

Estruturados

Exemplo de Aplicação Simples de MapReduce

Page 16: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a

Descobrir padrões de palavras que são comumente usados por

compradores para descrever suas experiências com marcas compradas por

eles.

Quatro Marcas – Mercedes, Lexus, BMW e CarZZ

Nota: Uma das marcas foi renomeada, “CarZZ”, por motivos éticos.

Identificar palavras importantes que claramente discriminem diferenças

entre marcas usando algoritmos de Data Mining.

Identificar a marca que acumulou um número maior de conotações

“negativas”

Page 17: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a

O STATISTICA Text Miner é uma extensão opcional do

STATISTICA Data Miner. Ao tratar com dados de textos não

estruturados, o Text Miner dá significado ao conjunto de dados,

tornando possível a tomada de decisão sob informações

lapidadas pela tecnologia e análise estatística desta solução.

Page 18: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a

As palavras

que

aparecem

próximas

umas das

outras são

relacionadas

em um

espaço

semântico

definido por

sua

ocorrência.

Page 19: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a

Neste gráfico

podemos ver

que os clientes

usam mais

palavras de

conotação

negativa em

“CarZZ” e

“Mercedes

Benz”

comparativame

nte aos outros

dois carros.

Page 20: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a

Big Data na Atualidade

Page 21: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a
Page 22: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a
Page 23: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a
Page 24: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a

O Futuro de Big Data

Page 25: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a

Folha de São Paulo, 27 de Abril de 2014

O caso

Snowden

Edward Joseph Snowden é um analista

de sistemas, ex-funcionário da CIA e ex-

contratado da NSA que tornou público

detalhes de vários programas que

constituem o sistema de vigilância global

da NSA americana

http://www.pewinternet.org/2012/07/20/the-future-of-big-data/

Page 26: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a

Aplicações

Fraude no e-commerce

Page 27: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a

Aut

oriz

ador Negada

Aprovada

Referida

Falcon

Satélite

Bank NET

CA

TC

H

Aprovada

Negada

Referida(FraudCatch)

Leitura: BIN

ICA - 1048

UNIBANCO

Adquirente

VISANET / REDECARD

Sem Conexão

Lista Restritivos

Lista VIP

Regras Padrão

Tra

nsa

ção

Análise e Detecção de Fraude

Autorização

I4

I3

I6

I5

Intercâmbio: Fila de EstornosVI

M4

Executa Estorno

Gera Base I

1 seg

Sco

res High Score

Aut Default

Outros0 a

999

Gera Fila de Suspeitos

200 estornos / dia

Ag

uar

da

Bas

e II

Operador

tem poder

de decisão

Lista Hierárquica de Ações

• Ligar para Cliente

• Enviar Telegrama

• Bloquear Cartão

• Cancelar Cartão

• Reemissão

Sco

res

0 a

99 O operador define a faixa que

deseja trabalhar.

Histórico de Falso/Positivo

Abr –

Mai –

Jun –

10/1

11/1

13/1

Katch

13/1

12/1

12/1

Falcon

Estes valores são totais, porém há o

cálculo de falso/positivo por regra.

Planejamento

Atividades

• Realiza Estudos

• Acompanha Casos

• Análises Simples

• Recebe e envia alertas

• Direciona operador para

acompanhar um PV ou

POC suspeito de fraude

• Analisa maior ocorrência

de fraude por PUC.

Relatórios e Indicadores

• Transações domésticas

por Faixa de Valor e Tipo

de Fraude

• Impacto de regras sobre

clientes

• Falso/Positivo por regra

Consulta Histórico

• Validade

• Trilha

• CVC2, CVM2

• Status Conta

• Status Cartão

• Senha

• Nº do Cartão

• Saldo Disponível

Co

mb

inaç

ão d

e P

arâm

etro

s • BIN

• País

• Moeda

• POS

• R. de Atividade - MCC

• Estabelecimento

• Qt. de Habitualidade

• Habitualidade

• Qt. Transações

• Valor

• MS

LynxVisanet

Banco de

Estornos

I1

I2

Cliente Identifica Irregularidade

e entra em contato.

Relatórios e atividades• Enviar e-mail, com teor gerencial, de

valores consolidados : Percentual,

Quantidade e Total em R$.

• Recuperar Fraude.

• Feedback: Adquirente e Segurança.

• Decidir sobre pedidos de estornos:

Cópia de papeleta com assinatura;

Charge Back para cartão não

presente; BO e documentos do

cliente.

Envia Base II em

até 3 dias para

Bank Net

Disputa de

Intercâmbio

Dev. ao Cliente

Perda

Charge Back

• Estorna em Confiança

• Levanta histórico do cliente

• Aguarda comprovante com assinatura

• Em caso de esquecimento do cliente, a

cobrança é efetuado no mês posterior

• Se a fraude é identificada, o registro

sofre crítica: 1. Guarda no VI ou 2.

segue para Disputa de Intercâmbio

P2

I7

R1

P3

Visão Cliente

Visão Estabelecimento

P1

I1 : Indicador de transações quando não há conexão com Banco;

I2 : Indicadores de transações que chegam no autorizador;

I3 : Indicadores de autorizações: Negadas, Aprovadas e Referidas;

I4 : Indicadores do Catch: Falso-Positivo e outros;

I5 : Indicadores do Falcon: Falso-Positivo e outros;

I6 : Indicadores do Lynx.

I7 : Indicadores de Intercâmbio.

P1 : Procedimentos para estabelecer regras;

P2 : Procedimentos das atividades dos operadores;

P3 : Procedimentos para estorno sob confiança de reclamação do cliente.

R1 : Relatórios consolidados.

• Ii : Indicadores

• Pj : Procedimentos

• Rk : Relatórios

Cliente

Pedido de

Autorização

Po

nto

de

Ven

da

Page 28: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a

Informações

Cadastrais

Nome

Endereço

Identidade

CPF

Nascimento

Nome da Mãe

e-mail

...18

Consulta a Bureau’s

de Crédito

SERASA

Boa Vista

Endereços Antigos

Carros Financiados

Pai e Mãe

Condição Familiar

Educação

...97

Informações de

Pagamento

Nome no Cartão

CPF – Dono do CC

CVV

End de Fatura

Nascimento

Bandeira

Parcelamento

...11

Consulta a Histórico

de Compras

Compras nas últimas

X horas

Produtos comprados

Y compras nas

últimas X horas com

Z cartões distintos

258

Consulta a Histórico

nas Redes Sociais

Comportamento

Palavras Negativas

Relacionamentos

etc

113

Device Finger Print

Device ID

Hash

Histórico

Unicidade

Frequência

Associação44

Page 29: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a

O universo de variáveis observadas para tomar decisão sobre

uma única transação é Big Data. Portanto, soluções triviais não

são satisfatórias no combate à Fraude no e-commerce.

A estrutura desenvolvida

para este tipo

inteligência envolve:

Políticas, Processos,

Procedimentos, Gestão

de KPI’s, Modelagem

avançada e Matriz de

Decisão.

Page 30: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a
Page 31: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a
Page 32: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a

1. Amostragem Balanceada

2. Construção de Base com 5 anos de histórico

Fraudes mais recentes recebem peso maior

Fraudes mais antigas recebem peso menor

3 meses mais recentes foram separados para validação

3. Seleção de variáveis usando Regressão Logística Stepwise

Buscamos um modelos com assertividade maior que 70%

4. Usamos o score do modelo de Regressão para construir Modelo de CHAID

Aplicamos o modelo em meses recentes e avaliamos o resultado

Acompanhamos o tempo de vida do modelo das bases históricas

Incrementamos o modelo com ocorrências recentes a cada mês

Page 33: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a

7,2

Mai 12

5,0

4,5

1,7

Ago 12

3,9

Jul 12Jun 12

5,5

Abr 12

4,3

Mar 12

3,5

Fev 12

2,1

Jan 12

1,6

Dez 11

1,3

Nov 11

1,1

Out 11

Page 34: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a

Aplicações

Inovar no Processo de Pelotização

Page 35: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a

Geoestatística Planejamento de

Mina

Despacho de Mina

Page 36: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a

VIRADOR DE VAGÕES

PILHA DE MINÉRIOS

RECUPERADORA DE FINOS

MOINHO DE BOLASHIDROCICLONES

TANQUE

HOMOGENEIZADOR

ESPESSADOR

REIRCULAÇÃO DE ÁGUA

FILTROS A VÁCUO

POLPA

RETIDA

SILO DE AGLOMERANTE

SILOS DO PELOTAMENTO

DISCOS DE PELOTAMENTO

PELOTAS CRUAS

FORNO DE GRELHA MÓVEL

PENEIRAMENTO

PELOTAS QUEIMADAS

EMPILHADEIRA DE PELOTAS

PÁTIO DE PELOTAS

QUEIMADAS

PELOTAS PARA CAMADA DE FORRAMENTO

FINOS DE PENEIRAMENTO

MISTURADORES

PRENSA DE

ROLOS

EMBARQUE

Page 37: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a

PLANEJAMENTO

PRODUÇÃO

Tipo de pelota

Local de produção (planta)

Período de produção

Mix de minérios

Aditivos

Controle dos lotes de minério recebidos

Controle da formação das pilhas

Controle da adição de aditivos

Composição física e química da pilha

MOAGEM E

CLASSIFICAÇÃO

Taxa de alimentação

Densidade de descarga

Adição de bolas

Pressão nos hidrociclones

Distribuição granulomética e superfície específica do

over size

ESPESSAMENTO

Densidade de polpa

Torque do

espessador

HOMOGENEIZAÇÃO

Nível de polpa dos tanques

Adição de polpa de

antracito Quantidade adicionada

% carbono fixo

FILTRAGEM

Densidade alimentação

Pressão de vácuo

Pressão de sopro

Rotação do filtro

Polpa retida:

Umidade

% carbono fixo

Superfície específica

PELOTAMENTO

Distrib. Granulométrica

das pelotas

% retorno

Pelotas verdes (cruas):

Umidade

N° quedas

Resistência pelota crua

Resistência pelota seca

QUEIMA

Perfil térmico

Velocidade de grelha

Altura camada de fundo

Permeabilidade

Pressão e temperatura

dos gases

Pelotas queimadas:

Distrib. granulométrica

Resistência à compressão

Índice de abrasão

Análise química

Metallurgical properties

FORMAÇÃO DE

PILHAS DE PELOTAS

Controle diário do

produto

Controle das áreas

de estocagem

Identificação dos

produtos estocados

EMBARQUE

Controle da qualidade e

quantidade do produto

Pelota embarcada:

Umidade

Distrib. granulométrica

FORMAÇÃO

PILHA MINÉRIO

Resistência à compressão

Índice de abrasão

Análise química

Metallurgical properties

Page 38: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a

Tree graph for Compressao_med

Num. of non-terminal nodes: 23, Num. of terminal nodes: 24

Model: C&RT

ID=1 N=710

Mu=294,682925

Var: 512,065977

ID=2 N=213

Mu=311,512927

Var: 542,210473

ID=4 N=72

Mu=298,841977

Var: 552,434983

ID=6 N=61

Mu=293,652190

Var: 433,921830

ID=8 N=31

Mu=302,844119

Var: 397,894744

ID=9 N=30

Mu=284,153864

Var: 293,623683

ID=5 N=141

Mu=317,983199

Var: 413,140528

ID=15 N=124

Mu=321,042299

Var: 339,150206

ID=16 N=117

Mu=319,101888

Var: 285,514221

ID=3 N=497

Mu=287,470067

Var: 325,729167

ID=20 N=44

Mu=267,111635

Var: 166,176490

ID=22 N=32

Mu=262,462032

Var: 114,058879

ID=21 N=453

Mu=289,447486

Var: 297,059210

ID=26 N=53

Mu=305,851201

Var: 318,099567

ID=29 N=30

Mu=313,654190

Var: 255,892044

ID=27 N=400

Mu=287,273994

Var: 253,893950

ID=32 N=154

Mu=294,501883

Var: 262,834539

ID=34 N=48

Mu=286,204452

Var: 214,655779

ID=35 N=106

Mu=298,259211

Var: 239,357659

ID=38 N=99

Mu=296,664747

Var: 207,626775

ID=41 N=54

Mu=291,396531

Var: 161,577299

ID=33 N=246

Mu=282,749218

Var: 195,118815

ID=45 N=185

Mu=280,248515

Var: 187,876497

ID=10 N=16

Mu=313,191582

Var=312,872719

ID=11 N=15

Mu=291,806824

Var=252,555031

ID=12 N=17

Mu=276,085884

Var=212,796408

ID=13 N=13

Mu=294,704299

Var=202,888509

ID=7 N=11

Mu=327,621706

Var=232,010815

ID=14 N=17

Mu=295,669768

Var=386,686426

ID=18 N=99

Mu=321,648967

Var=258,727468

ID=19 N=18

Mu=305,092955

Var=200,909275

ID=17 N=7

Mu=353,474873

Var=120,833031

ID=24 N=18

Mu=255,762863

Var=42,964847

ID=25 N=14

Mu=271,075250

Var=73,576560

ID=23 N=12

Mu=279,510575

Var=93,772924

ID=28 N=23

Mu=295,673389

Var=216,234608

ID=30 N=15

Mu=324,913017

Var=178,694754

ID=31 N=15

Mu=302,395362

Var=79,566937

ID=36 N=24

Mu=294,703750

Var=163,997937

ID=37 N=24

Mu=277,705154

Var=120,837490

ID=40 N=45

Mu=302,986606

Var=189,615317

ID=42 N=33

Mu=295,925506

Var=155,680178

ID=43 N=21

Mu=284,279569

Var=87,960515

ID=39 N=7

Mu=320,809487

Var=143,652472

ID=44 N=61

Mu=290,333315

Var=140,599114

ID=46 N=13

Mu=295,019969

Var=195,413450

ID=47 N=172

Mu=279,132068

Var=169,568842

Adicao_CAL_Med

<= 7,636095 > 7,636095

Silica_PQ

<= 2,367279 > 2,367279

Pren_Gran_PP_m0045

<= 92,499999 > 92,499999

Qma_Temp_Grupo_G01

<= 473,598341 > 473,598341

Emp_Carvao_Cinzas

<= 17,996099 > 17,996099

Emp_Carvao_Cinzas

<= 17,969667 > 17,969667

Qma_RotVT_5Q110

<= 550,854063 > 550,854063

Adicao_Bent_Med

<= 1,749371 > 1,749371

Pel_TxAlim_Med

<= 127,710437 > 127,710437

Emp_Carvao_Cinzas

<= 16,030539 > 16,030539

Qma_Pres_Resf_Queima

<= -8,638964 > -8,638964

Silica_PQ

<= 2,333043 > 2,333043

Filt_Carb_Fix_PR_US5

<= 0,979375 > 0,979375

Qma_Temp_Grupo_G05

<= 1248,724974 > 1248,724974

Qma_Temp_Ar_Desc

<= 349,329585 > 349,329585

Basicidade_Bin

<= 1,089080 > 1,089080

Hom_Carvao_Nivel_TQ

<= 49,535481 > 49,535481

Qma_Temp_Grupo_G05

<= 1232,398933 > 1232,398933

Qma_Temp_Grupo_G04

<= 1149,760033 > 1149,760033

Qma_PRES_Ar_Resf

<= 419,175878 > 419,175878

Pren_Gran_PP_m0045

<= 88,178946 > 88,178946

Filt_Prod_Filtragem

<= 574,016412 > 574,016412

Hom_Minerio_Nivel_TQ_5E5B

<= 57,116642 > 57,116642

Page 39: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a

Bar/Column Plot of Importance

Selected predictor spreadsheet 02/03/2011 05:47:16

in Base220_DataMinerRecipe2.stw 2v*94c

0,0 0,2 0,4 0,6 0,8 1,0 1,2

Emp_Carvao_Cinzas (%)

Basicidade_Bin

Moag_Prod_Media (t/h)

Silica_PQ

Pel_Num_Quedas_PelVD_US6

Produtivid_Grelha

Prensa_5PR2 (t/h)

Pel_TxAlim_5P20A

Filt_Prod_Filtragem (t)

Adic_TX_CAL

Qma_Temp_Ar_Asc

Moag_Tot_CMoe_5M5C

Emp_Carvao_Volateis (%)

Hom_Carvao_Densidade

Qma_PRES_5Q8

Pel_Func_Rasp_5P17E

Qma_RotVT_5Q9 (rpm)

Filt_Carb_Fix_PR_US6 (%)

Pel_TxAlim_5P20C

Line Plot of Compressao_med

2008a2010_Geral.sta 355v*17852c

Compressao_med = Distance Weighted Least Squares

Trinca_5_PQ (%) = Distance Weighted Least Squares

1-J

an

-08

5-M

ar-

08

12

-Ma

y-0

8

7-J

ul-0

8

1-S

ep

-08

24

-Oct-

08

29

-De

c-0

8

5-J

un

-09

27

-Ju

l-0

9

19

-Se

p-0

9

21

-No

v-0

9

4-F

eb

-10

18

-Ap

r-1

0

29

-Ju

n-1

0

26

-Au

g-1

0

200

220

240

260

280

300

320

340

360

380

400

Co

mp

ressa

o_

me

d

0

10

20

30

40

50

60

70

80

90

100

Trin

ca

_5

_P

Q (%

)

Compressao_med(L)

Trinca_5_PQ (%)(R)

Graphical Summary for Pel_RotDisc_5P20E (rpm)

0,0

0,8

1,6

2,4

3,2

4,0

4,8

5,6

6,4

7,2

8,0

8,8

9,6

10,4

11,2

12,0

0

1000

2000

3000

4000

5000

6000

7000

8000

9000

10000

-2 -1 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14

Median, Inter-quartile Range & Non-outlier Range

Mean & 95% Confidence Interval

Mean & 95% Prediction Interval

Shapiro-Wilk p: n/a

Mean: 8,026

Std.Dev.: 1,483

Variance: 2,198

Std.Err.Mean 0,0113

Skewness: -1,861

Valid N: 17226

Minimum: 0

Lower Quartile 7,484

Median: 7,826

Upper Quartile 8,410

Maximum: 12,00

95% Confidence for Std Dev

Lower 1,467

Upper 1,498

95% Confidence for Mean

Lower 8,004

Upper 8,048

95% Prediction for Observation

Lower 5,120

Upper 10,93

Projection of the variables on the factor-plane ( 1 x 2)

Active and Supplementary variables

-1,0 -0,5 0,0 0,5 1,0

Factor 1 : 24,90%

-1,0

-0,5

0,0

0,5

1,0

Fa

cto

r 2

: 1

9,6

4%

Emp_Silo_Finos_Nivel_US5_S3

Moag_Prod_MED_Peso (t/h)

Espess_Corr_Espessador_MED

Hom_Carvao_Volateis (%)

Hom_Carvao_Cinzas (%)

Hom_Pos_Distr_Polpa_MED

Filt_Gran_PR_m0045 (%>325#)

Filt_Pres_Sopro_Geral (mBar)

Filt_Prod_Filtragem (t)

Pren_Gran_PP_m0045 (%>325#)

Prensa_MED (t/h)Adicao_Niv_CAL_5A2A (t/h)

Adicao_Niv_CAL_5A2B (t/h)

Pel_Gran_PC_M16_MED

Pel_Num_Quedas_PelVD_MED

Qma_Camada_Forra_med

Qma_Pres_Resf_Queima

Qma_Pres_CxVento_CV18

Qma_RotVT_5Q9 (rpm)

Qma_Temp_Ar_Desc

*Compressao_med

Page 40: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a

Aplicações

Estratégias inteligentes para Venda Direta

Page 41: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a

Onde

ganhamos

mais?

Os líderes estão de olho onde o ganho é maior.

Nenhum líder ousa arriscar sua carreira

com ganhos marginais inferiores a 35%.

Toda decisão tem um alvo: maior recompensa!

Page 42: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a

Princípios elementares de conquista de participaçãode mercado:

Flexibilidade

Inovação

Capacidade de emulação

Diligência por Participação de Mercado

Portanto, há que se dividir todo o potencial e lutar deforma distinta em cada parte.

Page 43: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a

Explorar oportunidades de avançarprodutos de categoria e construir maior

participação de mercado em todo Brasil.

Page 44: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a

Cluster 1 – 189 Municípios Cluster 2 – 757 Municípios

Cluster 3 – 1.981 MunicípiosCluster 4 – 2.624 Municípios

Usamos indicadores sócio-econômicos (renda percapita,

classe social, mercado de varejo, população, densidade

demográfica etc) para construir 4 grupos com os 5.565 municípios

do Brasil.

Page 45: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a
Page 46: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a

189 Municípios (49,3% da População)

52% da população é feminina

322 hab/km2

97% é Urbana

87% é alfabetizada

38,5% é A e B - 45,7% é C - 15,8% é D e E

50,8% do Comércio Varejista

29,8% de Mercado de Catálogo

22,2% de Serviços Gerais

757 Municípios (23,9% da População)

50,6% da população é feminina

20 hab/km2

82% é Urbana

80% é alfabetizada

29,1% é A e B - 51,3% é C - 19,5% é D e E

26,8% do Comércio Varejista

37,7% de Mercado de Catálogo

18% de Serviços Gerais

1.983 Municípios (19,1% da População)

49,6% da população é feminina

10 hab/km2

61,6% é Urbana

71,7% é alfabetizada

21,4% é A e B - 54,9% é C - 23,7% é D e E

16,4% do Comércio Varejista

23,0% de Mercado de Catálogo

17,8% de Serviços Gerais

2.636 Municípios (7,7% da População)

49% da população é feminina

7 hab/km2

51,5% é Urbana

73,1% é alfabetizada

19,8% é A e B - 55,6% é C - 24,6% é D e E

6,1% do Comércio Varejista

9,5% de Mercado de Catálogo

20,1% de Serviços Gerais

G1 G2

G4 G3

Page 47: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a

189 Municípios (49,3% da População)

56,9% de Pedidos

57,7% de Vendas

5,5 de Cobertura média em 2010

24,5% de SOW (R$ 9,5Bi Total)

R$ 4,22 de Venda média por Unidade

39,8 Unidades por Revendedora

5,8 unidades/habitante

757 Municípios (23,9% da População)

24,4% de Pedidos

23,3% de Vendas

7,5 de Cobertura média em 2010

30,2% de SOW (R$ 3,1Bi Total)

R$ 4,00 de Venda média por Unidade

39,3 Unidades por Revendedora

5,1 unidades/habitantes

2.636 Municípios (7,7% da População)

4,5% de Pedidos

4,6% de Vendas

4,3 de Cobertura média

31,1% de SOW (R$ 1,9Bi Total)

R$ 3,69 de Venda média por Unidade

46,1 Unidades por Revendedora

3,4 unidades/habitantes

1.983 Municípios (19,1% da População)

14,4% de Pedidos

14,4% de Vendas

5,6 de Cobertura média

24,0% de SOW (R$ 0,77Bi Total)

R$ 3,87 de Venda média por Unidade

42,7 Unidades por Revendedora

4,0 unidades/habitantes

G1 G2

G4 G3

Page 48: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a

Abaixo da Média

Cobertura

7,29

SOW

23,6%

Abaixo da Média

Cobertura

8,21

SOW

19,4%

Acima da Média

Cobertura

8,73

SOW

33,4%

Abaixo da Média

Cobertura

3,59

SOW

16,5%

Acima da Média

Cobertura

5,08

SOW

36,2%

Acima da Média

Cobertura

7,75

SOW

41,8%

Abaixo da Média

Cobertura

5,88

SOW

45,3%

Abaixo da Média

Cobertura

5,24

SOW

22,0%

Cobertura

8,5

SOW

24,5%

Cobertura

5,6

SOW

31,1%

Cobertura

4,3

SOW

24,0%

G1 G2

G4 G3

Cobertura

7,5

SOW

30,2%

Cores Claras indicam resultados inferiores à média do grupo.

Cores Escuras indicam resultados superiores à média do grupo.

Portanto, municípios com comportamento econômico similar, deveria ter resultados similares no negócio.

Page 49: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a

Participação de Mercado

Page 50: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a

Quantidade de Habitantes para cada Revendedora

Page 51: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a

Média de Vendas por Revendedora

Page 52: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a

Preço Médio por Unidade Vendida

Page 53: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a

Unidades Vendidas por Revendedora

Page 54: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a

Unidades Vendidas

Page 55: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a

Quais municípios aderem às estratégias do

negócio em cada Campanha?

Podemos identificar nossas forças e

fraquezas em cada cidade?

É possível aproveitar as oportunidades sendo

mais flexível nas regras de negócio?

Como combater as ameaças de concorrentes

nas grandes cidades e crescer SOW?

Page 56: Big Data Tutorial e Aplicaçãoes - ufrgs.br · Aplicações Fraude no e-commerce ... Extraindo “reviews” do website Não Estruturados ... Nome da Mãe e-mail... 18 Consulta a

Escreva a sua história conosco também!