Business Inteligence & AnalyticsVÁ ALÉM DO BI TRADICIONAL ADICIONANDO PODER ANALÍTICO...

MARIANA FONTANEZI

ESTATÍSTICA

Agenda

Apresentação

O Big Data

O ciclo analítico

Técnicas de Data Mining

Técnicas de modelagem preditiva

Ferramentas

Agenda

Apresentação

O Big Data

O ciclo analítico

Técnicas de Data Mining

Técnicas de modelagem preditiva

Ferramentas

Formação:

Graduada em estatística pela ENCE

Pós graduada em Engenharia de Produção pela

UFF

Cerfificada em SAS Predictive Modeller Using SAS

Enterprise Miner 13 pelo SAS

Experiências:

Modelagem preditiva utilizando ferramentas de

mercado como SAS e R.

Técnicas de Data mining, modelagem preditiva e

manipulação de grande massa de dados

Atualmente:

Pré-Sales Consultant - SAS

Mariana

Fontanezi

Agenda

Apresentação

O Big Data

O ciclo analítico

Técnicas de Data Mining

Técnicas de modelagem preditiva

Ferramentas

Grande volume de dados armazenados

O Big Data – O que é?

Big Data

Informações chegando a todo momento

Velocidade Muitas Informações que chegam a todo momento

Volume

Informações dos mais diversos tipos

Variedade

Informações que traduzem a realidade

Informações que conseguem auxiliar na tomada de decisão

Big Data – O que fazer?

O que fazer com essa

enorme massa de dados que

temos? Capturar

Analisar

Apresentar

Coletar as informações necessárias

Analisar os dados, entender o que os números estão dizendo

Tomada de decisão

Apresentar as informações analisadas

Big Data – Curiosidades ...

• 29% da população do mundo usou um site de rede social em 2015.

• Twitter registra 100 milhões de tweets por dia.

• Facebook conta 350 milhões de visitantesúnicos por dia.

• 60 horas de vídeo são transferidos para o YouTube a cada 60 segundos.

• 80% das empresas usam as mídias sociais para o recrutamento

• 47% da população de usuários de internet do Brasil usaram rede social em 2015.

O que aconteceu?

Onde aconteceu?

Porque aconteceu?

O que fazer quando acontecer

novamente?

E se esta tendência continuar?

O que irá acontecer daqui para frente?

Quais seriam nossas melhores opções?

Estratégia e decisão

Fundamentada

Ciência

BI

BA

&

Monitoramento:Disseminando

informações que nós conhecemos

Insight :Adquirindo

conhecimento

Best Case:O que de melhorpodemos obter

O BI Tradicional

Por que isso está

acontecendo?

P

A

S

S

A

D

O

F

U

T

U

R

O

O que aconteceu?

Onde aconteceu?

Porque aconteceu?

O que fazer quando acontecer

novamente?

E se esta tendência continuar?

O que irá acontecer daqui para frente?

Quais seriam nossas melhores opções?

BI

BA

&

Monitoramento:Disseminando

informações que nós conhecemos

Insight - Adquirindo

conhecimento

Best Case –O que de melhorpodemos obter

Analytics

Por que isso está

acontecendo?

P

A

S

S

A

D

O

F

U

T

U

R

O

Agenda

Apresentação

O Big Data

O ciclo analítico

Técnicas de Data Mining

Técnicas de modelagem preditiva

Ferramentas

O ciclo analíticoIdentificar / Formular o problema

Preparar os dados

Explorar os dadoos

Transformar os dados

Construir Modelos

Validar Modelos

Implementar modelos

Monitorar resultados

Exploração dos dados

Visualização dos dados

Criação de relatórios

BUSINESS

ANALYST

Análise exploratória

Análise de segmentação

Modelos Preditivos

DATA MINERPreparação dos dados

Validação do modelo

Implementação do modelo

Monitoramento do modelo

IT SYSTEMS /

MANAGEMENT

Especialista

Toma decisões

BUSINESS

MANAGER

Agenda

Apresentação

O Big Data

O ciclo analítico

Técnicas de Data Mining

Técnicas de modelagem preditiva

Ferramentas

Relembrando ciclo analítico...Identificar / Formular o problema

Preparar os dados

Explorar os dadoos

Transformar os dados

Construir Modelos

Validar Modelos

Implementar modelos

Monitorar resultados

Mineração de dadosIdentificar / Formular o problema

Preparar os dados

Explorar os dadoos

Transformar os dados

Construir Modelos

Validar Modelos

Implementar modelos

Monitorar resultados

Análise exploratória

Análise de segmentação

Modelos Preditivos

DATA MINER

A mineração de

dados foca nos

seguintes

aspectos do

processo

analítico.

O que é

Descobrir informações, padrões, tendências e relações existentes emgrandes quantidades de dados;

Desenvolver modelos para entender e descrever as características eatividades com base nesses padrões;

Ajudar a avaliar as opções e tomar decisões baseadas em fatos edados.

time….

…. Past Future ….

Observed Events Predicted Events

Tipos de análises

Identificar os clientes que possuem

maior probabilidade de se tornarem

inadimplentes;

Risco de Inadimplência

Mineração de dados do comportamento

da fraude, de forma a estabelecer o

padrão dos fenômenos e mitigar riscos,

identificando casos fraudulentos;

Prevenção à fraude

Tipos de análises

Prevenção à fraude

Classificação dos clientes em

função da sua capacidade e

comportamento de consumo;

Segmentação de clientes

Manutenção preditiva

Análise do comportamento histórico

dos ativos para predizer probabilidades

de falhas/ocorrências, indo além da

manutenção reativa e preventiva..

Tipos de análises

Prevenção à fraude

Entendimento do comportamento

de clientes insatisfeitos que

migraram de serviço;

Análise de Churn

Análise da imagem da marca

Mineração textual sobre o que as

pessoas estão dizendo a respeito de

sua marca.

Técnicas

Modelagem descritiva:

Revela semelhanças ou agrupamentos em dados históricos para determinar as razões

por trás do sucesso ou até mesmo do fracasso.

Algumas destas técnicas são:

Clustering:

Realiza agrupamentos automáticos dos dados conforme algum grau de semelhança entre eles

Técnica utilizada também com algorítmos de texto Agrupa textos que falem sobre um mesmo assunto e separa textos diferentes .

Técnicas

Detecção de anomalias:

Identificação de valores discrepantes e comportamentos suspeitos em uma grande massa de dados

• Box Plot

Número de transações recebidas

Volume superior ao esperado.Suspeita de fraude??

Técnicas

Modelagem Preditiva:

A Modelagem preditiva vai mais além para classificar eventos no futuro ou até mesmo

estimar resultados desconhecidos

Modelo de regressão:

Modelos matemáticos que medem relação entre uma variável dependente

e uma série de variáveis independentes.

Relação entre a idade e o peso

Técnicas

Redes neurais:

Técnicas computacionais que detectam

padrões, fazem previsões e adquirem

conhecimento através da experiência.

Árvores de decisão:

Diagramas que permitem representar e avaliar

problemas que envolvem decisões sequenciais.

É um dos modelos mais práticos e mais utilizados

em inferência indutiva.

Agenda

Apresentação

O Big Data

O ciclo analítico

Técnicas de Data Mining

Técnicas de modelagem preditiva

Ferramentas

Relembrando ciclo analítico...Identificar / Formular o problema

Preparar os dados

Explorar os dadoos

Transformar os dados

Construir Modelos

Validar Modelos

Implementar modelos

Monitorar resultados

Modelagem preditivaIdentificar / Formular o problema

Preparar os dados

Explorar os dadoos

Transformar os dados

Construir Modelos

Validar Modelos

Implementar modelos

Monitorar resultados

Análise exploratória

Análise de segmentação

Modelos Preditivos

DATA MINER

A modelagem

preditiva

também foca

nos seguintes

aspectos do

processo

analítico.

O que é?

“Previsão é um elemento chave na tomada de decisão”

Sistema de

Previsão

Planejamento de

Produção

Escalonamento de

Pessoal

Planejamento de

Oportunidades

Controle de

Processo

Planejamento

Financeiro

Gerenciamento de

Estoque

Previsão estatística

“Previsão é um elemento chave na tomada de decisão”

+=Decisão Previsão Erro

Tipos de análises

Prever o qual será a demanda de

cada um dos seus produtos do

próximo dia/mês/ano de forma

otimizar a capacidade do seu

estoque

Planejamento da produção

Prever e acompanhar a receita

da empresa a partir de limites de

controle e alertas

Planejamento financeiro

Tipos de análises

Prever o qual será a

audiência esperada da sua

empresa

Previsão de audiência

Previsão do volume de

chamados de call center

otimizando o número de PA´s

Escalonamento de pessoal

Previsão estatística

Histórico Forecasts

Métodos de séries temporais que

utilizam dados históricos como base

para estimar os resultados futuros

• Prática de prever ao longo do tempo baseando-se em:

• Informações passadas (Histórico dos dados)

• Informações externas (dados do negócio e que possam causar impacto

aos dados analisados)

Técnicas

Modelo de regressão:

Assim como na técnica de mineração de dados, os modelos de regressão também são

utilizados para realizar previsões no tempo.

Modelo de Demanda Intermitente:

Muito utilizado para previsão de estoque de peças de reposição.

Característica: demanda muito baixa, chegando a não existir a requisição das mesmas pormeses.A série de dados possui diversas quebras e um baixo volume.

Técnicas

Modelo SARIMA / ARIMAX:

Modelo muito utilizado para previsão de demanda devido à sua capacidade de considerar

fatores importantes nas séries temporais como: tendência, sazonalidade e variáveis externas.

Proposto por Box e Jenkis

Modelo Auto-regressivo (AR) integrado (I) com médias móveis

(MA) e variáveis externas (X)

• Analisa informações nos instantes anteriores a t (t-s)

• Avalia e considera a existência de tendência e sazonalidade dos dados

• Avalia e considera a existência de variáveis externas que podem impactar o modelo

• Considera a soma algébrica ponderada das médias que se movem no tempo

Técnicas

Modelo Componentes não Observáveis

Modelo que Decompõe a série temporal em:

Tendência + Ciclo + Sazonalidade + erro

Característica: Analisa o comportamento dinâmico de cada componente da variável.

Muitodifundido antes da metodologia proposta por Box e Jenkis.

Modelo Alisamento Exponencial

Grande popularidade devido à simplicidade, eficiência computacional e razoável previsão

Característica: Considera que dados do passado contém informações sobre o padrão da

série.

Objetivo: distinguir o padrão da série de dados do ruído que possa estar contido nas

observações.

Agenda

Apresentação

O Big Data

O ciclo analítico

Técnicas de Data Mining

Técnicas de modelagem preditiva

Ferramentas

Ferramentas

Existem algumas ferramentas free que dão suporte às técnicas estatísticas mais avançadas...

Free SAS® software

http://www.sas.com/en_us/software/university-edition.html

https://cran.r-project.org/

Obrigada

Mariana Fontanezi

marianafontanezi@gmail.com