OLAP – Motivação e conceitos

Aroldo Pereira Vieira

PUC-PR / 2001

• Informação certaInformação certa• Formato certoFormato certo• Na hora certaNa hora certa

Gerentes de Gerentes de

InformáticaInformática

Tomadores de Tomadores de Decisão de Decisão de NegóciosNegócios

Cu

stoC

usto

• IntegraçãoIntegração• Escalabilidade &Escalabilidade &

Performance Performance • FlexibilidadeFlexibilidade

Val

or

Val

or

Desafio do Negócio

Business Inteligence permite atingir os objetivos acimaBusiness Inteligence permite atingir os objetivos acima

O que é Business Intelligence?

Conjunto de tecnologias que permitem o cruzamento de informações e suportam a análise dos indicadores de performance de um negócio

Principal ferramenta de suporte a tomada de decisão

Crucial para o bom gerenciamento de uma empresa na Era Digital

Por que investir em BI?

Fidelização do Cliente

Otimização de alocação de recursos

Aumentar vendas diretas ao consumidor

Melhorar produtos e serviços

Outros motivos

Planejar orçamento Análise e modelagem financeira Análise de mercado Análise de defeitos Planejamento de capacidade ...

Motivação

“Nós temos montanhas de dados nesta empresa mas não temos acesso aos mesmos”

“Nós queremos cruzar informações de todas as maneiras possíveis”

“Apenas me mostre o que é importante”

“The Data Warehouse Toolkit” - Ralph Kimball

““Um Um processoprocesso de transformação de transformação de dados em informações e de dados em informações e tornando-as disponíveis aos tornando-as disponíveis aos usuários em tempo hábil de usuários em tempo hábil de forma que possam fazer forma que possam fazer diferença.”diferença.”

ForresterForrester

Motivação

Quais as ferramentas?

Data Warehousing Ferramentas OLAP Data Mining

Cria-seCria-se

Base de acesso ao resultado do negócio

Ambientes de Informações

Conceitos

Ambiente OLTP: operacional leitura/escrita acesso atômico escopo específico da aplicação dados normalizados detalhe dos dados - transação

Conceitos

Ambiente DATAWAREHOUSE histórico leitura consultas (listas) escopo vários assuntos normalizados/desnormalizados detalhe dos dados - limpos

Conceitos

Ambiente OLAP analítica leitura/escrita iterativo/investigação analítica muitos cubos (um cubo/assunto) multidimensional detalhe dos dados - agregados

OLAP

Conceitos

“OLAP permite a analistas, gerentes e executivos sintetizar informações sobre

a empresa através de comparações, visões personalizadas, análise histórica

e projeção dos dados em vários cenários.”

Conceitos

“Um servidor OLAP é um mecanismo de manipulação de dados de alta

capacidade, multi-usuário, destinado a suportar e operar sobre estruturas de

dados multidimensionais.”

Características OLAP

Tecnologia voltada para consultas

Dados não sofrem alterações

Dados e consultas são gerenciais

Visão multidimensional dos dados

Cálculos complexos

Séries de tempo

Estrutura Multidimensional

Medidas

ECCECC POUPANÇAPOUPANÇADEP.A VISTADEP.A VISTA

DEODORODEODORO

MURICYMURICY

TEMPO

TEMPO

JAN97JAN97

FEV97FEV97MAR97MAR97

PRODUTOPRODUTO

UN

IDA

DE

NE

GÓ

CIO

UN

IDA

DE

NE

GÓ

CIO

5782,005782,00 6739,006739,00 4434,004434,00

6365,006365,00 6744,006744,00 3400,003400,00

Dimensões

Visão Multidimensional

Gerente Regional

Gerente de Produto Visão Ad hoc

Gerente Financeiro

TEMPO

TEMPO

PRODUTOPRODUTO

VariáveisVariáveis

TEMPO

TEMPO

PRODUTO

UN

ID. N

EG

ÓC

IOU

NID

. NE

GÓ

CIO UN

ID. N

EG

.U

NID

. NE

G.

TempoTempo1 1 22 3 3 4 4 776 6 5 5

Pro

du

toP

rod

uto

Unid

Neg

Unid

Neg Produto Produto Unid Neg Unid Neg Tempo Tempo

Carteira Banco AnoCarteira Banco Ano

Modalidade Agência Quadr. Modalidade Agência Quadr.

Produto Produto Gerência Gerência Mês Mês

DiaDia33 33 44XX XX = 36= 36

OLAP é Multidimensional

“Captamos R$100.000,00. Isso é bom?”

Conceitos Básicos

Hierarquias Fatos Dimensões Medidas Drill down Drill up Slice and dice

Hierarquias

ANOANO

MESMES

DIADIA

PERÍODO

ANO

JANEIRO JULHOJULHO

251501 02

MANHA TARDE

Fatos

Venda do produto X por R$50,00 em 20-mai-98 na loja A, com custo de R$35,00

Venda do produto Y por R$60,00 em 21-mai-98 na loja B, com custo de R$40,00

Venda do produto X por R$50,00 em 21-mai-98 na loja A, com custo de R$35,00

etc.

Dimensões

Venda do produto X por R$50,00 em 20-mai-98 na loja A, com custo de R$35,00

Dimensões:– Produto– Data– Loja

Medidas

Venda do produto X por R$50,00 em 20-mai-98 na loja A, com custo de R$35,00

Medidas:– Preço de venda– Custo de aquisição da mercadoria

Drill down

Mergulhos ou detalhamentos das informações

Drill up

Elevar o nível do detalhamento Sumariar por alguma(s) dimensão

Slice and dice

Particionar uma visão multidimensional Efetua filtragem dos dados, para

especializar as consultas

MOLAP x ROLAP x HOLAP

Arquitetura

MOLAP x ROLAP x HOLAP

MOLAP - Multi-Dimensional OLAP

ROLAP - Relational OLAP

HOLAP - Hybrid OLAP

DATABASESERVER

MOLAPSERVER

LOAD FRONT-ENDTOOL

INFOREQUEST

0

20

40

60

80

100

1° Trim. 2° Trim. 3° Trim. 4° Trim.

Leste

Oeste

Norte

RESULTSET

SQL

RESULTSET

MetadataRequest

ProcessingRDBMS

MOLAP x ROLAP x HOLAPArquitetura MOLAP

DATABASESERVER

ROLAPSERVER

SQL FRONT-ENDTOOL

INFOREQUEST

0

20

40

60

80

100

1° Trim. 2° Trim. 3° Trim. 4° Trim.

Leste

Oeste

Norte

RESULTSET

MetadataRequest

Processing

RESULTSET

RDBMS

MOLAP x ROLAP x HOLAPArquitetura ROLAP

DATABASESERVER

MOLAPSERVER

LOAD

FRONT-ENDTOOL

INFOREQUEST

0

20

40

60

80

100

1° Trim. 2° Trim. 3° Trim. 4° Trim.

Leste

Oeste

Norte

RESULTSET

SQL

RESULTSET

RESULT SET

SQL QUERY

OR

RDBMS

MOLAP x ROLAP x HOLAPArquitetura HOLAP

Processo de carga DW / OLAP

O processo de Carga do Data Warehouse

SistemasSistemas OLTP OLTP

Data martsData marts

Meta dataMeta dataMeta dataMeta data

Administração e monitorção do SistemaAdministração e monitorção do SistemaAdministração e monitorção do SistemaAdministração e monitorção do Sistema

ProjetoProjeto MapearMapear

ExtrairExtrair LimparLimpar Transf.Transf.

CargaCarga IndexarIndexar AgregarAgregar

ReplicarReplicar Distribuição dos Distribuição dos

DadosDados

Acesso e análiseAcesso e análise Utilização estratégica das Utilização estratégica das

InformaçõesInformações

DataDatawarehousewarehouse

OL

TP

ODS

STAR + AGR

MDDB

Características dos DadosCaracterísticas dos DadosMáx. detalhePouco/ nenhum histórico

IntegradoSelecionadoHistóricoSumários

FocadoEspecializadoHistóricoSumários

Área intermediária (sim ou não?)

R H

Faturamento

Produção

Fat x Func

Prod x Fat

Visão Global

Área intermediária (sim ou não?)

R H

Faturamento

Produção

Fat x Func

Prod x Fat

Visão Global

ODS

Modelagem de dados

Modelagem de dados

Modelos relacionais normalizados – (OLTP e ODS )

Modelos Snow Flakes– Visões ajustadas para o enfoque desejado

Modelos Star Schema– (Desnormalizado)

Modelos Multidimensionais– Cubos – Visa performance

Modelo Snow Flake

Modelo Star Schema

Para refletir . . .

Qual banco de dados deve ser utilizado? É possível ter um DW de pequeno porte? Qual ferramenta OLAP deve ser utilizada? Por que normalmente o DW é isolado do

servidor de OLTP?