por favor ajustem seus celulares para o modo silencioso. para o modo silencioso. por favor ajustem...

Por favor ajustem seus celularesPor favor ajustem seus celulares

para o modo silencioso.para o modo silencioso.

Por favor ajustem seus celularesPor favor ajustem seus celulares

para o modo silencioso.para o modo silencioso.http://www.stepfordwives.com/html/wallpapers/wp_7_1024.html

Data Warehouse (DW)

Rogério Ribeiro Moura

AgendaAgenda

Mini-Curriculum Em um Futuro Próximo... Definição DW Visão Global DW Sistemas Transacionais x Analíticos Modelo Star-Schema Cubo Fluxo de Informações Data Mining Business Information Warehouse (BW) Visão Global da Metodologia ASAP Bibliografia

Mini-CurriculumMini-Curriculum

ESCOLARIDADE: Pós-Graduação (Lato - Sensu): Fundação Getulio Vargas - FGV (2001 - 2003) - MBA em Tecnologia da Informação Aplicada à Gestão Estratégica de NegóciosPontifícia Universidade Católica - PUC-Rio (1998 - 1999) - Análise, Projeto e Gerência de Sistemas

Graduação: Centro Universitário Carioca (2004) - Bacharel em Ciência da ComputaçãoCentro Universitário Carioca (1994 - 1997)- Tecnólogo em Processamento de Dados

EXPERIÊNCIA PROFISSIONAl:

PETROBRAS – Petróleo Brasileiro S/AAnalista de Sistemas – 4 anos e 5 mesesEMBRATEL – CPQD (Centro de Pesquisa e Desenvolvimento em Telecomunicações).Analista de Sistemas – 1 ano e 4 mesesMedusa Sistema de Automação IndustrialAnalista de Sistemas Trainee – 8 mesesTask Sistemas de Computação Ltda.Analista de Sistemas Trainee – 1 anoSobremetal Recuperação de Metais Ltda. Estagiário de Informática - 1 ano

Em um Futuro Próximo...Em um Futuro Próximo...

Source: The Computer World, July 2000

Obrigado!Obrigado!

Em um Futuro Próximo...Em um Futuro Próximo...Vou verificar o Vou verificar o

histórico de histórico de doações dodoações do

banqueiro … banqueiro …

Oba! O banqueiro deve estar deOba! O banqueiro deve estar debom humor. A doação foibom humor. A doação foi

bem maior do que a dos últimos bem maior do que a dos últimos meses. meses.

Vou enviar ao seu Vou enviar ao seu contador o formulário decontador o formulário de

dedução de impostos.dedução de impostos.

Mas antes vou levantarMas antes vou levantaras doações que ele fez aosas doações que ele fez aosoutros e compara-las com asoutros e compara-las com as que estou recebendo.que estou recebendo.

Ele está doando mais aos Ele está doando mais aos pedintes da próximapedintes da próximaesquina !!!!!!!!! esquina !!!!!!!!!

Meu serviço de Inteligência não está me

enviando asinformações que eu necessito, no tempo

correto, para maximizaras doações recebidas.

Meu serviço de Inteligência não está me

enviando asinformações que eu necessito, no tempo

correto, para maximizaras doações recebidas.

Mas Por Quê ?Mas Por Quê ?

O que eu estou fazendo errado?

Serão as minhas roupas?Não estou sendo gentil o

suficiente?

O que eu estou fazendo errado?

Serão as minhas roupas?Não estou sendo gentil o

suficiente?

Bussiness Intelligence / Data Warehousing – Uma grande mudança cultural com requisitos técnicos

extremamente complexos.

Definição DWDefinição DW

Data Warehouse (DW) é um banco de dados que Data Warehouse (DW) é um banco de dados que armazena informações corporativas de diferentes armazena informações corporativas de diferentes fontes de dados,estruturado para realizar fontes de dados,estruturado para realizar consultas analíticas complexas, adequado à consultas analíticas complexas, adequado à análise de negócios e ao apoio à tomada de análise de negócios e ao apoio à tomada de decisões gerenciais.decisões gerenciais.

“Conjunto de dados orientados para o assunto, integrado, não volátil, variante no tempo, de apoio a decisões gerenciais.”

Bill Inmon

Visão Global DWVisão Global DW

Data Warehouse

Sistemas Operativos (R3 e Legados)

Data MartData Mart

Data MartData Mart

Data MartData Mart

Estruturado por objetivos (áreas de

negócio da companhia)

Visão Bill InmonVisão Bill Inmon

R/3(ERP)

Data MiningBW 2.1C SP9

(data mining)

Corporate Information Factory Aplicações Analíticas(DSS applications)

crm SEM

bic bps bcs cpm srm

scm

Data Warehouse

PSA(persistentstagingarea)

StagingEngine(ETL)

Data Marts

SD MM CO

ODS

Visão Bill InmonVisão Bill Inmon

Data Warehouse para Inmon é apenas um “tabelão” uma flat-table, que pode ser implementada utilizando uma modelagem genérica. A modelagem deste Data Warehouse não tem como objetivo atender à análise, mas somente a retenção das informações para serem extraídas pelos Data Marts, onde a análise ocorre.

Visão Ralph KimballVisão Ralph Kimball

Visão Ralph KimballVisão Ralph Kimball

Data Warehouse para Kimball é toda a arquitetura e não somente o “tabelão”. Para Kimball, Data Warehouse é a união dos Data Marts. O Data Warehouse é modelado com o objetivo de atender à análise multidimensional.

Sistemas Transacionais x AnalíticosSistemas Transacionais x Analíticos

OLTP OLTP (ERP)(ERP)

OnLine Transaction ProcessingOnLine Transaction Processing

OLAP OLAP (DW)(DW)

OnLine Analytical ProcessingOnLine Analytical Processing

Foco: : transacional Dados detalhados Dados correntes Dados dinâmicos Altamente normalizado para

performance Atualização/Inserção/Deleção 1 mês a 1 ano de dados

Foco: análise Dados sumarizados Dados históricos Dados fixos a nível temporal Estruturado para pesquisa e

análise Orientado para consulta 2 a 7 anos de dados

Sistemas Transacionais x AnalíticosSistemas Transacionais x Analíticos

MER - Modelagem Entidade / Relacionamento

• Orientado para otimizar Insert/Update/Delete

• Informação espalhada

• Vários caminhos para obter a mesma informação

Modelagem Star-Schema

Valor LiquidoQtd. LiquidaValor BrutoQtd. Bruta

ID TempoID ClienteID EmpresaID VendedorID Produto

DataAno/MesAno Fiscal

ID Tempo

NomeRegiãoEstado

ID Cliente

NomeGrupoUnid. Negoc.

ID Empresa

NomeSupervisorArea

ID Vendedor

DescriçãoGrupoSubgrupo

ID Produto





ID Tempo

NomeRegiãoEstado

ID Cliente


ID Empresa

NomeSupervisorArea

ID Vendedor


ID Produto

• Conceitos: – Dimensões:

definem o COMO o usuário quer analisar a informação

Modelo Star-SchemaModelo Star-Schema





ID Tempo

NomeRegiãoEstado

ID Cliente


ID Empresa

NomeSupervisorArea

ID Vendedor


ID Produto

• Conceitos:

- Atributos: definem de que modo as

dimensões podem ser analisadas






ID Tempo

NomeRegiãoEstado

ID Cliente


ID Empresa

NomeSupervisorArea

ID Vendedor


ID Produto

• Conceitos: – Key Figures:

definem O QUÊ o usuário quer analisar






ID Tempo

NomeRegiãoEstado

ID Cliente


ID Empresa

NomeSupervisorArea

ID Vendedor


ID Produto

• O cubo é virtualmente produzido através da modelagem Star-Schema

CuboCubo

Clientes

Pro

du

tos

Tempo

Clie

nte

A

Clie

nte

B

Clie

nte

C

Produto X

Produto Y

Produto Z

1998

1999

2000

CuboCubo

Query:

Vendas do

Cliente C

no ano 2000

CuboCubo

Clientes

Pro

du

tos

Tempo

Clie

nte

A

Clie

nte

B

Clie

nte

C

Produto X

Produto Y

Produto Z

1998

1999

2000

Query:

Vendas do

Cliente B

desde 1998

CuboCubo

Clientes

Pro

du

tos

Tempo

Clie

nte

A

Clie

nte

B

Clie

nte

C

Produto X

Produto Y

Produto Z

1998

1999

2000

Query:

Curva ABC de Clientes do produto Y

dos anos 2000

e 1998

CuboCubo

Clientes

Pro

du

tos

Tempo

Clie

nte

A

Clie

nte

B

Clie

nte

C

Produto X

Produto Y

Produto Z

1998

1999

2000

Query:

Vendas de toda empresa desde 1998

Clientes

Pro

du

tos

Tempo

Clie

nte

A

Clie

nte

B

Clie

nte

C

Produto X

Produto Y

Produto Z

1998

1999

2000

CuboCubo

Fluxo de InformaçõesFluxo de Informações

- - - - - - - -- - - - - - - -- - - - - - - -- - - - - - - -- - - - - - - -- - - - - - - -- - - - - - - -- - - - - - - -

Processamento da TransaçãoProcessamento da Transação

OLTP

TransformaçãoTransformação

OLAPInfocubos

Externo

ExtraçãoExtração

AnáliseAnálise

AçãoAção

Definição Data MiningDefinição Data Mining

É o processo de se descobrir conhecimento É o processo de se descobrir conhecimento embutido em um determinado banco de dados.embutido em um determinado banco de dados.

Na realidade data mining é um conjunto de técnicas Na realidade data mining é um conjunto de técnicas que envolvem métodos matemáticos, algoritmos e que envolvem métodos matemáticos, algoritmos e heurísticas para descobrir padrões e regularidades heurísticas para descobrir padrões e regularidades em grandes conjuntos de dados. Estas técnicas em grandes conjuntos de dados. Estas técnicas permitem buscar em uma grande base de dados, permitem buscar em uma grande base de dados, informações que, aparentemente, estão camufladas informações que, aparentemente, estão camufladas ou escondidas, permitindo, com isso, agilidade nas ou escondidas, permitindo, com isso, agilidade nas tomadas de decisões.tomadas de decisões.

Business Information Warehouse (BW)Business Information Warehouse (BW)

O BW é o software de data warehouse da O BW é o software de data warehouse da empresa SAP, cujo ambiente específico, empresa SAP, cujo ambiente específico, separado do ambiente transacional, separado do ambiente transacional, armazena informações que são estruturadasarmazena informações que são estruturadaspara facilitar a consulta e análise, suportando para facilitar a consulta e análise, suportando assim o processo decisório e a gestão da assim o processo decisório e a gestão da empresa. empresa.

SAP R/3SAP R/3

FIFI

COCOAMAM

PSPS

WFWFISIS

MMMM

HRHR

SDSD

PPPP

QMQM

PMPM

Vendas e Distribuição

Materiais, Equipamentos e Serviços

Gestão deProdução

Gestão daQualidade

Gestão deManutenção

RecursosHumanos

Soluçõespara Indústrias

Workflow

Gestão deProjetos

Ativo Fixo

Controladoria

Finanças

Base de DadosIntegrada

BW

Estrutura SAP/R3Estrutura SAP/R3

Arquitetura do BWArquitetura do BW

R/3R/3 Sistemas Sistemas ExternosExternos

Obtem dados de Sistemas R/3 e Obtem dados de Sistemas R/3 e não R/3.não R/3.

BWBW

SD

FI CLIP

BDEMQ

Excel

Web

Sistemas Fonte

Regras de Transferência

Obtem dados de Sistemas R/3 e Obtem dados de Sistemas R/3 e não R/3.não R/3.

Arquitetura do BWArquitetura do BW

生データ生データ

生データDados

Data Warehouse

R/3 e Legados

Data Warehouse para tomada de decisoes e desenvolvimento de novos

negocios

Data Mart estruturado por objetivos

ALERTAALERTA

Relatorio / Analise / Descobrimento

Análise

Exceções

Data Mining

Estrutura de AcessoEstrutura de Acesso

Query

OLAP serverOLAP server

DatabaseDatabase

OLAP Processor

InfoCube

Sistemas Sistemas FontesFontes

Databasestores ...

Microsoft Excel

Business ExplorerBusiness Explorer

Analyzer shows ...

Query View

Intranet

BenefíciosBenefícios

Padroniza ferramentas de acesso e representação de informações corporativas

Fácil uso, ponto único de acesso a todas as informações corporativas

Self-service, relatórios gerenciais e análises em todos os níveis

Ambiente de alta performance alimentado por fontes de dados heterogêneas

Libera a carga sobre os sistemas transacionais

Visão Global da Metodologia ASAPVisão Global da Metodologia ASAP

Preparação do Projeto Preparação

FinalRealização

Go Live &SuporteBusiness

Blueprint(Desenho)

Início do Projeto

Início do Projeto

Fim da Fase 1

Revisão dos Conceitos

Revisão dos Conceitos

Revisão do Desenho

Revisão do Desenho

Após Desenho

Dados

Revisão da ConfiguraçãoRevisão da

Configuração

Durante Ciclo de Configuração

Revisão de PerformanceRevisão de

Performance

Durante Preparação

Final

Prover uma preparação e um planejamento inicial para o projeto SAP BW. Os passos nesta

fase inicial auxiliam na identificação e planejamento das áreas de negócio a serem

consideradas, permitindo a compreensão dos objetivos, escopo e prioridades.

Preparação do Projeto

BusinessBlueprint(Desenho)

Preparação do Projeto

Criar o Desenho do modelo conceitual, modelo lógico e modelo físico, que se trata

de uma documentação detalhada dos resultados obtidos durante a realização dos Workshops de requerimentos dos usuários.

BusinessBlueprint(Desenho)

Realização

Implementar a solução de Business Information Warehouse baseado nas

necessidades levantadas na fase anterior de Business Blueprint. Os objetivos são a implementação final do sistema, o teste global e a liberação do ambiente para

produção.

Realização

PreparaçãoFinal

PreparaçãoFinal

Prover uma verificação final da situação de todos os

produtos gerados. Inclui a conclusão do treinamento do usuário e o estabelecimento

de um Help Desk interno.

Go Live &Suporte

Mover de um ambiente de pré-

produção para uma operação em

produção.

EvoluçãoContínua

Go Live &Suporte

EvoluçãoContínua

Ciclo Típico de um ProjetoCiclo Típico de um Projeto

11 22 33 44

Ciclo de Implementação 1Ciclo de Implementação 1

Contínua Evolução do Ambiente de Informação de Negócio



55

Organização de um ProjetoOrganização de um Projeto

Equipe BW Power Users

Analistas funcionais

do OLTP

Suporte Técnico Analistas Técnicos

do OLTP

Data Architect BW Coordenador Projeto Comitê de Validação

Comitê Executivo

Patrocinador Projeto BW

Coordenador Tecnologia

Sistema Fonte

ExemploExemplo

BibliografiaBibliografia

Livros The Data Warehouse Toolkit: The Complete Guide to Dimensional Modeling, 2nd Edition – Ralph Kimball e Margy Ross

Como Construir o Data Warehouse, Campus – Bill Inomn

Oracle 8i Data Warehouse – Michel Corey

Sistemas de Informação e as Decisões Gerenciais na era da Internet – James O`Brain

Sites http://www.datawarehousing.org http://www.sap.com/ Intelligent Enterprise Magazine - http://www.intelligententerprise.com

PerguntasPerguntas

[email protected]

PERGUNTAS E COMENTÁRIOS

PerguntasPerguntas

OBRIGADO!

por favor ajustem seus celulares para o modo silencioso. para o modo silencioso. por favor ajustem...

Documents