data warehouse 01 introdução
Post on 05-Jun-2015
3.286 Views
Preview:
DESCRIPTION
TRANSCRIPT
Prof. Rafael Pinheiro – rpinheiro2@gmail.com
DATA WAREHOUSE
OLTP
OLAP
ETL
/ ET
C
Datamining
Data Mart
“Eu presto atenção no que eles dizem mas eles não dizem nada”
Humberto Gessinger
Data Warehouse
DWCubo de decisão
Dashboard
Prof. Rafael Pinheiro – rpinheiro2@gmail.com
DATA WAREHOUSE
Dado x Informação x Conhecimento x Sabedoria
O dado é um pingo de água.
Você está andando e sente um pingo, Você está andando e sente um pingo,
um segundo pingo, um terceiro pingo.
Aquilo não significa que é uma chuva,
pode ser um ar condicionado, pingando num dia de calor.
Prof. Rafael Pinheiro – rpinheiro2@gmail.com
DATA WAREHOUSE
Dado x Informação x Conhecimento x Sabedoria
No momento em que você olha para o céu e
repara que existem nuvens e
que começa ver os primeirosque começa ver os primeiros
raios e sentir mais pingos,
complementa aquele conjunto de dados e
chega a uma informação: vai chover!
Prof. Rafael Pinheiro – rpinheiro2@gmail.com
DATA WAREHOUSE
Dado x Informação x Conhecimento x Sabedoria
O conhecimento é quando você percebe
que com a chuva você vai se molhar e que com a chuva você vai se molhar e
não poderá ir a um compromisso ou poderá ficar resfriado.
Então, isso é um conhecimento.
Prof. Rafael Pinheiro – rpinheiro2@gmail.com
DATA WAREHOUSE
Dado x Informação x Conhecimento x Sabedoria
A sabedoria é o que vai fazer com tudo isso.
Se você vai continuar andando no meio da chuva e Se você vai continuar andando no meio da chuva e
se molhar todo, ou vai se proteger em um abrigo e
deixar a chuva passar.
Prof. Rafael Pinheiro – rpinheiro2@gmail.com
DATA WAREHOUSE
Dado x Informação x Conhecimento x Sabedoria
Dado: Conjunto símbolos e sinais
Informação: É a interpretação de um conjunto de
dados
Conhecimento: Modelo da realidade, construído
através da experiência, aprendizado e
comunicação
Sabedoria: Meta-conhecimento, ou seja, um conhecimento sobre o próprio conhecimento.
Prof. Rafael Pinheiro – rpinheiro2@gmail.com
DATA WAREHOUSE
Dado x Informação x Conhecimento x Sabedoria
Dado: Sinal verde; Motoqueiro aproximando
Informação: Sinal verde posso passar; Motoqueiro tem que parar
Conhecimento: Motoqueiros apressados costumam não parar
Sabedoria: É melhor esperar o motoqueiro parar ou passar para depois eu atravessar
Prof. Rafael Pinheiro – rpinheiro2@gmail.com
DATA WAREHOUSE
¿ E no mundo computacional ?
• Geralmente nossos dados estão em sistemas, banco de dados, planilhas, arquivos, etc.
• Mais comum: banco de dados relacional
Prof. Rafael Pinheiro – rpinheiro2@gmail.com
DATA WAREHOUSE
¿ Onde estão meus dados ?
Prof. Rafael Pinheiro – rpinheiro2@gmail.com
DATA WAREHOUSE
OLTP – Online Transaction Processing(Processamento de transações Online)
• Sistemas que registram transações operacionais:
�ERP�ERP
�Sistema bancário
�Sistema de vendas,
�Gestão hospitalar
�Gestão acadêmica
�Controle de serviços
Prof. Rafael Pinheiro – rpinheiro2@gmail.com
DATA WAREHOUSE
Modelagem Entidade-Relacionamento(OLTP x ME-R)
• Modelo de abstração para descrever a organização dos dados em um Sistema de InformaçãoInformação
�Entidade
�Relacionamento
�Normalização (3NF)
�Integridade
�Banco de Dados Relacional
Prof. Rafael Pinheiro – rpinheiro2@gmail.com
DATA WAREHOUSE
Diagrama Entidade Relacioanmento
Prof. Rafael Pinheiro – rpinheiro2@gmail.com
DATA WAREHOUSE
Diagrama Entidade Relacioanmento
R/3: R/3: 14.000 tabelas
Linha RM:5.000 tabelas
Prof. Rafael Pinheiro – rpinheiro2@gmail.com
DATA WAREHOUSE
¿ Consigo produzir informações ?
• Relatórios
• Consultas SQL
– Inner Join– Inner Join
– Left Join
– UNION
– IN, LIKE
– SubConsulta
– AVG, SUM, MAX, MIN
Prof. Rafael Pinheiro – rpinheiro2@gmail.com
DATA WAREHOUSE
¿ E a velocidade do mundo atual ?
Prof. Rafael Pinheiro – rpinheiro2@gmail.com
DATA WAREHOUSE
É preciso agilidade, facilidade, flexibilidadeBusiness Intelligence
• Forma gráfica, fácil compreensão e interpretação, fácil navegação
• Cubo de decisão
– Uma informação vista de vários ângulos
• Gráficos de sinalização
– Semáforo, Gauge (velocímetro), Pizza
Prof. Rafael Pinheiro – rpinheiro2@gmail.com
DATA WAREHOUSE
OLAP – Online Analytical Processing(Processamento Analítico Online)
• Possibilidade de manipular e analisar uma grande quantidade de dados por várias perspectivasde dados por várias perspectivas
�Fácil análise
�Drill down
�Drill up
Prof. Rafael Pinheiro – rpinheiro2@gmail.com
DATA WAREHOUSE
É preciso agilidade, facilidade, flexibilidadeDashboard/Cockpit
Prof. Rafael Pinheiro – rpinheiro2@gmail.com
DATA WAREHOUSE
É preciso agilidade, facilidade, flexibilidadeDashboard/Cockpit
Prof. Rafael Pinheiro – rpinheiro2@gmail.com
DATA WAREHOUSE
É preciso agilidade, facilidade, flexibilidadeBusiness Intelligence
Prof. Rafael Pinheiro – rpinheiro2@gmail.com
DATA WAREHOUSE
É preciso agilidade, facilidade, flexibilidadeTomada de decisão
Prof. Rafael Pinheiro – rpinheiro2@gmail.com
DATA WAREHOUSE
É preciso agilidade, facilidade, flexibilidadeTomada de decisão
Prof. Rafael Pinheiro – rpinheiro2@gmail.com
DATA WAREHOUSE
¿ De onde buscar esses dados ?
• Banco de dados relacional?
�Consultas complexas
�Tratamento dos dados�Tratamento dos dados
�Compromete a performance OLAP e OLTP
�Pode ter dados que não estão no BD OLTP
Prof. Rafael Pinheiro – rpinheiro2@gmail.com
DATA WAREHOUSE
Data Warehouse
• Armazém (repositório) de dados (Base de dados relacional)
• Dados/informações consolidadas• Dados/informações consolidadas
• Grande quantidade de dados
• Dados não mudam (exceto na carga)
• Modelagem que favorece o desempenho de consultas
Prof. Rafael Pinheiro – rpinheiro2@gmail.com
DATA WAREHOUSE
Modelagem DimensionalOLAP X MD
• Modelo de dados voltado para performance de leitura (recuperação da informação)
• Não serão efetuados processos operacionais
• Não precisam estar Normalizados
Prof. Rafael Pinheiro – rpinheiro2@gmail.com
DATA WAREHOUSE
Modelagem Dimensional
• Dois pilares:
�Fatos
�Dimensões�Dimensões
• Dois tipos:
�Estrela
�Floco de neve
Prof. Rafael Pinheiro – rpinheiro2@gmail.com
DATA WAREHOUSE
Modelagem Dimensional
• Fato: É a tabela (ou entidade) mais importante do negócio é nela que estão todas as métricas que se pretende analisar:as métricas que se pretende analisar:
– Vendas
– Consultas
– Notas
– Pagamentos
– Empréstimos
Prof. Rafael Pinheiro – rpinheiro2@gmail.com
DATA WAREHOUSE
Modelagem Dimensional
• Métricas: São os valores que queremos analisar.
– Vendas: Quantidade, Valor– Vendas: Quantidade, Valor
– Consultas: Quantidade, tempo de espera
– Notas: Valor, média
– Pagamentos: Quantidade, valor monetário
– Empréstimos: Quantidade, valor monetário, quantidade de parcelas
Prof. Rafael Pinheiro – rpinheiro2@gmail.com
DATA WAREHOUSE
Modelagem Dimensional
• Dimensões: São os pontos de vista (visão de análise) das métricas de um fato
– Vendas: Produto, loja, data– Vendas: Produto, loja, data
– Consultas: Especialidade, plano, faixa etária
– Notas: Disciplina, bimestre, curso
– Pagamentos: Fornecedor, data, tipo de gasto
– Empréstimos: Tipo de cliente, motivo, classe econômica, grau de instrução
Prof. Rafael Pinheiro – rpinheiro2@gmail.com
DATA WAREHOUSE
Modelagem Dimensional
Prof. Rafael Pinheiro – rpinheiro2@gmail.com
DATA WAREHOUSE
Modelagem Dimensional
• Fato é a tabela principal
• Dimensão são tabelas que se relacionam com • Dimensão são tabelas que se relacionam com a tabela fato (entidade relacionamento)
Prof. Rafael Pinheiro – rpinheiro2@gmail.com
DATA WAREHOUSE
Modelagem Dimensional(Estrela - Star)
Prof. Rafael Pinheiro – rpinheiro2@gmail.com
DATA WAREHOUSE
Modelagem Dimensional(Floco de neve – Snowflake)
Prof. Rafael Pinheiro – rpinheiro2@gmail.com
DATA WAREHOUSE
Data Warehouse
• ¿ Então um Data Warehouse nada mais é que um Banco de Dados ?
Resposta: Sim. Mas com uma diferença, ele é modelado para ter uma excelente performance de consulta e contém dados consolidados de várias fontes.
Prof. Rafael Pinheiro – rpinheiro2@gmail.com
DATA WAREHOUSE
¿ E o que é Data Mart ?
• É um subconjunto de dados dentro do Data Warehouse voltado para uma finalidade específica: Vendas, Financeiro, Contábil, RH, específica: Vendas, Financeiro, Contábil, RH, Acadêmico
Prof. Rafael Pinheiro – rpinheiro2@gmail.com
DATA WAREHOUSE
Prof. Rafael Pinheiro – rpinheiro2@gmail.com
DATA WAREHOUSE
Prof. Rafael Pinheiro – rpinheiro2@gmail.com
DATA WAREHOUSE
ETL – Extract Transform and Load(ETC – Extração Transformação e Carga)
• É a fase de extração de dados de diversos sistemas, transformação desses dados conforme regras de negócios e por fim a carga dos dados em um Data Mart ou um Data Warehouse. Warehouse.
• É considerada uma das fases mais críticas do Data Warehouse e/ou Data Mart.
• Alguns consideram que ETL não são ferramentas e sim uma metodologia
Prof. Rafael Pinheiro – rpinheiro2@gmail.com
DATA WAREHOUSE
ETL – Extract Transform and Load
Prof. Rafael Pinheiro – rpinheiro2@gmail.com
DATA WAREHOUSE
¿ Afinal, o que é BI ?(Business Intelligence)
• É todo o processo de coleta, organização, análise, compartilhamento e monitoramento de informações que oferecem suporte a de informações que oferecem suporte a gestão de negócios.
Prof. Rafael Pinheiro – rpinheiro2@gmail.com
DATA WAREHOUSE
Business Intelligence
Prof. Rafael Pinheiro – rpinheiro2@gmail.com
DATA WAREHOUSE
Business Intelligence
Prof. Rafael Pinheiro – rpinheiro2@gmail.com
DATA WAREHOUSE
O caso da Fralda e da Cerveja• Conta uma lenda urbana, que uma loja
descobriu que a maioria das vendas de fraldas que ocorriam de quinta a domingo, eram acompanhadas da compra de cervejas
• Os donos, então, colocaram as cervejas perto das fraldas e as vendas dispararam
Prof. Rafael Pinheiro – rpinheiro2@gmail.com
DATA WAREHOUSE
O caso da Fralda e da CervejaDado
Informação (Padrão de comportamento)
Conhecimento
Sabedoria
Prof. Rafael Pinheiro – rpinheiro2@gmail.com
DATA WAREHOUSE
Ops... tenho um tesouro nas mãos
Prof. Rafael Pinheiro – rpinheiro2@gmail.com
DATA WAREHOUSE
¿ Posso procurar padrões de comportamento ?
Prof. Rafael Pinheiro – rpinheiro2@gmail.com
DATA WAREHOUSE
Data Mining(Mineração de Dados)
Prof. Rafael Pinheiro – rpinheiro2@gmail.com
DATA WAREHOUSE
Data Mining(Mineração de Dados)
• Data Mining ou Mineração de Dados consiste em um processo analítico projetado para explorar grandes quantidades de dados (tipicamente relacionados a negócios, mercado ou pesquisas científicas), na busca de padrões mercado ou pesquisas científicas), na busca de padrões consistentes e/ou relacionamentos sistemáticos entre variáveis e, então, validá-los aplicando os padrões detectados a novos subconjuntos de dados.
• O processo consiste basicamente em 3 etapas: exploração; construção de modelo ou definição do padrão; e validação/verificação.
Prof. Rafael Pinheiro – rpinheiro2@gmail.com
DATA WAREHOUSE
• Data Mining é parte de um processo maior de conhecimento denominado Knowledge Discovery in Database (KDD).
Data Mining(Mineração de Dados)
• KDD consiste, fundamentalmente, na estruturação do banco de dados; na seleção, preparação e pré-processamento dos dados; na transformação, adequação e redução da dimensionalidade dos dados; no processo de Data Mining; e nas análises, assimilações, interpretações e uso do conhecimento extraído do banco de dados, através do processo de Data Mining.
Prof. Rafael Pinheiro – rpinheiro2@gmail.com
DATA WAREHOUSE
Modelagem Entidade-RelacionamentoOLTP
Modelagem DimensionalOLAP
Data WarehouseDW
Dado x Informação x Conhecimento x Sabedoria
Cubo de decisão
ETL / ETC Extract Tranform and Load
Cockpit
Data Mart
“Nem tão longe que eu não possa crer, que um dia chego lá...”
Humberto Gessinger
Dashboard
Cockpit
Datamining
Prof. Rafael Pinheiro – rpinheiro2@gmail.com
DATA WAREHOUSE
¿Dúvidas?
@_rpinheiro
www.facebook.com/rpinheiro2
www.linkedin.com/pub/rafael-pinheiro/24/31/b47
rpinheiro2@gmail.com
top related