curso bi parte1

56
Implementando Business Intelligence com o Microsoft SQL Server 2005 Eduardo Sá dos Reis e Felipe La RoccaTeixeira

Upload: dessamarkito

Post on 30-Jun-2015

218 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Curso BI parte1

Implementando Business Intelligence com o Microsoft SQL Server 2005

Eduardo Sá dos Reis e Felipe La RoccaTeixeira

Page 2: Curso BI parte1

Objetivos

Fornecer uma visão sobre os conceitos envolvidos na tecnologia de Business Intelligence.

O que é Business Intelligence? Porque utilizar uma solucão de BI? Como identificar a necessidade de uma solução de BI Sistemas OLTP x OLAP Data Warehouse e Data Mart Processo ETL Modelagem Multidimensional Surrogate Key Metadados

Page 3: Curso BI parte1

O que é Business Intelligence?

“Descreve as habilidades das corporações para acessar dados e explorar as informações, analisando-as e desenvolvendo percepções e entendimentos a seu respeito, o que as permite incrementar e tornar mais pautada em informações a tomada de decisão”

Wikepedia

Page 4: Curso BI parte1

É um conjunto de ferramentas e metodologias para gestão do negócio que tem como objetivo final auxiliar os responsáveis pela tomada de decisões através da análise das informações internas e externas à empresa.

O que é Business Intelligence?

Page 5: Curso BI parte1

O que é Business Intelligence?

• BI é também conhecido como Inteligência dos Negócios ou Inteligência Empresarial

• O termo Business Intelligence foi criado pelo Gartner Group em 1992

Page 6: Curso BI parte1

O que é Business Intelligence?

Business Intelligence é a transformação de dados em informações úteis para tomada de decisão sobre os negócios.

Resumindo

Page 7: Curso BI parte1

Como identificar a necessidade de uma solução de BI

• Quando possuir diversas fontes de dados

• Dificuldades de acesso as informações

• Informações centralizadas em pessoas

• Grande número de produtos, clientes, fornecedores

• Grande volume de dados

• Necessidade de acesso as informações históricas

• Difícil acesso aos relatórios gerenciais

• Muitos dados e poucas informações

Page 8: Curso BI parte1

Porque utilizar uma Solução de BI ?

• Agilidade no processo de tomada de decisões.

• Compartilhamento da informação com toda a organização

• Aumento da competitividade e melhoria nos resultados.

• Incremento na qualidade do planejamento operacional e estratégico

• Eliminação da obtenção e processamento da mesma informação em duplicidade.

Page 9: Curso BI parte1

Quem utiliza um sistema de BI ?

Nível estratégico

Nívelde conhecimentos

Níveladministrativo

Níveloperacional

BusinessIntelligence

SistemasOLTP

Page 10: Curso BI parte1

Componentes de BI

O BI é composto de um conjunto de processos, conceitos e tecnologias

DATA WAREHOUSE

DATA MART DATA MINING

OLAP ETL

MODELAGEM MULTIDIMENSIONAL

Page 11: Curso BI parte1

SISTEMAS OLTP

X

SISTEMAS OLAP

Page 12: Curso BI parte1

OLTP

OLTP é a sigla em inglês para Online Transaction Processing, ou Processamento de Transações em tempo real.

Um sistema OLTP é um sistema que captura as transações de um negócio e as mantém em estruturas relacionais em um banco de dados

Como exemplo de sistemas OLTP temos: Faturamento, Controle de Estoque, Folha de Pagamento, Comércio Eletrônico, etc.

Page 13: Curso BI parte1

Principais características de uma sistema OLTP:

• Responsável pelas operações de manutenção dos dados: inclusão, alteração e exclusão.

• As transações são realizadas em tempo real

• Possui uma estrutura de dados otimizada para validar a entrada dos mesmos ou rejeitá-los caso não atendam a determinada regra de negócio.

• Possui capacidade limitada para gerar informações para tomada de decisão, pois não é uma prioridade no seu desenvolvimento.

OLTP

Page 14: Curso BI parte1

OLAP é a sigla em inglês para Online Analytical Processing, ou processamento analítico on-line.

Um sistema OLAP é projetado para dar suporte aos usuários na realização de consultas, análises e cálculos sobre uma base de dados corporativa.

OLAP

Page 15: Curso BI parte1

Principais características de uma sistema OLAP:

• Banco de dados OLAP apresenta um esquema otimizado para que as consultam sejam realizadas rapidamente.

• Um sistema OLAP é preparado para gerar relatórios complexos de forma simples

• Os usuários podem gerar consultas no sistema OLAP sem que elas estejam pré-definidas

• O OLAP é projetado com a finalidade de atender a demanda de consulta a base de dados corporativa.

OLAP

Page 16: Curso BI parte1

OLTP x OLAP

Características OLTP-Operacional OLAP-Decisão

Objetivo

Visão dos dados

Operações

Atualização

Interação do Usuário

Granularidade

Redundância

Histórico

Reg.Operações diárias

Relacional

Incl., Alt., Excl e Cons.Contínua (Tempo real)

Pré-definida

Detalhados

Não ocorre

Dado mais recente

Análise do negócio

Multidimensional

Carga e Consulta

Periódica (Batch)

Pré-definida e ad-hoc

Detalhados e Resumidos

Ocorre

Mantém o histórico

Page 17: Curso BI parte1

Data Warehouse

Page 18: Curso BI parte1

Conceitos de Data Warehouse

Bill Inmon,

“Data Warehouse é uma coleção de dados orientados por assuntos, integrados, variáveis com o tempo e não voláteis, para dar suporte ao processo de tomada de decisão.“

Ralph Kimball,

“É um conjunto de ferramentas e técnicas de projeto, que quando aplicadas às necessidades específicas dos usuários e aos bancos de dados específicos permitirá que planejem e construam um data warehouse.“

Page 19: Curso BI parte1

Porque criar um Data Warehouse ?

• Integrar dados de múltiplas fontes

• Facilitar o processo de análise sem impacto para o ambiente de dados operacionais

• Obter informação de qualidade

• Atender diferentes tipos de usuários finais

• Flexibilidade e agilidade para atender novas análises

BDs Operacionais

DW

Usuários Finais

Page 20: Curso BI parte1

.

A principal idéia do DW é construir um depósito onde será mantida memória histórica dos dados, possibilitando à utilização dos mesmos para consulta e análise estratégica para tomada de decisão.

Page 21: Curso BI parte1

Características do Data Warehouse

•Orientado a Assunto: organizado conforme diferentes visões de negócio. Ex: Vendas, Compras, etc.

•Integrado: a partir de fontes de dados heterogêneas.

•Não Volátil: sempre inserido, nunca excluído.

•Variável com Tempo: posições históricas das atividades no tempo.

Page 22: Curso BI parte1

A granularidade diz respeito ao nível de detalhe contido nas unidades de dados existentes do DM.

Sua relação é inversamente proporcional:

• quanto mais detalhe menor é o nível de granularidade

• quanto menos detalhe maior o nível de granularidade.

Granularidade

Page 23: Curso BI parte1

Exemplo:

Um sistema de uma empresa de telefonia registra diariamente todas as ligações efetuadas por seus clientes armazenando seu tempo de duração.

A área comercial da empresa necessita analisar o tempo gasto em ligações telefônicas por cliente mensalmente.

Neste caso não é necessário carregar no DM o histórico diário de ligações.

Os registros diários deverão ser sumarizados por cliente para serem carregados no DM.

Page 24: Curso BI parte1

CODCLIENTE

FONE DATA HORAINICIO

HORAFIM

20 4333-3098 05/01/2008 10:02:50 10:10:53

20 4211-2651 05/01/2008 14:06:32 14:08:43

20 4563-8261 06/01/2008 20:40:07 20:49:29...

.

.

.

.

.

.

.

.

.

.

.

.

20 4233-1298 31/01/2008 09:25:26 09:38:15

COD_CLIENTE MÊS ANO DURAÇÃO20 01 2008 262

Granularidade diária

Granularidade mensal

Page 25: Curso BI parte1

Data Mart

“Um subconjunto lógico do Data Warehouse, geralmente visto como um data warehouse setorial.”

(Kimball)

Um data mart é um pequeno data warehouse que fornece suporte à decisão para uma determinada área de negócio.

Ex.: Vendas, compras, estoque ou recursos humanos.

As diferenças entre o data mart e o data warehouse são apenas com relação ao tamanho e ao escopo do problema a ser resolvido

Page 26: Curso BI parte1

• O custo de implementação e manutenção dos Data Marts é bem menor que o de um DW

• Os Data Marts têm o escopo mais limitado e por isso são mais identificados com grupos de necessidades dos usuários

• O desenvolvimento de um Data Mart é bem mais rápido do que desenvolvimento de um DW.

Vantagens do Data Mart

Page 27: Curso BI parte1

Diferenças entre a Filosofia de Bill Inmon e Ralph Kimball

Bill Inmon: Uma empresa inicia com o projeto do Data Warehouse de onde os data marts extraem sua informação.

Ralph Kimball: Inicia-se com a criação de Data Marts que juntos vão formar o Data Warehouse da empresa.

Page 28: Curso BI parte1

Bases de Sistemas

Transacionais

Dados de Sistemas ERP

Dados Locais

Dados Externos

Dados WEB

DATA WAREHOUSE

DATA MARTS

______________________________________________________

Relatórios

Análise Financeira & Estatística

Arquitetura do Data Warehouse

Sistemas OLTP ETL DW – DM VISUALIZAÇÃO

EXTRAÇÃOADEQUAÇÃO

LIMPEZADERIVAÇÃOAGREGAÇÃO

Page 29: Curso BI parte1

Deter um enorme volume de dados na sua empresa não quer dizer nada. Vocêprecisa transformar dados brutos em informação.

Page 30: Curso BI parte1

ETL (extração, transformação e carga)

Page 31: Curso BI parte1

É o processo responsável por ler os dados dos sistemas de origem, tratar, limpar, transformar e carregar os dados no Datawarehouse.

ETL (extração, transformação e carga)

É uma das fases mais críticas e complexa de um Data Warehouse:

- ambientes heterogêneos - várias fontes de dados - ausência de modelo de dados de sistemas antigos - rotina executada fora do horário de produção

Page 32: Curso BI parte1

• Conexão com uma ou mais fontes de dados de origem

• Seleção somente dos dados necessários

Extração:

ETL DATA WAREHOUSE

ETL (extração, transformação e carga)

Page 33: Curso BI parte1

Transformação:

• Fundamental para clareza e integração

• Processo de padronização dos dados (1/2, M/F, Masc/Fem)

• Tratamentos de campos NULL

• Uniformização de unidades de medidas, nomes de campos, datas etc.

• Concatenação e/ou desmembramento de campos

ETL (extração, transformação e carga)

Page 34: Curso BI parte1

Transformação (codificação)

Operacional Codificação Data Warehouse

Aplicação A m,f

Aplicação B 1,0

Aplicação C x,y

Aplicação D masc, fem

m,f

Page 35: Curso BI parte1

Transformação (medidas de atributos)

Operacional Codificação Data Warehouse

Aplicação A centímetros

Aplicação B polegadas

Aplicação C milhas

Aplicação D jardas

centímetros

Page 36: Curso BI parte1

Transformação (fontes múltiplas)

Operacional Codificação Data Warehouse

Aplicação A descrição

Aplicação B descrição

Aplicação C descrição

Aplicação D descrição

descrição?

Page 37: Curso BI parte1

Transformação (chaves discrepantes)

Operacional Codificação Data Warehouse

Aplicação A char(10)

Aplicação B float (9,2)

Aplicação C integer

Aplicação D char(12)

Char(12)

Page 38: Curso BI parte1

Carga:

É o processo de gravação dos dados no DW ou DM.

ETL (extração, transformação e carga)

ETL DATA WAREHOUSE

carga

Page 39: Curso BI parte1

Modelagem Multidimensional

Page 40: Curso BI parte1

Modelagem Multidimensional

É uma técnica de modelagem utilizada para representar as diferentes visões pelas quais um mesmo conjunto de informações pode ser analisado.

A modelagem multidimensional é frequentemente utilizada para criação do projeto lógico do DW.

Page 41: Curso BI parte1

Modelagem Multidimensional

Os sistemas de base de dados tradicionais utilizam a normalização para garantir consistência dos dados e uma minimização do espaço de armazenamento necessário.

Entretanto, algumas transações e consultas em bases de dados normalizadas podem se tornar lentas devido às operações de junção entre tabelas. Um DW utiliza dados em formato desnormalizados

Isto aumenta o desempenho das consultas e, como benefício adicional, o processo torna-se mais intuitivo para os usuários finais.

Page 42: Curso BI parte1

Para que se destina o Modelo Multidimensional

• uma representação simples do modelo de negócios estudado;

• um modelo físico de fácil interpretação

• sua implementação física do modelo deve maximizar performance das consultas aos dados.

O modelo multidimensional destina-se a análise de dados.

Por isso deve-ser :

Page 43: Curso BI parte1

Modelo Estrela

É composto de uma tabela central chamada Tabela FATO e de tabelas periféricas denominadas tabelas de DIMENSÕES

Serviço

Tempo

Paciente

RegiãoGeográfica

Admissãode Pacientes

Page 44: Curso BI parte1

Tabelas de Dimensões

Representam uma visão da área de negócios que se pretende analisar.

Ex.: Produto, Cidade, Cliente, etc.

Armazenam as descrições textuais das dimensões do negócio .

Ex.: Dimensão Cidade (Belo Horizonte, Rio de Janeiro, etc)

Modelo Estrela

Page 45: Curso BI parte1

Cada tabela de dimensão deve possuir uma chave primaria pela qual se relacionará com a tabela de Fatos para manter a integridade referencial.

Tabelas de Dimensões

Modelo Estrela

Page 46: Curso BI parte1

• Uma dimensão pode ser projetada de forma a conter níveis hierárquicos.

• Cada nível irá conter seus respectivos membros

• Entre os membros e entre os níveis de uma dimensão existem relações do tipo pai, filho, irmão, etc.

Relações e estrutura de uma Dimensão

Modelo Estrela

Page 47: Curso BI parte1

Exemplo de Dimensão Região Geográfica

* REGIÃO NORTE SUDESTE SUL

** ESTADO PARÁ MINAS GERAIS RIO DE JANEIRO RIO GRANDEDO SUL

*** CIDADE BELÉM MARABÁ JUIZ DE FORA

UBÁ PETROPÓLIS GRAMADO

• O Sudeste é PAI de Minas Gerais e Rio de Janeiro• Juiz de Fora é filho de Minas Gerais• Todos os membros debaixo do Sudeste são seus descendentes

Relações e estrutura de uma Dimensão

Modelo Estrela

Page 48: Curso BI parte1

O tempo é parte implícita da informação contida no DW

Um DW obrigatoriamente sempre conterá uma dimensão Tempo

A dimensão tempo pode ser definida dividindo-se em diferentes hierarquias de tempo.

Ex.:

A Dimensão tempo

Modelo Estrela

TEMPO

* Ano** Mês*** Dia

Page 49: Curso BI parte1

Nesta tabela são definidos os campos com os valores que se pretendem analisar. Estes campos são denominados de métricas ou medidas.

As medidas são valores numéricos que permitem analisar os fatos.

Ex: valor de vendas, quantidades vendidas, pacientes atendidos.

Tabela Fato

Modelo Estrela

Page 50: Curso BI parte1

• A tabela FATO contém chaves externas que se relacionam com suas respectivas tabelas de dimensões

• A FATO é a maior tabela do modelo dimensional. Ela possui todas as transações a serem analisadas, podendo possuir milhares ou milhões de registros

Características da Tabela Fato

Modelo Estrela

Page 51: Curso BI parte1

• É uma variação do modelo Estrela

• Consiste em normalizar uma tabela de dimensão para eliminar a redundância de dados

Modelo Floco de Neve

Serviço Tempo

Paciente

Admissãode Pacientes

Cidade

Estado

Pais Floco de NeveDimensão Região Geográfica

Page 52: Curso BI parte1

Estrela Floco de NeveCaracterística

Quantidade de Tabelas

Consultas

Armazenamento

Menor

Melhor desempenho

Maior espaço

Maior

Maior vínculo entre as tabelas. Redução

desempenho.

Economiza Espaço

Considerações sobre os Modelos

Page 53: Curso BI parte1

SURROGATE KEY

São campos seqüenciais gerados automaticamente pelo banco de dados usados como chave primária para uma tabela, e que não têm conteúdo semântico para a aplicação nem relação com outros dados da tabela.

Uma surrogate key é uma chave artificial ou sintética que é usada como chave substituta de uma chave natural.

Ralph Kimball

Page 54: Curso BI parte1

• As chaves do DW ficam independentes das chaves de produção

Porque utilizar a Surrogate Key

• Diminui-se a possibilidade de erros no DW durante o processo de ETL

• Uma surrogate key é um número inteiro simples enquanto uma chave primaria de produção pode apresentar formatos mais complexos.

Page 55: Curso BI parte1

Metadados são as informações que descrevem os dados utilizados pela empresa.

São informações como descrições de registros, comandos de criação de tabelas, diagramas Entidade/Relacionamentos, dados de um dicionário de dados, etc.

METADADOS

Page 56: Curso BI parte1

DW

Metadados

obrigatório

• A estrutura de dados segundo a visão do programador

• A estrutura de dados segundo a visão do Analista da Informação

• As fontes de dados que alimentam o DW

• A transformação sofrida pelos dados no momento de sua migração para o DW

• O modelo de dados do sistema de produção

• O relacionamento entre o modelo de dados de produção e o DW

• O histórico das extrações

De acordo com Inmon, os aspectos sobre os quais os metadados mantêm informação são:

O papel dos metadados em um ambiente de DW é de grande importância, tornando seu uso obrigatório.