introdução ao bi

Introdução ao BI

Msc. Mauro C. Pichiliani (@pichiliani)

1

Roteiro

• Apresentação• Conceitos e teoria de BI• OLTP e OLAP• Histórico• Modelagem Dimensional• Cubo de Dados• Conclusões

2

Apresentação (1)

3

Mauro Pichiliani (pichiliani@uol.com.br) Colunista do iMasters (www.imasters.com.br) Fundador do podcast Databasecast (@databasecast) Escritor da revista SQL Magazine (

www.devmedia.com.br) Pesquisador de banco de dados e sistemas

distribuídos. Doutorando do ITA (Instituo de Tecnologia da

Aeronáutica) Experiência com o BI desde 2001

Apresentação (2)

4

E vocês? Experiência com:

Programação Java? .NET? Banco de dados? Modelagem? BI, DW, ERP, OLAP? Linux? Inglês?

Conceitos e teoria de BI (1)

5

BI = Bussiness Intelligence

Definição: Utilizar informação já disponível para auxiliar os tomadores de decisão a tomar decisões melhores e mais rápidas

Substitui sistemas EIS (Executive Information Systems) e DSS (Decision Support Systems)

Conceitos e teoria de BI (2)

6

O foco é na geração de relatórios dinâmicos para analistas e tomadores de decisão

Usuários especializados (analistas) Não há a necessidade de conhecimentos

técnicos profundos sobre as ferramentas BI envolve diversas tecnologias e processos. Geralmente é implementado como

ferramenta para visualização de dados

Conceitos e teoria de BI (3)

7

Conceitos e teoria de BI (4)

8

Conceitos e teoria de BI (5)

9

Relatórios: Tipo Dashboard Relatórios de produção Relatórios Analíticos

Exemplos: clientes, pedidos fechados, status de faturamento, contas a pagar, satisfação de clientes, etc

Conceitos e teoria de BI (7)

10

Data Warehouse: Repositório para armazenar e analisar informações quantitativas e qualitativas que são estáveis e confiáveis.

Comparação com DW e Bancos Relacionais:

a) Suportar atividades x Planejamentob) Detalhes x Agregação de alto nívelc) Aplicação específica x Agrega Dadosd) Imediato x Atividade através do tempoe) Volátil x Estávelf) Rápido para detalhes x Rápidos para agregações

Conceitos e teoria de BI (8)

11

Data Mart: Subconjunto do DW, geralmente voltado para um propósito específico ou contexto. Pode ser distribuído para suportar a necessidade do negócio

Artigo: Data Mart does not Equal Data Warehouse, em:

http://www.information-management.com/infodirect/19991120/1675-1.html

OLTP e OLAP (1)

12

OLTP = OnLine Transaction Processing

Utilizado para gerenciar transações e operações diárias

E. F. Codd propôs 12 critérios para OLTP em 1985

OLAP = Online Analytical processing

Descreve ferramentas especializadas para tornar os dados do DW facilmente acessíveis

E. F. Codd propôs 15 critérios para OLAP em 1985

OLTP e OLAP (2)

13

Histórico

14

Modelagem Dimensional (1)

15

Modelo multidimensional (ou dimensional): um design para Data Warehouse

Conceito de múltiplas dimensões foi pego da física Baseado nas idéias de dimensões e medidas

Medida (ou indicadores): Valor numérico totalizado utilizado para monitorar o negócio

Dimensões: Lista independete de valores que filtrados afetam o cálculo da medida

Modelagem tradicional não atende os requisitos de ferramentas OLAP e dinâmica das visualizações

Geralmente aplica normalização até 2FN Algum nível de desnormalização

Modelagem Dimensional (2)

16

Dimensões representam as possíveis formas de visualizar os dados. Dimensões representam as possíveis formas de visualizar os dados. São as entradas para as consultas. A base para entendimento de São as entradas para as consultas. A base para entendimento de qualquer negócio é responder às quatro perguntas fundamentais:qualquer negócio é responder às quatro perguntas fundamentais:

QUANDO? (Período de tempo a que se refere à análise)QUANDO? (Período de tempo a que se refere à análise) O QUE? (O principal objeto de análise)O QUE? (O principal objeto de análise) ONDE? (Localização física ou geográfica para análise)ONDE? (Localização física ou geográfica para análise) QUEM? (Um objeto específico e detalhado para análise: opcional)QUEM? (Um objeto específico e detalhado para análise: opcional)

Exemplo: relatório de vendas

Modelagem Dimensional (3)

17

Figura 1: Relatório de unidades vendidas

Figura 2: Análise mensal

Figura 3: Por produto e por mês

Duas dimensões: produto e mês Uma medida: unidades vendidas Elementos da dimensão são chamados de membros

Modelagem Dimensional (4)

18

Figura 4: Por produto e mês de forma diferente

Duas dimensões: produto e mês Uma medida: unidades vendidas

Modelagem Dimensional (5)

19

Figura 5: Por produto, estado e mês

Três dimensões: estado, produto e mês Uma medida: unidades vendidas

Modelagem Dimensional (6)

20

Figura 6: Por produto, estado e mês + lucro

Três dimensões: estado, produto e mês Duas medidas: unidades vendidas e lucro

Modelagem Dimensional (7)

21

Dados de dimensão são armazenados em tabelas de dimensão Dados das medidas são armazendos em tabelas fato. Exemplo:

Cada linha da tabela fato contém valores detalhados (fatos) Uma coluna para cada medida e ligações com as tabelas de

dimensão Sempre contém o membro mais detalhado da dimensão

Modelagem Dimensional (8)

22

Exemplo de tabela fato com relacionamentos:

Um DW pode conter várias tabelas fato As tabelas fato contém chaves estrangeiras para as tabelas de

dimensão Cada tabela de dimensão contém um identificador e atributos

dos membros da dimensão Tomar cuidado com a nomeclatura!

Modelagem Dimensional (9)

23

Exemplo de tabela de dimensão simples:

Coluna PROD_ID é chave primária Tabelas de dimensão podem conter vários atributos representados

pelas suas colunas. Exemplo de outros atributos:

Modelagem Dimensional (10)

24

Alguns atributos podem agrupar membros da dimensão: cor Não faz sentido agrupar por certos atributos: preço Exemplo:

Agrupamento de membros por atributos da dimensão dá origem a hierarquias

Abaixo da hierarquia podemos ter níveis de membros Navegação nos níveis: Drill-down and Drill-up.

Modelagem Dimensional (10a)

25

Dimensões, hierarquias, níveis, membros:

Modelagem Dimensional (11)

26

Exemplos de modelos:

Tabela de Fatos

Dimensão Aluno

Dimensão Tempo

Dimensão Curso

Dimensões

Hierarquias

Níveis

Membros

Modelagem Dimensional (12)

27

Exemplos de modelos:

Modelagem Dimensional (13)

28

Exemplos de modelos:

Modelagem Dimensional (14)

29

Dimensões star (estrela): Apenas uma tabela de dimensão

Dimensões snowflake (floco-de-neve): Mais de uma tabela de dimensão relacionada

Maioria dos modelos é híbrida

Modelagem dimensional é fundamental para entender OLAP

Geralmente a modelagem está envolvida como processo de ETL

Recomenda-se gastar uma boa parte do tempo na modelagem

Cubo de dados (1)

30

O conceito de cubo vem da matemática: 3 dimensões apenas

Em OLAP, um cubo requer ao menos uma dimensão e uma medida: Pode possuir muitas medidas Pode possuir muitos membros

Um cubo é uma estrutura multidimensional criada a partir do modelo multidimensional

A princípio contém apenas metadados

Pode conter agregações

Cubo de dados (2)

31

Exemplo: 3 dimensões e uma medida:

Cubo de dados (3)

32

Exemplo: 3 dimensões e uma medida:

Cubo de dados (4)

33

Exemplo: 3 dimensões e uma medida:

Cubo de dados (5)

34

Visualização do cubo

Cubo de dados (6)

35

Operações: Slice e Dice

Cubo de dados (7)

36

Em resumo, ferramentas OLAP permitem: 1) Resposta rápida e consistente

Modelo de planilha Modelo multidimensional em RBDMS

2) Consultas baseadas em metadados Cubos contém muitos metadados MDX (Multidimensional Expressions) x SQL Usuários não precisam conhecer SQL e nem MDX

3) Fórmula no cubo, como em uma planilha Valores separados em células Manipulação de células Modelo de medatados para célula. E: [avg] x c4 Acesso a diferentes cubos

Conclusões

37

Foco de BI é trazer inteligência ao negócio Sempre procurar auxiliar o tomador de decisões

Várias fases compõem o processo de BI

A modelagem é imprescindível

Relatórios são cruciais

A tecnologia pode variar ao longo do tempo, mas conceitos permanecem