inteligência nos negócios (business inteligente) · processo etl e postgresql. 4 postgresql...

79
Inteligência nos Negócios (Business Inteligente) Sistemas de Informação – Sistemas de Apoio a Decisão Aran Bey Tcholakian Morales, Dr. Eng. (Apostila 3)

Upload: dodien

Post on 20-Jan-2019

231 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

Inteligência nos Negócios (Business Inteligente)

Sistemas de Informação – Sistemas de Apoio a Decisão

Aran Bey Tcholakian Morales, Dr. Eng.

(Apostila 3)

Page 2: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

2

BI

Dados ( OLTP e outras fontes)

Data Warehouse/ Data Marts

Ferramentas OLAP

Mineração de dados - KDD

Interpretação/

Avaliação

Decisões

Analise

de dados

Analises dos

tomadores de

decisão

Fundamentação da disciplina

Dados

Informação

Conhecimento

Análises Exploratória de Dados

Page 3: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

3

Processo ETL e PostgreSQL

Page 4: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

4

PostgreSQL

Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha

(postgres).

Page 5: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

55

PostgreSQL

1. Criamos uma nova base de dados sobre o servidor local (localhost)

do owner “postgreSQL9.6”.

Exercício da folha 6.

Page 6: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

66

PostgreSQL

2. Escolhemos um nome para a base de dados, por exemplo “curso”.

Exercício da folha 6.

Page 7: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

77

PostgreSQL

3. Escolhemos o tipo de codificação, UTF8.

Exercício da folha 6.

Page 8: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

88

PostgreSQL

4. A base de dados foi criada, com o Schema “public”.

Exercício da folha 6.

Page 9: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

99

PostgreSQL

5. Restauramos o banco de dados relacional_vinhos_82.backup.

Exercício da folha 6.

Page 10: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

1010

PostgreSQL

6. Escolhemos o arquivo de backup correspondente a base restaurada.

Exercício da folha 6.

Page 11: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

1111

PostgreSQL

7. Deixamos todas as opções default.

Exercício da folha 6.

Page 12: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

1212

PostgreSQL

8. Verificamos se a restauração foi vem sucedida.

Exercício da folha 6.

Page 13: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

1313

PostgreSQL- Visualizando os dados

9. Se o esquema “relacional_vinhos” não aparece, damos um “refresh” no

esquema.

Exercício da folha 6.

Page 14: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

1414

PostgreSQL- Visualizando os dados

10. Agora podemos visualizar as tabelas e os dados.

Exercício da folha 6.

Page 15: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

1515

PostgreSQL- Visualizando os dados

11. Podemos fazer consultas SQLs as tabelas do esquema.

Exercício da folha 6.

Page 16: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

16

BI

Dados ( OLTP e outras fontes)

Data Warehouse/ Data Marts

Ferramentas OLAP

Mineração de dados - KDD

Interpretação/

Avaliação

Decisões

Analise

de dados

Analises dos

tomadores de

decisão

Fundamentação da disciplina

Dados

Informação

Conhecimento

Análises Exploratória de Dados

Page 17: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

1717

3.2 Extração, Transformação e Carga - ETL

Page 18: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

1818

• O ETL é um sistema ou conjunto de scripts SQLs para extrair os

dados das bases de operação e carregá-las no modelo

dimensional construído depois da transformação.

• O objetivo da etapa de ETL é fazer a integração de informações

de fontes múltiplas e complexas, portanto, torna-se uma etapa

bastante crítica, já que uma informação carregada

erroneamente pode trazer consequências imprevisíveis nas fases

posteriores. Esta etapa divide-se basicamente em três passos:

extração, transformação e carga.

ETL - Extração, Transformação, Carga

Page 19: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

1919

• Extração: implica muitas vezes na seleção de diferentes fontes

de dados e na integração de tais dados com o objetivo de obter uma

única fonte. As origens das fontes de dados podem ser várias e

também podem possuir diferentes formatos, tais como sistemas

transacionais, ERP, planilhas, arquivos-textos.

ETL - Extração, Transformação, Carga

Page 20: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

2020

• Transformação: a origem dos dados muitas vezes pode ser de

sistemas diferentes, então é necessário padronizar os diferentes

formatos, pois o usuário não pode ver informações iguais em

formatos diferentes.

A limpeza dos dados (uma forma de transformação) se dá porque

os dados normalmente advêm de uma fonte muitas vezes

desconhecida, concebida há muito tempo e contendo muito lixo e

inconsistência.

Operações de remoção de ruídos, de atributos incompletos,

tratamento de erros de digitação ou erros nos sistemas de captura

de dados, são tratados neste etapa.

ETL - Extração, Transformação, Carga

Page 21: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

21

Podem ser as seguintes transformações:

Resumo ou agregação: é o processo de eliminar atributos ou reduzir

o número de valores de um determinado atributo - por exemplo

reduzir o atributo data com granularidade em dias para mês (redução

de 365 para 12).

ETL - Extração, Transformação, Carga

Page 22: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

22

Redução do número de valores de um atributo: é feita

“discretizando” os valores de um atributo contínuo.

Muitos algoritmos de classificação, por exemplo, necessitam de dados

categorizados (discretos), algoritmos de associação de dados binários.

Assim, caraterísticas que assumem valores contínuos podem ser

transformados em valores discretos (em classes) e os valores

discretos em binários.

ETL - Extração, Transformação, Carga

Page 23: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

2323

Carga: uma vez que a origem dos dados pode ser de sistemas

diferentes, padronizam-se os diferentes formatos de modo que

fiquem num formato uniforme, normalmente sugerido pelo

próprio usuário.

Com isso, a análise dos dados recuperados pela ferramenta

OLAP fica mais fácil, pois o usuário não estará vendo

informações iguais em formatos diferentes.

ETL - Extração, Transformação, Carga

Page 24: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

2424

Várias origens para um mesmo dado: conflitos estruturais, de

conteúdo e de formato nos dados;

Dados “faltantes”, dados com “erros”;

Não conformidade dos dados com as regras do negócio;

Dados significativos em campos de entrada livre;

Necessidade de normalização/desnormalização de dados;

Necessidade de “juntar/separar” atributos;

Diversos formatos de dados (xls, pdf, xml, etc.);

Incompatibilidade entre ambientes operacionais diferentes.

ETL: algumas dificuldades

Page 25: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

25

Suite BI Open Pentaho

Page 26: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

26

Descompactar o arquivo pdi-ce-7.X.X-stable.zip e iniciar

Spoon.bat (Windows) ou Spoon.sh (Linux, MacOS).

PDI está formado por um conjunto de ferramentas:

Spoon: é a ferramenta gráfica para construir transformações e jobs.

Pan: é a ferramenta que nos permite executar as transformações do

spoon de uma linha de comando.

Kitchen: similar ao Pan, mas para executar jobs.

Carte: é um servidor web que permite a execução remota de

transformações e jobs.

Suite BI Open Pentaho: Data Integration

Page 27: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

27

Configurando o JAVA:

Criando variável JAVA_HOME

1. Abrir Painel de Controle\Sistema;

2. Selecione a aba Avançado e clique em Variáveis de Ambiente;

3. Em Variáveis do sistema clique no botão Nova;

4. Na janela Nova variável de sistema, digite JAVA_HOME no campo

Nome da variável e no campo Valor da variável digite o caminho do

diretório onde foi instalado o JDK e clique no botão OK;

Suite BI Open Pentaho: Data Integration

Page 28: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

28

Suite BI Open Pentaho: Data Integration

Page 29: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

29

Configurando o JAVA

Editando variável PATH

1. Selecione a variável Path em Variáveis do sistema e clique no botão

Editar;

2. Digite “;%JAVA_HOME%\bin” ao final do conteúdo do campo

Valor da variável e em seguida clique no botão OK;

3. Na janela Variáveis de ambiente clique no botão OK;

4. Na janela Propriedades do sistema clique no botão OK.

Suite BI Open Pentaho: Data Integration

Page 30: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

30

Suite BI Open Pentaho: Data Integration

Page 31: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

31

Suite BI Open Pentaho: Data Integration

Tela principal do aplicativo data integration.

Page 32: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

32

Suite BI Open Pentaho: Data Integration

Exercícios da folha 7.

1. Criamos o Schema dwvinhos_pdi

Page 33: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

33

Suite BI Open Pentaho: Data Integration

Exercícios da folha 7.

2. Criamos a conexão “curso” na opção:

Conexões – Adicionar conexão – Nova conexão

Page 34: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

34

Suite BI Open Pentaho: Data Integration

Exercícios da folha 7.

3. Geramos o scripts das tabelas: Ferramentas – SQL.

Escolhemos a base curso, o SGBD PostgreSQL e o schema dwvinhos_pdi,

e damos OK.

Page 35: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

35

Suite BI Open Pentaho: Data Integration

4. Executamos o scripts.

Page 36: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

36

Suite BI Open Pentaho: Data Integration

Vamos a carregar a dimensão vinhos.

5. Criamos uma nova transformação: File – Novo - Transformação

Exercícios da folha 7.

Page 37: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

37

Suite BI Open Pentaho: Data Integration

6. Carregar a tabela DI_VINHOS. Criamos uma nova transformação.Incluímos o componente “Table Input” e configuramos o componente.Primeiro críamos uma nova conexão.

Page 38: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

38

Suite BI Open Pentaho: Data Integration

7. O servidor será “localhost”, a base de dados “curso”, login/senha do

banco e o nome da conexão (nome fantasia) “vinhos”

Exercícios da folha 7.

Page 39: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

39

Suite BI Open Pentaho: Data Integration

8. Testamos a conexão.

Exercícios da folha 7.

Page 40: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

40

Suite BI Open Pentaho: Data Integration

9. Configuramos o SQL e efetuamos um preview para ver o resultado.

Page 41: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

41

Suite BI Open Pentaho: Data Integration

10. Incluímos na transformação o componente de “Insert/Update” e configuramos o componente com a tabela de saída.

Page 42: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

42

Suite BI Open Pentaho: Data Integration

11. Salvamos, executamos a transformação e verificamos o resultado na base de dados.

Page 43: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

43

Suite BI Open Pentaho: Data Integration

12. Na aba “View”, selecionamos a opção “Conexões” e na “conexaocursopos”, fazemos um “ share” para compartilhar a conexão com outras transformações.

Page 44: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

44

Suite BI Open Pentaho: Data Integration

13. Criamos outra transformação para carregar a tabela DI_LOJA. Incluímos o componente “Table Input”. Escolhemos a conexão e configuramos o SQL. Fazer o preview para verificar a saída.

Page 45: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

45

1. Transformação a ser construída para carregar a dimensão Tempo.

Suite BI Open Pentaho: Data Integration

Folha 7: DI_Tempo

Page 46: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

46

Suite BI Open Pentaho: Data Integration

2. Configuração do componente “Generate rows”. Definimos a variável Data do tipo date e formato yyy-mm-dd iniciando em 2009-01-01. Geramos 5.000 linhas.

Page 47: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

47

3. Configuração do componente “Add sequence”. Adicionamos a variável dia, iniciando em 1.

Suite BI Open Pentaho: Data Integration

Page 48: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

48

Suite BI Open Pentaho: Data Integration

4. Fazemos um preview para visualizar a transformação.

Page 49: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

49

5. Configuração do componente “Calculadora” para definir as variáveis ano, mes e trimestre. Para isso, necessitamos definir a variável auxiliar datacalculo.

Suite BI Open Pentaho: Data Integration

Page 50: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

50

6. Configuração do componente “Java Script” para definir a variável semestre.

Suite BI Open Pentaho: Data Integration

Page 51: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

51

Suite BI Open Pentaho: Data Integration

7. Fazemos um preview para visualizar a transformação.

Page 52: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

52

Suite BI Open Pentaho: Data Integration

8. Configuração do componente “Select Values” para remover as variáveis que não serão carregadas na base de dados.

Page 53: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

53

Suite BI Open Pentaho: Data Integration

9. Fazemos um preview para visualizar a transformação.

Page 54: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

5410. Configuração dos componentes “Sort” e “Unique” para eliminar os registros duplicados.

Suite BI Open Pentaho: Data Integration

Page 55: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

55

Suite BI Open Pentaho: Data Integration

11. Fazemos um preview para visualizar a transformação.

Page 56: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

56

12. Configuração do componente “Filter” para eliminar as instâncias acima do ano 2020 e gravar as instâncias anteriores de 01/2009 a 12/2020.

Suite BI Open Pentaho: Data Integration

Page 57: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

5713. Configuração do componente “Insert/Update”.

Suite BI Open Pentaho: Data Integration

Page 58: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

58

Suite BI Open Pentaho: Data Integration

1. Verificar se a conexão do componente “Table Input” está funcionando.

Folha 7: Tabela Fato

Page 59: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

59

Suite BI Open Pentaho: Data Integration

2. No componente de “Table input”, estamos pegando todos os dados necessários do esquema relacional.

Page 60: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

60

Suite BI Open Pentaho: Data Integration

3. Os componentes “Database lookup” são necessários para obter as chaves (seq_) das dimensões.

Page 61: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

61

Suite BI Open Pentaho: Data Integration

4. O componente “Select values” é utilizado para ficar somente com os atributos necessários para gravar na tabela fato. Incluir o atributo desconto.

Page 62: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

62

5. Configuração do componente “Calculadora” para criar a medida que está faltando.

Suite BI Open Pentaho: Data Integration

Page 63: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

63

Suite BI Open Pentaho: Data Integration

6. Configuração do componente “Sort rows”: ordena os registros pelos campos indicados.

Page 64: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

64

Suite BI Open Pentaho: Data Integration

7. Configuração do componente “Group By”.

Page 65: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

65

Suite BI Open Pentaho: Data Integration

8. Configuração do componente “Insert/Update”. Execute a transformação

Page 66: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

66

Suite BI Open Pentaho: Data Integration

9. Transformação executada.

Page 67: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

67

Suite BI Open Pentaho: Data Integration

Alteração da carga da tabela fato para incluir uma nova medida.

Exercícios da folha 8: item a)

Page 68: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

68

Suite BI Open Pentaho: Data Integration

1. Configuração do componente Java Script para calculo da

porcentagem de desconto.

Page 69: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

69

Suite BI Open Pentaho: Data Integration

2. Incluir o campo de desconto no componente Select, e calcular a

nova medida (Valor_venda_desconto) no componente Calculadora.

Page 70: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

70

Suite BI Open Pentaho: Data Integration

3. Incluir a nova medida no componente Group by.

Page 71: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

71

Suite BI Open Pentaho: Data Integration

4. Incluir a nova medida no componente Insert/Update.

Page 72: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

72

Suite BI Open Pentaho: Data Integration Exercícios da folha 8: Apagar dados

Page 73: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

73

Criação da job.

Suite BI Open Pentaho: Data Integration

Exercícios da folha 8: Criação da JOB.

Page 74: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

74

Suite BI Open Pentaho: Data Integration

Folha 8: Chamada a API do Google

1. Transformação para carregar dos dados da API do Google.

Page 75: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

75

Suite BI Open Pentaho: Data Integration

2. Configuração do componente de entrada e a definição da constante “sensor”.

Page 76: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

76

Suite BI Open Pentaho: Data Integration

3. Configuração do componente HTTP Client.

Page 77: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

77

Suite BI Open Pentaho: Data Integration

4. Configuração do componente Json input.

Page 78: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

78

Suite BI Open Pentaho: Data Integration

5. Configuração do componente Update.

Page 79: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5

87

BI

Dados ( OLTP e outras fontes)

Data Warehouse/ Data Marts

Ferramentas OLAP

Mineração de dados - KDD

Interpretação/

Avaliação

Decisões

Analise

de dados

Analises dos

tomadores de

decisão

Fundamentação da disciplina

Dados

Informação

Conhecimento

Análises Exploratória de Dados