pentaho data integration ceça moraes setembro/2015

Pentaho Data Integration

Ceça MoraesSetembro/2015

Pentaho Data Integration (PDI)

• PDI ou Kettle• http://community.pentaho.com/– http://sourceforge.net/projects/pentaho/files/Dat

a%20Integration/5.4/pdi-ce-5.4.0.1-130.zip/download

• Componente da suite do Pentaho responsável pelos processos de ETL

• Extraction, Transformation and Load• Descompactar numa pasta

Outra Aplicações do PDI

•Migração de dados entre aplicações/banco de dados

•Exportar dados de banco de dados para outros formatos

•Limpeza de dados

Componentes PDI• Spoon– Criação de transformações e jobs

• Pan– Execução de transformações com agendamento em

intervalos• Kitchen– Execução de jobs com agendamento em intervalos

• Carte– web server para execução remota de transformações e

jobs

Kettle

Transformação•Conjunto de passos interligados ou não•Contém fontes e saídas dos dados•Conceito de stream (fluxo de dados) = entrada e saída de um passo•Uma transformação para cada dimensão•Arquivos *.KTR do Spoon

Passos (Steps)•Unidade mínima da transformação

•Grande variedade de tipos

– Input, Output, Joins,...

•Tipos básicos: entrada, transformação, saída

Passos (Steps)

Hops

• Links entre os steps• Indicam fluxo dos dados (streams)– Origem e destino

Jobs

• Conjunto para execução de várias transformações

• Arquivos *.KJB do Spoon

Tcharan...

ETLS NO PENTAHO DATA INTEGRATION (KETTLE)

Base Operacional: northwind

Data Warehouse: Vendas

Conexões

Conexões

Dimensão: Produto

Dimensão Produto

Tipo de Steps

• Tipos de steps utilizados– Table Input (da aba

“Input”)

– Dimension lookup/update (da aba “Data Warehouse”

– Execute SQL Script (da aba “Scripting”)

Dimensão Produto

Dimensão Produto

Dimensão Produto

Dimensão Produto

Fato Vendas

Fato Vendas

Tipo de Steps

• Tipos de steps utilizados– Table Input (da aba

“Input”)

– Database lookup (da aba “Lookup”

– Select Values (da aba “Transform”)

Tipo de Steps

• Tipos de steps utilizados– Memory Group By (da

aba “Statistics”)

– Table Output (da aba “Output”

Fato Vendas

Fato Vendas

Fato Vendas

Fato Vendas

Fato Vendas

Fato Vendas

Fato Vendas

Fato Vendas

Fato Vendas

Mãos à obra e divirtam-se!!!