etl - extração transformação e carga de dados
TRANSCRIPT
![Page 1: ETL - Extração Transformação e Carga de Dados](https://reader038.vdocuments.com.br/reader038/viewer/2022102510/5572113c497959fc0b8ea129/html5/thumbnails/1.jpg)
Universidade Federal do Rio de JaneiroEscola Politécnica
Departamento de Engenharia Eletrônica e de ComputaçãoMBA de Gestão Estratégica da InformaçãoGEI 16 - Informação e Suporte a Decisão
Professor Sergio Palma
Cezar Taniguchi D. TamerDaniel PerezLeonardo MiccolisLuís Augusto Quaresma Ramos
![Page 2: ETL - Extração Transformação e Carga de Dados](https://reader038.vdocuments.com.br/reader038/viewer/2022102510/5572113c497959fc0b8ea129/html5/thumbnails/2.jpg)
![Page 3: ETL - Extração Transformação e Carga de Dados](https://reader038.vdocuments.com.br/reader038/viewer/2022102510/5572113c497959fc0b8ea129/html5/thumbnails/3.jpg)
• Extração de dados de fontes
• Transformação: limpeza, formatação, padronização, agregação ou aplicação de regras de negócio.
• Carga dos dados em sistemas, Data Warehouses ou arquivos em diferentes formatos.
![Page 4: ETL - Extração Transformação e Carga de Dados](https://reader038.vdocuments.com.br/reader038/viewer/2022102510/5572113c497959fc0b8ea129/html5/thumbnails/4.jpg)
• Processos de ETL são componentes reutilizáveis que podem ser programados para realizar a transferência de dados regularmente.
• São projetados para alta eficiência, escalabilidade e manutenabilidade.
• Grandes volumes de dados se beneficiam da capacidade do ETL de suportar operações paralelas (MPP).
![Page 5: ETL - Extração Transformação e Carga de Dados](https://reader038.vdocuments.com.br/reader038/viewer/2022102510/5572113c497959fc0b8ea129/html5/thumbnails/5.jpg)
![Page 6: ETL - Extração Transformação e Carga de Dados](https://reader038.vdocuments.com.br/reader038/viewer/2022102510/5572113c497959fc0b8ea129/html5/thumbnails/6.jpg)
![Page 7: ETL - Extração Transformação e Carga de Dados](https://reader038.vdocuments.com.br/reader038/viewer/2022102510/5572113c497959fc0b8ea129/html5/thumbnails/7.jpg)
![Page 8: ETL - Extração Transformação e Carga de Dados](https://reader038.vdocuments.com.br/reader038/viewer/2022102510/5572113c497959fc0b8ea129/html5/thumbnails/8.jpg)
• Captar dados de fontes (sistemas/áreas) distintas forma programática;
• Transformar em informação de qualidade (consistentes e normalizadas) evitando redundâncias;
• Carregar as informações normalizadas para permitir a análise posterior e servir no suporte a decisão.
![Page 9: ETL - Extração Transformação e Carga de Dados](https://reader038.vdocuments.com.br/reader038/viewer/2022102510/5572113c497959fc0b8ea129/html5/thumbnails/9.jpg)
Serão mostrados alguns exemplos de casos bem sucedidos de implantação de ETL.
![Page 10: ETL - Extração Transformação e Carga de Dados](https://reader038.vdocuments.com.br/reader038/viewer/2022102510/5572113c497959fc0b8ea129/html5/thumbnails/10.jpg)
![Page 11: ETL - Extração Transformação e Carga de Dados](https://reader038.vdocuments.com.br/reader038/viewer/2022102510/5572113c497959fc0b8ea129/html5/thumbnails/11.jpg)
Solução:A Honda selecionou 2 projetos:
1. Projeto de Fatura de Serviços e Venda de Carros Usados: para realizar uma Pesquisa de Satisfação do Cliente no pós-venda e gerar Lembretes de Serviços para todas as concessionárias do Reino Unido.
2. Reposição Automática de Peças: para transferir dados das concessionárias para o Sistema de Planejamento Automático (APS) em Bruxelas, buscando comparar os níveis de estoque atual nas concessionárias com o histórico de vendas e então automaticamente restabelecer as peças para atender à demanda projetada.
![Page 12: ETL - Extração Transformação e Carga de Dados](https://reader038.vdocuments.com.br/reader038/viewer/2022102510/5572113c497959fc0b8ea129/html5/thumbnails/12.jpg)
Solução: Os dados são transferidos dos servidores ETL dedicados das concessionárias para o escritório da Honda em Bangor, País de Gales, onde são verificados e consolidados com os dados recebidos da HUK. Os resultados são enviados para a HUK, para análise e para gerar lembretes da próxima data de serviço.
![Page 13: ETL - Extração Transformação e Carga de Dados](https://reader038.vdocuments.com.br/reader038/viewer/2022102510/5572113c497959fc0b8ea129/html5/thumbnails/13.jpg)
Resultados:
• A integração das concessionárias agora é muito mais rápida.
• Melhora na satisfação dos clientes.• Os projetos têm revolucionado de várias formas a
maneira como a Honda trabalha com suas concessionárias.
• Uma melhor comunicação, relacionamento e serviços para as concessionárias
• Eficiência da cadeia de abastecimento.
![Page 14: ETL - Extração Transformação e Carga de Dados](https://reader038.vdocuments.com.br/reader038/viewer/2022102510/5572113c497959fc0b8ea129/html5/thumbnails/14.jpg)
• Quanto as empresas gastam em ETL?
• ETL Market Share
• Tendências de Mercado
![Page 15: ETL - Extração Transformação e Carga de Dados](https://reader038.vdocuments.com.br/reader038/viewer/2022102510/5572113c497959fc0b8ea129/html5/thumbnails/15.jpg)
![Page 16: ETL - Extração Transformação e Carga de Dados](https://reader038.vdocuments.com.br/reader038/viewer/2022102510/5572113c497959fc0b8ea129/html5/thumbnails/16.jpg)
2007
![Page 17: ETL - Extração Transformação e Carga de Dados](https://reader038.vdocuments.com.br/reader038/viewer/2022102510/5572113c497959fc0b8ea129/html5/thumbnails/17.jpg)
As principais tendências na integração de dados este ano:• A demanda por integração de dados continua a exceder a
capacidade dos fornecedores.• A integração de dados corporativos continua a expandir além
do ETL e DW.• MDM (Master Data Management) e CDI (Customer Data
Integration) dependem cada vez mais da experiência de Integração de dados das empresas.
• ETL está se expandindo para mercados de pequeno e médio porte.
• Excessivo uso de ferramentas de ETL e fracasso de empresas iniciantes em integração de dados.
• O BI operacional é adotada porque a integração de dados é muito difícil.
• A disputa por Market Share entre pequenas e médias empresas e ETL departamental em grandes empresas está entre desenvolvimento interno e ferramentas de ETL prontas.
![Page 18: ETL - Extração Transformação e Carga de Dados](https://reader038.vdocuments.com.br/reader038/viewer/2022102510/5572113c497959fc0b8ea129/html5/thumbnails/18.jpg)
• Informatica Power Center• SAS• SSIS• SAP• IBM• ORACLE• Pentaho Kettle
![Page 19: ETL - Extração Transformação e Carga de Dados](https://reader038.vdocuments.com.br/reader038/viewer/2022102510/5572113c497959fc0b8ea129/html5/thumbnails/19.jpg)
![Page 20: ETL - Extração Transformação e Carga de Dados](https://reader038.vdocuments.com.br/reader038/viewer/2022102510/5572113c497959fc0b8ea129/html5/thumbnails/20.jpg)
![Page 21: ETL - Extração Transformação e Carga de Dados](https://reader038.vdocuments.com.br/reader038/viewer/2022102510/5572113c497959fc0b8ea129/html5/thumbnails/21.jpg)
![Page 22: ETL - Extração Transformação e Carga de Dados](https://reader038.vdocuments.com.br/reader038/viewer/2022102510/5572113c497959fc0b8ea129/html5/thumbnails/22.jpg)
![Page 23: ETL - Extração Transformação e Carga de Dados](https://reader038.vdocuments.com.br/reader038/viewer/2022102510/5572113c497959fc0b8ea129/html5/thumbnails/23.jpg)
![Page 24: ETL - Extração Transformação e Carga de Dados](https://reader038.vdocuments.com.br/reader038/viewer/2022102510/5572113c497959fc0b8ea129/html5/thumbnails/24.jpg)
![Page 25: ETL - Extração Transformação e Carga de Dados](https://reader038.vdocuments.com.br/reader038/viewer/2022102510/5572113c497959fc0b8ea129/html5/thumbnails/25.jpg)
Vantagens:• Open Source: baixo custo;• Qualidade, segurança e independência de fornecedor;• Possibilidade de adequação a necessidades específicas,
estabilidade e suporte técnico.
Desvantagens:• Por ser open source não tem suporte técnico;• É necessário investimentos com implantação,
treinamento e suporte.
Cezar Tamer – Consultoria de BiTel: (21) 8570-9797
![Page 26: ETL - Extração Transformação e Carga de Dados](https://reader038.vdocuments.com.br/reader038/viewer/2022102510/5572113c497959fc0b8ea129/html5/thumbnails/26.jpg)
• Microsoft SQL Server Integration Services
![Page 27: ETL - Extração Transformação e Carga de Dados](https://reader038.vdocuments.com.br/reader038/viewer/2022102510/5572113c497959fc0b8ea129/html5/thumbnails/27.jpg)
• Integração de dados do SAP com Flat Files manipulados para criação de hierarquia
![Page 28: ETL - Extração Transformação e Carga de Dados](https://reader038.vdocuments.com.br/reader038/viewer/2022102510/5572113c497959fc0b8ea129/html5/thumbnails/28.jpg)
• Tratamento dos dados
![Page 29: ETL - Extração Transformação e Carga de Dados](https://reader038.vdocuments.com.br/reader038/viewer/2022102510/5572113c497959fc0b8ea129/html5/thumbnails/29.jpg)
• Controle de atualização de registros
![Page 30: ETL - Extração Transformação e Carga de Dados](https://reader038.vdocuments.com.br/reader038/viewer/2022102510/5572113c497959fc0b8ea129/html5/thumbnails/30.jpg)
• Controle de dados
![Page 31: ETL - Extração Transformação e Carga de Dados](https://reader038.vdocuments.com.br/reader038/viewer/2022102510/5572113c497959fc0b8ea129/html5/thumbnails/31.jpg)
• Chaves de medidas
![Page 32: ETL - Extração Transformação e Carga de Dados](https://reader038.vdocuments.com.br/reader038/viewer/2022102510/5572113c497959fc0b8ea129/html5/thumbnails/32.jpg)
• Processando base OLAP
![Page 33: ETL - Extração Transformação e Carga de Dados](https://reader038.vdocuments.com.br/reader038/viewer/2022102510/5572113c497959fc0b8ea129/html5/thumbnails/33.jpg)
![Page 34: ETL - Extração Transformação e Carga de Dados](https://reader038.vdocuments.com.br/reader038/viewer/2022102510/5572113c497959fc0b8ea129/html5/thumbnails/34.jpg)
• ETL Market - http://www.slideshare.net/mrm0/etl-market-webcast acessado em: 08/10/2011
• Fornecedores Líderes - http://www.etltools.net/etl-tools-comparison.html acessado em: 08/10/2011
• ETL Price - http://www.adeptia.com/products/etl_vendor_comparison.html acessado em: 08/10/2011
• Trends - http://seekingalpha.com/article/184700-top-10-data-integration-trends-for-2010 acessado em: 09/10/2011
• Case Studies - http://www.etlsolutions.com/en/content/cms/case-studies/ acessado em: 09/10/2011
• Jitterbit - www.jitterbit.com/Solutions/etl-data-integration acessado em: 09/10/2011• Wherescape - www.wherescape.com/products/wherescape-red/ acessado em:
10/10/2011• Pentaho - http://sourceforge.net/projects/pentaho/files/ acessado em: 09/10/2011• Pentaho -
http://wiki.softwarelivre.org/pub/PentahoBrasil/Documentos/Pentaho_3_5.pdf acessado em: 09/10/2011
• Microsoft SQL Server 2008 Integration Services: Problem Design Solution