apostila odi 11g portugues

7/18/2019 Apostila ODI 11g Portugues

1/383

www.it-ebooks.info


2/383

Primeiros passos com o OracleData Integrator 11g:

A Hands-On Tutorial

Combine alto volume de movimentao de dados, complexotransformaes e integrao em tempo real de dados comas capacidades robustas de ODI neste guia prtico

Peter C. Boyd-Bowman

Christophe Dupupet

Denis Cinza

David Hecksel

Julien Testut

Bernard Wheeler

experincia profissional destiladoH P L B L I S I N G

BIRMINGHAM - MUMBAI

www.it-ebooks.info


3/383

Introduo ao Oracle Data Integrator 11g:A Hands-On Tutorial

Copyright 2012 Packt Publishing

Todos os direitos reservados. Nenhuma parte deste livro pode ser reproduzida, armazenada em umsistema, ou transmitida de qualquer forma ou por qualquer meio, sem a prvia por escrito permisso da editora, exceto no caso de breves citaes embutidas emartigos crticos ou revises.

Todos os esforos foram feitos na preparao deste livro para garantir a precisoda informao apresentada. No entanto, a informao contida neste livro vendidos sem garantia, expressa ou implcita. Nem os autores, nem PacktPublicar, e os seus revendedores e distribuidores sero responsveis por quaisquer danoscausado ou alegadamente causado direta ou indiretamente por este livro.

Packt Publishing tem se esforado para fornecer informaes sobre a marca registrada de todos os empresas e produtos mencionados neste livro atravs da utilizao adequada de capitais. No entanto, Packt Publishing no pode garantir a preciso das informaes.

Data de publicao: maio 2012

Referncia Produo: 1180512

Publicado por Packt Publishing Ltd.Lugar Livery35 Street LiveryBirmingham B3 2PB, Reino Unido.

ISBN 978-1-84968-068-4

www.packtpub.com

Imagem da capa por David Gutierrez ([email protected])

www.it-ebooks.info


4/383

Crditos

AutoresPeter C. Boyd-BowmanChristophe DupupetDenis Cinza

David HeckselJulien TestutBernard Wheeler

RevisoresUli BethkeKevin Glenny

Maciej KoconSuresh Lakshmanan

Ronald RoodEditor de aquisio

Stephanie Moss

Levar Editor TcnicoHyacintha D'Souza

IndexadorHemangini Bari

GrficosValentina D'silva

Manu JosephCoordenador de Produo

Prachali Bhiwandkar

Cubra TrabalhoPrachali Bhiwandkar

Coordenador de ProjetosJoel Goveya

RevisorKatherine Tarr

Editores tcnicosVeronica FernandesJoyslita D'Souza

www.it-ebooks.info


5/383

www.it-ebooks.info


6/383

Prefcio

A 26 de maio de 2011 edio da revista The Economist cita um relatrio da McKinsey aGlobal Institute (MGI) sobre os dados tornando-se um fator de produo, como a fsica ou capital humano. Em toda a indstria, as empresas esto investindo recursos significativos no valor de aproveitamento de grandes quantidades de dados para inovar, competir, e reduzircustos operacionais.

luz desse enfoque global sobre exploso de dados, a revoluo de dados e anlise de dadosos autores deste livro no poderia ter escolhido um momento mais apropriado parapartilhar a sua viso nica e ampla experincia tcnica em alavancar o Oracle Data Integrator (ODI) para entregar principais iniciativas de integrao de dados em empresas globais.

Oracle Data Integrator constitui um produto fundamental na integrao de dados Oracle produtocarteira. ODI arquitetura do produto construdo em alto desempenho ELT, com orientaoprincpios que so: facilidade de uso, evitando caros servidores mid-tier de transformao,e flexibilidade de integrao com plataformas heterogneas.

Estou muito contente que os autores, seis dos principais especialistas em Oracle Data Integrator11g decidiram partilhar o seu conhecimento profundo do ODI em uma maneira fcil de seguirque cobre o material sujeito tanto de um conceitual e uma implementaoaspecto. Eles cobrem como ODI aproveita prxima gerao Extract-Load-Transformaotecnologia para proporcionar desempenho extremo para permitir estado da arte das soluesque ajudam a oferecer anlises ricas e inteligncia de negcios superior em dados modernos ambientes de armazenamento. Usando um fcil de seguir abordagem prtica, os autoresorientar o leitor atravs sucessivamente complexa e desafiadora integrao de dadostarefas a partir do bloqueio de base e combater de criar interfaces utilizam uma multiplicidade de tecnologias de origem e de destino, para tpicos mais avanados ODI como fluxos de trabalho dedados,gesto e monitoramento, agendamento de anlise de impacto, ea interface com a ODI Web Services. Se o seu objetivo o de alavancar o seu conhecimento ODI 11g e produtividade para entregar rapidamente o valor do negcio, voc est no caminho certo. Cavar, e Integrar.

Alok PareekVice-presidente de Integrao do produto / Gesto de DadosA Oracle

www.it-ebooks.info


7/383

Sobre os Autores

Corporation. Ele tem mais de 30 anos de engenharia de software e banco de dadosexperincia de gesto, incluindo 12 anos de interesse focada em armazenamento de dados e inteligncia de negcios. Capitalizando sua extensa experincia em Oracletecnologias de banco de dados que remonta a 1985, ele passou os ltimos anos especializada em migrao de dados. Depois de muitas implementaes de projetos bem sucedidos usando o Oracle Warehouse Builder e logo aps a aquisio da Oracle do SunopsisCorporation, ele mudou sua rea de foco ao longo de produto da Oracle emblemtica ETL: O Oracle Data Integrator. Ele graduado em Administrao Industrial eCincia da Computao da Universidade de Purdue e atualmente reside na Carolina do Norte.

Peter C. Boyd-Bowman Diretor de Consultoria Tcnica com o Oracle

Nessa funo, ele se concentra no programa de atendimento ao cliente onde ele trabalha em estreitacolaborao com

clientes estratgicos execuo ODI. Antes da Oracle, ele fez parte da equipe que iniciou as operaes para Sunopsis em os EUA (Sunopsis criou o produto e ODI foi adquirida pela Oracle em 2006).Ele possui um grau de Pesquisa Operacional EISTI na Frana, um mestradoem Pesquisa Operacional da Florida Tech, e um Certificado em Gesto deUniversidade de Harvard.

Ele escreve blogs (entradas principalmente tcnicas) em http://blogs.oracle.com/dataintegration bem como white papers.

Um agradecimento especial a minha esposa, Viviane, e trs filhos, Quentin,Audrey, e Ins, pela sua pacincia e apoio ao longonoites e fins de semana passou sobre este livro.

Christophe Dupupet Diretor de Gerenciamento de Produtos para ODI da Oracle. Em

www.it-ebooks.info


8/383

David Hecksel um Arquiteto de Integrao de Dados da Oracle principal. Residente emDallas, Texas, ele se juntou a Oracle em 2006, como um arquiteto de Pr-vendas do Oracle FusionMiddleware. Seis meses depois de entrar, ele se ofereceu para adicionar pr-venda cobertura paraum produto adquirido recentemente chamado Oracle Data Integrator eo resto (incluindoa escrita deste livro) tem sido um trabalho de amor trabalhar com uma plataformaea soluo que fornece simultaneamente a produtividade do usurio e fenomenalsistema de ganhos de desempenho para as tradicionalmente separadas reinos TI carreira de DadosWarehousing, arquitetos Orientadas a Servios, e os desenvolvedores de Business Intelligence.Antes de ingressar na Oracle, ele passou seis anos com a Sun Microsystems em seu dom.Java Center e foi CTO durante quatro anos na Axtive Software, arquitetura edesenvolvimento do marketing um-para-um e vrios plataformas web de personalizao taiscomo e.Monogram. Em 1997, ele tambm inventou, arquitetado, desenvolvido e comercializado opremiado JCertify produto on-line da indstria eletrnica de primeira entregaestudar o contedo e simulao do exame para a certificao exame Programador Java. Prvio Software para Axtive, ele estava com a IBM por 12 anos como desenvolvedor de software e trabalhano sistema operacional, gesto, armazenamento e produtos de software de rede. Eledetm uma B.S. em Cincia da Computao da Universidade de Wisconsin-Madison e um

Mestrado em Administrao de Empresas pela Universidade de Duke.

Julien Testut gerente de produto no grupo Integrao de dados Oracle com focoem Oracle Data Integrator. Ele tem uma extensa experincia em integrao de dadosDados e tecnologias de qualidade e solues. Antes de ingressar na Oracle, ele era umAplicaes Engenheiro Sunopsis que depois foi adquirida pela Oracle. Ele possui umMestrado em Engenharia de Software.

Eu gostaria de agradecer a minha esposa Emilie por seu apoio e pacincia enquanto eu estava trabalhando neste livro. Um agradecimento especial a minhafamlia eamigos tambm.

Eu tambm quero agradecer Christophe Dupupet para a conduo de todo ocaminhoem toda a Frana em um dia de vero para se encontrar comigo e me dar a oportunidade de se juntar Sunopsis. Obrigado tambm aos meus colegas quetrabalhar e ter trabalhado em Oracle Data Integrator no Oracle eSunopsis!

www.it-ebooks.info


9/383

Bernard Wheeler um cliente Diretor de Solues da Oracle no Reino Unido, ondeele se concentra em Gesto da Informao. Ele tem sido na Oracle desde 2005, trabalhando em pr-venda funes tcnicas cobrindo Business Process Management, SOA, e DadosTecnologias de integrao e solues. Antes de ingressar na Oracle, ele ocupou vrios pr-vendas, consultoria e de marketing com fornecedores como a Sun Microsystems,Forte Software, Borland, e Sybase, bem como trabalhado por um certo nmero de sistemasintegradores. Ele formado em Engenharia pela Universidade de Cambridge.

www.it-ebooks.info


10/383

Sobre os Revisores

gesto, tais como anlise de dados, arquitetura de dados, modelagem de dados, migrao de dados e integrao, ETL, qualidade de dados, limpeza de dados, inteligncia de negcios de banco de dados, administrao, minerao de dados e data warehousing corporativo. Ele j trabalhou emfinanas, a indstria farmacutica, educao e varejo.

Ele tem mais de trs anos de experincia em ODI 10g e 11g.

Ele um consultor de Armazm de Dados independente com sede em Dublin, na Irlanda. Tem solues de inteligncia de negcios implementados para vrias organizaes blue chip Europa e Amrica do Norte. Ele corre um blog ODI em www.bi-q.ie.

Eu gostaria de agradecer a Helen por sua pacincia comigo. O seu lugar na o cu est garantido. Eu tambm gostaria de agradecer a minha beb pequeno Ruair. Voc um homem de gs.

Uli Bethke tem mais de 12 anos de experincia em vrias reas de dados

Kevin Glenny tem experincia internacional de engenharia de software, que incluitrabalhar para Infraestrutura Grid Europeia (EGI), interligando os ncleos de CPU e 140K25 petabytes de armazenamento em disco. Ele altamente avaliado Consultor Oracle, com quatroanosde experincia em consultoria internacional para empresas blue chip. Ele especialista na rea de OLAP escalvel e sistemas OLTP, edifcio em sua computao Grid fundo. Ele tambm autor de inmeros artigos tcnicos e de sua indstria insights podem ser encontradas no blog de sua empresa em www.BigDataMatters.com.

GridwiseTech, como Oracle Partner of the Year 2011, o especialista independentena escalabilidade de dados e de grande porte. A empresa oferece robustas arquiteturas de TI paradados significativos e cargas de processamento. GridwiseTech opera globalmente e serveclientes que vo desde empresas Fortune Global 500 para o governo e academia.

www.it-ebooks.info


11/383

Maciej Kocon tem sido no setor de TI h 10 anos. Ele comeou sua carreira como Programador de banco de dados de aplicativos e rapidamente desenvolveu uma paixo pelo SQL linguagem, processamento de dados e anlise.

Ele entrou no reino de armazenagem de dados e BI e tem se especializado no design de EL-T estruturas para a integrao de grandes volumes de dados. Sua experincia abrange aciclo de vida do armazm cheio de dados em vrios setores, incluindo servios financeiros, varejo, setor pblico, telecomunicaes e pesquisa clnica.

Para relaxar, ele gosta de nada mais do que tomar ao ar livre de sua cmera para uma sesso de fotos.

Ele pode ser contatado em seu blog pessoal http://artofdi.com.

fornecimento de solues tcnicas e arquitetnicas para os seus clientes em produtos da Oracle espao. Ele tem sete anos de experincia tcnica com alta disponibilidade do Oracle Bancos de dados / aplicaes.

Suresh Lakshmanan est atualmente trabalhando como Consultor Snior em Keane Inc.,

Antes de ingressar na Keane Inc., ele trabalhou como consultor da Sun Microsystems emCluster implementaes do Oracle E-Business Suite para a equipe TSO. Ele tambmtrabalhou com a Oracle India Pvt Ltd para EFOPS equipe especializada em Oracle DBA Bancos de dados, o Oracle E-Business Suite, Oracle, servidores de aplicativos e OracleDemantra. Antes de entrar para a Oracle ndia, ele trabalhou como consultor para a GE Energy especializada em tecnologias de ncleo da Oracle.

www.it-ebooks.info


12/383

Suas principais reas de interesse incluem alta disponibilidade / sistema de alto desempenho design e design de soluo de recuperao de desastres para os produtos da Oracle. Ele tem um MBALicenciatura em Sistemas de Computao da Universidade de Madurai Kamaraj, Madurai, na ndia.

Ele fez seu Bacharelado em Engenharia em Cincia da Computao pela Faculdade de PSGTecnologia, Coimbatore, ndia. Ele tem escrito vrios artigos relacionados com o Oracle em seu blog que pode ser encontrada em http://applicationsdba.blogspot.come pode seratingida a meet.lsuresh @ gmail.com.

Em primeiro lugar eu gostaria de agradecer a Sri Krishna, para continuamenteguiando-me e dando-me fora, coragem e apoio emtodos os esforos que empreender. Eu gostaria de agradecer aos meus paisLakshmanan e Kalavathi por suas bnos e encorajamentosapesar de eu viver 9.000 milhas longe deles. Palavras no podem expressara quantidade de sacrifcio, a dor, e resistncia a que foram submetidospara criar e educar o meu irmo, minha irm, e eu. Tiremos o chapu para voc tanto por suas contribuies em nossas vidas. Gostaria de agradecer ao meu irmoSrinivasan e minha irm Suganthi. Eu no poderia ter feito nadasem o seu amor, apoio e pacincia. No h nada mais importante na minha vida do que a minha famlia. E isso uma prioridade que ser nunca mudam. Eu gostaria de agradecer a autores e David HeckselBernard Wheeler por me dar a oportunidade de rever este livro. EMeus agradecimentos especiais para Reshma, Poorvi, e Joel por sua pacinciaenquanto se aguarda uma resposta de mim durante os meus comentrios.

Ele tem construdo e gerido bases de dados de cluster em plataforma sobre todos e cada um que a Oracle j apoiou, desde os bancos de dados famosos OPS na verso 7 at os ltimos lanamentos RAC, a verso atual sendo 11g. Ele est constantemente procura formas de obter o mximo de valor do banco de dados para fazer o investimento para a sua clientes ainda mais valiosos. Ele sabe como lidar com o poder do Unix rico ambiente muito bem e isso o que faz dele um solucionador de problemas de primeira classe e soluo arquiteto. Alm das lnguas faladas tais como Holands, Ingls, Alemo,e francs, ele tambm escreve fluentemente em muitas linguagens de script.

Ronald Rood um inovador DBA Oracle com mais de 20 anos de experincia em TI.

www.it-ebooks.info


13/383

Atualmente, ele um Consultor Principal trabalhando para Ciber na Holanda, ondeele cooperar em muitos projetos complexos para grandes empresas, onde o tempo de inatividade no

uma opo. Ciber (CBR) uma Platinum Partner Oracle e comprometidos com o limite.Ele sempre responde em fruns do orculo, escreve seu prprio blog chamado Desde que os errosaprender ... (http://ronr.blogspot.com), Escreve para vrias revistas relacionados Oracle,e tambm escreveu um livro, Dominar a Oracle Scheduler em bancos de dados Oracle 11g ondeEle preenche a lacuna entre a documentao do Oracle e dvidas dos clientes. Ele Tambm fez parte das equipas tcnicas de reviso para Oracle 11g Aplicao R1/R2 realClusters Essentials e A Oracle Information Integration, migrao e consolidao, tantopublicada pela Packt Publishing.

Ele tem muitas certificaes para o seu crdito, alguns deles so o Oracle Certified Master, Oracle Certified Professional, Oracle Database 11g Especialista Sintonia, Banco de Dados Oracle11g de Data Warehouse Especialista em Implementao Certificada.

Ele preenche seu tempo com a Oracle, a sua famlia, pra-quedismo, rdio avio modelo controlado voando, executando um grupo de escotismo, e ter muita diverso.

Ele acredita que "Um problema apenas um desafio que pode levar um pouco de tempo pararesolver".

www.it-ebooks.info


14/383

www.PacktPub.com

Arquivos de suporte, livros, ofertas de desconto e maisVoc pode querer visitar www.PacktPub.com para arquivos de suporte e downloads relacionados aseu livro.

Voc sabia que Packt oferece verses de eBook de cada livro publicado, com PDF e ePubarquivos disponveis? Voc pode atualizar para a verso e-book em www.PacktPub.com e como uma impressocliente livro, voc tem direito a um desconto na cpia eBook. Entre em contato com a gente [email protected] para mais detalhes.

Em www.PacktPub.com, voc tambm pode ler uma coleo de artigos tcnicos livres, inscreva-se para umsrie de boletins informativos gratuitos e receber descontos e ofertas exclusivas em livros Packt e eBooks.

http://PacktLib.PacktPub.comVoc precisa de solues imediatas s suas perguntas de TI? PacktLib o livro on-line Packt digitaisbiblioteca. Aqui, voc pode acessar, ler e pesquisar em toda a biblioteca de Packt de livros.

Por que assinar?

Totalmente pesquisvel atravs de cada livro publicado pela PacktCopiar e colar, imprimir e marcar contedoNa demanda e acessvel via web browser

Acesso livre para correntistas PacktSe voc tem uma conta com a Packt www.PacktPub.com, voc pode usar isso para acessarHoje PacktLib e vista nove livros totalmente gratuitos. Basta usar as suas credenciais de login paraacesso imediato.

Atualizaes instantneas sobre Livros PacktNovasSeja avisado! Saiba quando novos livros so publicados seguindo @ PacktEnterprise emTwitter, ou a Packt Empresa Pgina do Facebook.

www.it-ebooks.info


15/383

www.it-ebooks.info


16/383

ndice analtico

PrefaciarCaptulo 1: Viso geral do produto

ODI produto arquiteturaODI repositrio

Viso geral repositrioLocal do repositrioMestre repositrioRepositrio de trabalhoRepositrio de execuoCiclo de gesto e repositrios

111

1315151616171718

EstdioAgenteConsoleOracle Enterprise ManagerConceitos-chave ODIContextos de execuoMdulos de ConhecimentoModelosInterfaces

Descries de interfaceMapeamentos de interfaceGuia o fluxo de interfaceControles de interface

192224262627283031

Captulo 2: Instalao do produto

Pacotes e CenriosResumo

Pr-requisitosPr-requisitos para o repositrioPr-requisitos para o Oracle Universal Installer

35

353636

3434

31313234

www.it-ebooks.info


17/383

ndice analtico

Captulo 3: Usando variveis

Pr-requisitos para o StudioPr-requisitos para o Agente Autnomo

Instalando ODI 11gDois modos de instalaoCriando o repositrio com controle remotoInstalando o Studio ODI eo Agente ODI Iniciando o Estdio ODI pela primeira vez

Publicar instalao de parmetros arquivos de revisoResumo

A definio de variveisLocalizao varivel e escopoDefinies de variveisVariveis refrescantes

Histria varivelUsando variveis para informao dinmicaAtribuir um valor a uma varivel

A definio de um valor embutidoVarivel de atualizaoPassado como um parmetro (Declare Varivel)

7171717273

747475

363737373850676970

Captulo 4: Fontes ODI, metas e mdulos de conhecimentoDefinir esquemas fsicos, esquemas lgicos, e ContextosDefinindo servidores de dados fsicosDefinindo Esquemas fsicas

Dados esquemas e esquemas de trabalho

Referenciando variveisVariveis em interfacesVariveis em modelosVariveis em topologia

Usando variveis para alterar os fluxos detrabalhoPacotesPlanos de cargaResumo

85868690

7777798080808283

757676

Definio de esquemas lgicos e ContextosBanco de dados no-tecnologiasEngenharia reversa metadados em ODI modelosPadro de engenharia reversaPersonalizado engenharia reversa

Arquivo de engenharia reversaXML engenharia reversa

[Ii]

9294100101102

103104

90

www.it-ebooks.info


18/383

ndice analtico

Captulo 5: Trabalhando com bancos de dados

Examinar a anatomia do fluxo de interfaceExemplo 1: Banco de dados e arquivo de banco de dados Exemplo 2: arquivo e banco de dados para o segundo

arquivoExemplo 3: Arquivo para Enterprise ApplicationImportar e escolher mdulos de conhecimentoEscolher mdulos de conhecimentoImportando um Mdulo de ConhecimentoKMS-Uma rpida olhada sob o capComportamento configurar com opes KM

Examinando Interfaces ODIGuia Viso GeralGuia MapeamentoGuia FluxoQuick-guia Editar

Resumo

Descrio cenrio de exemploAlvo de IntegraoFonte de integraoMapeamentos de integraoFluxo logstico de dados

Exerccio 1: Construindo a interface Load_CustomerCriando a topologiaEngenharia reversa de metadados do modeloMovendo os dados usando uma interface ODIVerificao da execuo com o Navegador Operador

Resumo

O que voc pode e no pode fazer com o MySQLTrabalhar com o MySQL

Viso geral da tarefaIntegrando os dados do produto

Integrao de dados de inventrio

Obter e instalar o software

127128128129129130131131141148165175

178178

105105108110112112114115117119120121123125126

Captulo 6: Trabalhando com MySQL 177

179

Produto alvo de dados, fontes e mapeamentosProdutos de logstica de fluxo de interface

Alvo de inventrio, fontes e mapeamentosInventrio de logstica de fluxo de interface

179180

182

180181

182183

Usando MySql com ODIAdicionando o driver JDBC MySQL

183184

[Iii]

www.it-ebooks.info


19/383

ndice analtico

Captulo 7: Trabalhando com o Microsoft SQL ServerExemplo: Trabalhar com o SQL ServerViso geral da tarefaIntegrar os dados de vendas

FonteAlvoIntegraes

Expandir a topologiaEngenharia reversa revisitadoPreparando para mover os dados do produtoUsando simulao e execuoMovendo os dados de inventrio

Resumo

211211212212

185188190197201209

Cenrio de exemploExpandindo a topologia ODI

Configurar a topologiaEngenharia reversa metadados do modeloCriao de interfaces e mapeamentosCarga interface de Vendas PessoaCarga mapeamento Vendas Pessoandice de Gesto automtica temporriaCarga de interface de vendas da regioVerificao da execuo com o Navegador Operador

Executar a carga interface de Vendas PessoaVerificar e analisar a carga de Vendas resultados PessoaVerificar e analisar os resultados de carga da regio de vendas

215215

215219221221223227229232

212213213

Captulo 8: Integrao de dados de arquivosResumo

Trabalhando com arquivos simplesEscopoPr-requisitos para arquivos simplesIntegrar os dados do arquivo em uma tabela Oracle

Passo-a-passo exemploExpandindo a topologia para manipulao de

arquivosAnalisando o Parceiro

Alvo parceiro de dados, fonte e mapeamentosParceiro de logstica de fluxo de interface

239240240240241

243244247

237

232233236

241242

Resumo

Criao e elaborao do projetoCriando a interface para integrar os dados ParceiroExecutar a interface

261

255256258

[Iv]

www.it-ebooks.info


20/383

ndice analtico

Captulo 9: Trabalhando com arquivos XMLIntroduo ao XMLApresentando o ODI driver JDBC para XML

ODI e seus XML-driver conceitos bsicosExemplo: Trabalhar com arquivos XMLRequisitos e fundoEscopoViso geral da tarefa

263263265265268268269269

Cenrio de exemplo: Integrando um arquivo simples Ordem de Compra Expandindo a topologiaEngenharia reversa metadadosCriando a interface

Criao de procedimentos

A integrao de um pedido de compra de um arquivo XMLCriao de modelos a partir de arquivos XMLIntegrando os dados de uma nica ordem de compraSolteiro ordem fluxo logstico de interface

274

269270270272

274278280

288

Captulo 10: Criao de fluxos de trabalho pacotes e planos de cargaPacotesCriando um pacoteIncluindo as etapas em um pacoteAdicionar ferramentas em um pacote

Mudou de captura de dadosDeteco de eventosArquivosInternetMetadados

ODI ObjetosPluginsSAPUtilitriosAdio de ferramentas para umpacoteUsando ferramentas ODI

Resumo295295295297299

293

Repetir contra falharMelhores prticas: No loop infinitoGerando um cenrio de um pacote

Planos de cargaPassos serial e paralelaObjetos que podem ser usados em um Plano de

Carga

Manipulao de exceoUsando pacotes e planos de cargaResumo

[V]

301302302303304304305

307307

299299299299300

300300300300300300

www.it-ebooks.info


21/383

ndice analtico

Captulo 11: Gesto de Erro

Qualidade de dados com restries ODIODI prefixo da tabela de erroContedo de uma tabela de errosUsando o controle de fluxo e controle deestticaUtilizando os limiares de erro

Gerenciando erros de dadosDetectar e desviar erros de dados

309310310310313314314316

318Corrigindo erros de dados e reciclagem

Gerenciando erros de execuoTratamento de erros esperados

Erros de reciclagem e atualizao chaves ODI316

Manuseio inesperados em tempo de design erros

Manipulao de erros de execuo inesperadosTratamento de erros operacionais

Resumo

Causando um erro deliberado benigna com OdiBeep

Investigao de erro mais detalhadas no Navigator Operador

319319

321

324326

327

320

322

Captulo 12: Gerenciando e monitorando Componentes ODIAgendamento com o Oracle Data Integrator

Viso global

Fusion Middleware console de controleLanamento e acessar o FMCCDomnioAgente

Acesse a visibilidade do arquivo eagregao

Visibilidade repositrio

Oracle Data Integrator ConsoleLanamento e acessar ODI ConsoleLineage dadosMapa de Fluxo

Resumo

Estatsticas de sesso

VisibilidadeAgregao

Iniciar e pararResumo do desempenho

Ilustrando a programao de interface de utilizador de gestoUsando de terceiros programadores

329329330

335336336337

339

341

332334

338338

339340

341

Captulo 13: Consideraes Finaisndice 349351

342343343346347

[Vi]

www.it-ebooks.info


22/383

Prefaciar

Oracle Data Integrator-fundoe histriaOracle tem sido um fornecedor lder de banco de dados, armazenamento de dados, e outros dados tecnologias de gesto para mais de 30 anos. Mais recentemente, tambm se tornou umfornecedora lder de integrao baseada em padres, arquitetura orientada a servios (SOA)e Business Process tecnologias de automao (tambm conhecido como Middleware), BigDe dados e solues de cloud computing. Tecnologias de integrao de dados esto no corao detodos estessolues. Alm das solues tcnicas, adotando e utilizando ODI permite que a TI cruzaro abismo entre os requisitos de negcios e os desafios de integrao de dados.

Em julho de 2010, a verso 11gR1 do Oracle Data Integrator foi disponibilizado para

mercado. Oracle Data Integrator 11g (referido no restante do livro comoODI) a plataforma Oracle integrao estratgica de dados. Razes tendo desde o Oracleaquisio da Sunopsis em outubro de 2006, ODI um mercado de integrao de dados ldersoluo com recursos heterogneos sistemas de TI. Oracle tem de forma rpida e agressivamente investiu em ODI para proporcionar uma abordagem mais fcil de usar e abrangente Para satisfazer os requisitos de integrao de dados dentro de produtos de software da Oracle. Como resultado, existem dezenas de produtos Oracle, como Hyperion Essbase, Agile PLM,Processo de AIA pacotes de integrao, e Business Activity Monitor (BAM), que soa criao de um aumento explosivo do uso de ODI dentro de organizaes de TI. Se voc o uso de produtos de software da Oracle e no o ouviram ou utilizados ODI ainda, uma coisa Certifique-voc em breve!

www.it-ebooks.info


23/383

Prefaciar

Este livro no se destina a ser utilizado como referncia-livro, um meio para acelerarsua aprendizagem de ODI 11g. Ao conceber o livro, o nvel superior seguinte objetivos foram mantidos em mente:

Para destacar os principais recursos do produto em relao integrao de dadostarefas (enriquecimento, carga, qualidade e transformao) e da produtividadealcanado por ser capaz de fazer tanto trabalho com tipos de dados heterogneos ao escrever SQL to pouco

Para selecionar um cenrio de exemplo que foi variado o suficiente para fazer algumacoisatil e cobrir os tipos de fontes de dados e clientes so metas utilizar com mais freqncia (vrios sabores de banco de dados relacional, arquivosplanose de dados XML), mantendo-o pequeno o suficiente para proporcionar uma ODIexperincia de aprendizagem aceleradaPara garantir que, sempre que possvel dentro de nossos exemplos, vamos examinar onovocaractersticas e funcionalidades introduzidas com a verso 11g-primeira versode ODI arquitetado, projetado e implementado como parte do Oracle

Cenrios de uso de dados de integraoComo visto na figura a seguir, no importa o aspecto do que voc trabalhar, todos temos um elemento comum entre elas, isto , Integrao de Dados. Todo mundo quer seuinformao acessvel, up-to-date, consistente e confivel.

MDM

DWH / BI

DadosIntegrao

GrandeDados

SOA

Apps

[2]

www.it-ebooks.info


24/383

Prefaciar

Armazns de dados e BIAntes que voc pode montar as mtricas avanadas de relatrios exigidos pelos diferentes

entidades de sua empresa, voc ter que consolidar, racionalizar e organizaros dados. Sistemas operacionais esto muito ocupados servir os seus clientes a ser sobrecarregada por consultas de relatrios adicionais. Alm disso, eles so optimizados para servir a sua aplicaes no-para fins de anlise e relatrios.

Os armazns de dados muitas vezes so projetados para suportar os requisitos de relatrios. Integrao de dados de sistemas operacionais para armazns de dados tem tradicionalmentesido a razo principal para o investimento em tecnologias de integrao: dspares e sistemas heterogneos armazenar dados crticos que devem ser consolidadas; estruturas de dadostm de ser transpostas e reorganizada. Data Integrator no excepo regrae, definitivamente, tem um papel importante nestas iniciativas.

Ao longo deste livro, vamos abordar os casos de integrao de dados que so tpicas derequisitos de integrao encontrados em um ambiente de armazenamento de dados.

Arquitetura orientada a servios (SOA)Arquitetura orientada a servios incentiva o conceito de virtualizao de servios. Comoconseqncia, a localizao fsica real de que os pedidos de dados so resolvidos de menos preocupao para os consumidores de servios baseados em SOA. As implementaes SOAdependemem grandes quantidades de dados a ser processados de modo a que os servios construdo no topododados podem servir a informao apropriada. ODI desempenha um papel crucial em muitos SOA implementaes como Ele integra perfeitamente com servios web. No estamos focandoas especificidades de servios web neste livro, mas toda a lgica de movimentao de dados e transformaes que ODI iria realizar quando se trabalha em um ambiente SOApermaneceria a mesma que as descritas no livro.

AplicaesMais e mais aplicativos tm suas prprias necessidades em termos de dados integrao. Como tal, cada vez mais aplicaes utilizar uma ferramenta de integrao de dados para efectuar todas estas operaes: os fluxos gerados um melhor desempenho, so mais fceis de criar e de manter. No deve ser nenhuma surpresa ento que ODI usado sob o capas de dezenas de aplicaes. Em alguns casos, o cdigo ODI visvel e pode ser modificada pelos utilizadores das aplicaes. Em outros casos, o cdigo est operando"Por trs das cenas" e no se torna visvel.

[3]

www.it-ebooks.info


25/383

Prefaciar

Em todos os casos, porm, as melhores prticas de desenvolvimento mesmo, e as regras de designsoaplicada. Para a maior parte, os desenvolvedores de aplicativos ir usar as mesmas tcnicas e

melhores prticas ao utilizar ODI. E se voc tem que personalizar essas aplicaes, o lies aprendidas com este livro ser igualmente til.

Master Data ManagementA justificativa para Master Data Management (MDM) solues para normalizar os dadosdefinies. Tomemos o exemplo de referncias de clientes de uma empresa, por exemplo. O aplicativo de vendas tem uma definio para os clientes. O aplicativo tem suporte sua prpria definio, assim como a aplicao financeira, bem como a aplicao de envio. O objetivo do MDM solues fornecer uma definio nica de informao, de modoque todas as entidades de referncia os mesmos dados (versus cada uma com sua prpria definio). Mas a troca e transformao de dados a partir de um ambiente para o outro pode s pode ser feito com uma ferramenta como o ODI.

Big DataA exploso de dados na era da informao est oferecendo novos desafios para a TIorganizaes, muitas vezes referenciado como Big Data. As solues para Big Data muitas vezesdependemno processamento distribudo para reduzir a complexidade do processamento de volumes gigantescosde dados. Delegar e distribuir processamento o que faz com a sua ODI ELT arquitetura. Como projetos de implementao de novos concebido, ODI est pronto parasubscrever as novas infra-estruturas. Ns no vamos olhar para implementaes de Big Datacom ODI neste livro, mas voc tem que saber que est pronto para ODI Big Data integrao como de seu lanamento 11.1.1.6.

O que este livro cobreO objetivo nmero um deste livro fazer com que voc familiar, confortvel e bem sucedida com o uso de Oracle Data Integrator 11gR1. Para conseguir isto, a maior parte do livro um conjunto de hands-on passo-a-passo tutoriais que construir um processamento de ordem no-trivialsoluo que voc pode correr, testar, monitorar e gerenciar.Captulo 1, Viso geral do produto, voc fica at a velocidade rapidamente com o produto 11g ODIe terminologia examinando o ODI arquitetura do produto 11g e conceitos.

Captulo 2, instalao do produto, fornece as instrues necessrias para o sucessodownload, instalao e configurao de ODI 11g.

[4]

www.it-ebooks.info


26/383

Prefaciar

Captulo 3, utilizando variveis, um captulo que pode ser lido fora de seqncia. Abrangevariveis em ODI, um conceito que vai permitir que voc tenha um cdigo muito dinmico. Iremos mencionar variveis nos captulos posteriores, portanto, ter esta referncia precoce pode ajudar.

Captulo 4, Fontes ODI, metas e mdulos de conhecimento, uma introduo geral aoas principais caractersticas do ODI Studio. Ele tambm ir explicar como eles so mapeados paraconceitos fundamentaise atividades de tarefas de integrao de dados, tais como fontes, metas e como os dados fluem entre eles.Captulo 5, Trabalhando com bancos de dados, o primeiro captulo que vai mostrar como usarODI Studio para trabalhar com bancos de dados: como se conectar a bancos de dados, como engenharia reversa de metadados, como projetar transformaes, e como reveras execues. Este captulo especificamente concentrar-se em conexo com o Oracle bases de dados, e ser uma linha de base para os captulos 6-9.

Captulo 6, Trabalhando com o MySQL, introduz os requisitos de se trabalhar comuma tecnologia diferente: MySQL. Vamos expandir sobre as tcnicas abordadas nocaptulo anterior, com uma descrio de como incorporar a junta, pesquisas, eagregaes nas transformaes.

Captulo 7, Trabalhando com o Microsoft SQL Server, ir expandir os exemplos com utilizaode ainda outro banco de dados, desta vez Microsoft SQL Server. Incidir sobre possvel alterao de transformaes: o cdigo executado na fonte, rea de preparao oualvo? Ao fazer essas escolhas, onde est o cdigo gerado no operador? Ns tambm detalhar como aproveitar o editor de Expresso ODI para escrever otransformaes, e como ter ODI criar um ndice temporrio para melhorar ainda maisintegrao de desempenho.

Captulo 8, Integrao de dados de arquivos, introduzir a noo de arquivos simples e incidir sobre as diferenas entre arquivos simples e bancos de dados.

Captulo 9, trabalhar com arquivos XML, vai se concentrar em um tipo especfico de arquivo, que XMLarquivos. Este captulo ir mostrar como fcil com ODI para analisar arquivos XML com padro consultas SQL.Captulo 10, criando fluxos de trabalho-pacotes e planos de Carga, ir mostrar-lhe comoorquestrar o seu trabalho e ir alm do bsico de integrao.

Captulo 11, Gerenciamento de erro, vai explorar em profundidade o tema da gesto de erro:dados de erro contra erros de processo, como prend-los, e como lidar com eles.

Captulo 12, gerir e monitorizar componentes ODI, terminar com aaspecto de gesto dos processos, especialmente no que diz respeito ao agendamento para dos postos de trabalho criados com ODI.

[5]

www.it-ebooks.info


27/383

Prefaciar

Se no bvio pelo tempo que voc terminar de ler este livro, realmente gosto ODI11gR1. Esses sentimentos foram ganhos por escolhas de arquitetura slida e umanvel de investimento que permite que a inovao floresa-de agrupamento novo agente

e recursos de gerenciamento de integrao com qualquer tamanho de sistema, incluindo omaiores armazns de dados usando o Oracle, o Exadata, Teradata, e outros a partir de arquivos de dados na memria cache.

O que voc precisa para este livro

Banco de dados Oracle (10g ou 11g)

Microsoft SQL Server (2005 ou 2008)

MySQL 5 e superior

Se voc quiser seguir os exemplos em seu prprio ambiente, voc vai precisar de: Oracle Data Integrator 11g

RCU (Oracle Utilitrio de criao de repositrio) e Java 1.6(Necessrio para o Oracle Universal Installer que instala ODI)

Quem este livro paraEste livro destinado para aqueles que esto interessados, ou responsvel, o contedo, frescor, de movimento, acesso, ou a integrao com os dados. Papis de trabalho que so um provvelcoincidir com os desenvolvedores incluem ETL, Especialistas de Data Warehouse, BusinessIntelligenceAnalistas, administradores de banco de dados, programadores de banco de dados, Enterprise oudados

Arquiteto, entre outros.Os interessados em, ou responsvel, data warehouses, data marts, dados operacionaislojas, relatrios e servidores analticos, dados em massa de carga / movimento / transformao, real- tempo de Business Intelligence, e / ou MDM vai encontrar este material de interesse particular.

Nenhum conhecimento ou experincia prvia com o Oracle Data Integrator necessrio ouassumido. No entanto, pessoas com experincia em programao com SQL ou desenvolvimentoProcessos de ETL com outros produtos vai entender melhor como alcanar o mesmotarefas, espero ser mais produtivas e com melhor desempenho.

Que este livro no paraEste livro no para algum que procura um tutorial sobre SQL e / ou relacionais conceitos de banco de dados. No um livro sobre recursos avanados do ODI, ou avanado tcnicas de integrao usando ODI.

[6]

www.it-ebooks.info


28/383

Prefaciar

ConvenesNeste livro, voc vai encontrar uma srie de estilos de texto que distinguir entrediferentes tipos de informao. Aqui esto alguns exemplos desses estilos, e uma explicao do seu significado.

Palavras de cdigo no texto so mostrados como segue: "Ns vamos ser a integrao dedados para oPURCHASE_ORDER tabela no data mart ".Um bloco de cdigo definido da seguinteforma:


29/383

Prefaciar

Leitor de feedbackO feedback dos nossos leitores sempre bem vinda. Deixe-nos saber o que voc pensa Neste livro, o que voc gostou ou pode ter detestado. Feedback do leitor importante paranos a desenvolver ttulos que voc realmente obter o mximo de.

Para enviar-nos um feedback geral, basta enviar um e-mail para [email protected],e mencionar o ttulo do livro atravs do tema da sua mensagem.

Se h um tema que voc tem experincia em e voc est interessado em qualquer redao ou contribuir para um livro, consulte o nosso guia sobre autor www.packtpub.com / autores.

Suporte ao cliente

Errata

Agora que voc o orgulhoso proprietrio de um livro de Packt, temos uma srie de coisas para

ajud-lo a obter o mximo de sua compra.

Apesar de ter tomado todos os cuidados para garantir a preciso do nosso contedo, os errosfazer acontecer. Se voc encontrar um erro em um dos nossos livros, talvez um erro no texto ou o cdigo-ficaramos muito gratos se voc iria relatar isso para ns. Ao fazer isso, voc podesalvar outros leitores de frustrao e nos ajudar a melhorar verses posteriores deste livro. Se voc encontrar alguma errata, informe-los visitando http://www.packtpub.com.br / apoio, A seleo de seu livro, clicando no formulrio de apresentao de errata link, einserir os detalhes de suas errata. Uma vez que seus errata so verificados, a submisso do seu sero aceitas e as erratas sero enviados para o nosso site, ou adicionado a qualquer lista de errata existentes, sob a seo Errata desse ttulo.

[8]

www.it-ebooks.info


30/383

Prefaciar

PiratariaA pirataria de material com direitos autorais na Internet um problema constante em todas as mdias.

No Packt, tomamos a proteo de nossos direitos autorais e licenas muito a srio. Se voc deparar com as cpias ilegais de nossos trabalhos, de qualquer forma, na internet, por favornos fornecer o endereo de localizao ou nome do site imediatamente para que possamos buscar uma soluo.

Por favor, entre em contato conosco [email protected] um link para o supostomaterial pirateado.

Agradecemos a sua ajuda na proteo de nossos autores, e nossa capacidade de trazervoc um contedo valioso.

QuestesVoc pode contatar-nos em [email protected] voc est tendo um problemacom qualquer aspecto do livro, e ns faremos nosso melhor para resolver isso.

[9]

www.it-ebooks.info


31/383

www.it-ebooks.info


32/383

Viso geral do produto

O objetivo do ETL (Extract, Carregar, Transform) ferramentas ajudar com a consolidaode dados que est disperso por todo o sistema de informao. Os dados so armazenados na dsparaplicaes, bancos de dados, arquivos, sistemas operacionais e em formatos incompatveis. Oconsequncias de uma tal disperso de uma das informaes pode ser terrvel, por exemplo, diferente unidades de negcios que operam em dados diferentes ir mostrar resultados conflitantes e informaes no pode ser compartilhado entre diferentes entidades do mesmo negcio.

Imagine o departamento de marketing de relatrios sobre o sucesso de sua ltima campanhaenquanto o departamento financeiro reclama de sua falta de eficincia. Ambos tmnmeros para fazer backup de suas afirmaes, mas os nmeros no correspondem!

O que poderia ser pior do que um departamento de expedio que se esfora para compreenderpedidos de clientes, ou de um departamento de suporte que no pode confirmar se um cliente atual com o seu / sua pagamento e deve realmente receber apoio? Os exemplos so infinitas.

A nica maneira de ter uma viso centralizada das informaes consolidar adados se est em um armazm de dados, uma srie de data marts ou normalizando os dados em aplicaes com Master Data Management (MDM) solues. ETLferramentas geralmente entram em jogo quando um grande volume de dados tem de ser trocado(comooposio a infra-estruturas Arquitetura Orientada a Servios, por exemplo, o que fariaser mais transao com base).

Nos primeiros dias de ETL, bancos de dados tiveram funes de transformao muito fracos. parte de usar uma insero ou uma instruo select, SQL uma linguagem relativamente limitado. Para executar trabalhos pesados, complexos transformaes, fornecedores juntos transformaoplataformas-as ferramentas de ETL.

www.it-ebooks.info


33/383


Com o tempo, a linguagem SQL evoluiu para incluir transformao mais e maiscapacidades. Agora voc pode ir to longe como lidar com hierarquias, manipulao de XML formatos, usando funes analticas, e assim por diante. No por acaso que 50 por cento dos

as implementaes de ETL existentes hoje so feitas em SQL simples scripts-SQLtorna possvel.

Este o lugar onde o ODI ELT arquitetura (Extract Transform-Load-a inversona sigla no um erro) entra em jogo. O conceito que com ELT em vez de extrair os dados a partir de uma fonte, transformando-o com um dedicado plataforma, e depois carregar no banco de dados alvo, voc vai extrair docarga de origem, no destino, em seguida, transformar-se em banco de dados destino, alavancando SQL para as transformaes.

Extrair

FonteTransformar

Carregar

ETLPlataforma

FonteExtraia / Carregar

Transformar

Fonte Alvo Fonte Alvo

ARQUIVOSARQUIVOS

Em certa medida, ETL e ELT so siglas de marketing. Quando voc olha para ODI por exemplo, possvel realizar transformaes no lado da fonte, bem como sobre o lado do alvo. Voc pode tambm dedicar algum banco de dados ou esquema para o preparo e transformao de seus dados, e pode ter algo mais semelhante a um ETLarquitetura. Da mesma forma, algumas ferramentas de ETL todos tm a capacidade de gerarcdigo SQLe para empurrar algumas transformaes ao nvel base de dados.

[12]

www.it-ebooks.info


34/383

Captulo 1

As principais diferenas, em seguida, para uma arquitectura ELT verdadeiros socomo se segue:

A capacidade de gerenciar dinamicamente uma rea de teste (localizao,

contedo,gerenciamento automtico de alteraes da tabela)A capacidade de gerar cdigo em sistemas de origem e destino da mesma forma, namesma transformao

A capacidade de gerar SQL nativo para qualquer banco de dados sobre o mercado mais-Ferramentas ETL ir gerar o cdigo para os seus prprios motores, e ento traduzir isso cdigo para o banco de dados, da a limitao a sua capacidade de gerao de sua capacidade de converter conceitos de propriedade

A capacidade de gerar DML e DDL, e para orquestrar sequncias deoperaes sobre os sistemas heterogneos

De certa forma, o objectivo de uma ferramenta de ELT fornecer o conforto de uma interface grfica com todas as funcionalidades das tradicionais ferramentas de ETL, para manter a eficincia do SQL codificao baseada em conjunto com o processamento de dados no banco de dados, e limitando asobrecargade mover dados de um lugar para outro.Neste captulo, vamos nos concentrar na arquitetura do Oracle Data Integrator 11g, comobem como os conceitos-chave do produto. Os tpicos iremos cobrir so os seguintes:

Os elementos da arquitetura, ou seja, o repositrio, o estdio, osAgentes, Console, e integrao do Oracle Enterprise Manager

Uma introduo aos conceitos-chave, ou seja, contextos de execuo do Conhecimento,Mdulos, Modelos, interfaces, pacotes, Cenrios e Planos de carga

ODI produto arquiteturaDesde ODI uma ferramenta de ELT, no requer nenhuma outra plataforma que a origem eodestinosistemas. Mas ainda so componentes ODI a serem implantados: vamos ver nesta seo que estes componentes so e onde devem ser instalados. Os componentes da arquitectura ODI so os seguintes:

Repositrio: Este o lugar onde todas as informaes tratadas por ODI armazenado,ou seja, detalhes da conectividade, metadados, regras de transformao e cenrios,cdigo gerado, os logs de execuo, e as estatsticas.

Estdio: O Studio a interface grfica do ODI. usado poradministradores, desenvolvedores e operadores.

[13]

www.it-ebooks.info


35/383


Agentes: Os agentes podem ser vistos como orquestradores para o movimento de dados etransformaes. Eles so muito leves componentes java que noexigir a sua prpria servidor vamos ver em detalhes onde podem ser instalados.

Console: O Console uma ferramenta web que permite aos usurios navegar na ODIrepositrio, mas no uma ferramenta usada para desenvolver novas transformaes. Podeser utilizado por operadores que rever a execuo de cdigo, e iniciar ou reiniciarprocessos, conforme necessrio.

O Oracle Enterprise Manager plugin para o ODI integra o monitoramento deComponentes ODI diretamente em OEM para que os administradores podem consolidaro monitoramento de todos os seus produtos Oracle em uma nica interface grfica.

Em um nvel alto, aqui a forma como os diferentes componentes da arquitetura interagir um com o outro. Os administradores, desenvolvedores e operadoresnormalmente trabalham com o Estdio ODI em sua mquina (operadores tambm tm acapacidade de usar o console para um ambiente mais leve). Todos os Estdios geralmente se conecta a um repositrio compartilhado, onde todos os metadados soarmazenados. Emtempo de execuo, o agente ODI recebe ordens de execuo (a partir do Studio, ou qualquerexterna planejador, ou atravs de uma chamada Web Service). Neste ponto, ele se conecta aorepositrio, recupera o cdigo para executar, acrescenta parmetros de ltima hora, ondenecessria (elementos como seqncias de conexo, nomes de esquema onde os dadosreside, e assim por diante), e envia o cdigo para as bases de dados para a execuo. Uma vezque obancos de dados que tenham firmado o cdigo, o agente atualiza o repositrio com o estado da execuo (com sucesso ou no, juntamente com qualquer mensagem de errorelacionado)e as estatsticas relevantes (nmero de linhas, o tempo para processar, e assim por diante).

Fonte

Da

Enviar Cdigo Repositrio

ta Leitura / Gravao

Agente

Fonte Dados AlvoEnviar Cdigo

Armazenar-Metadados-Transformao regras-Logs

taDa

ARQUIVOS

ODIEstdio

[14]

www.it-ebooks.info


36/383

Captulo 1

Agora vamos olhar para os detalhes de cada componente.

ODI repositrioPara armazenar todas as suas informaes, ODI requer um repositrio. O repositrio por padro umpar de esquemas (chamado Master e repositrios de trabalho) armazenados em um banco de dados.A menos queODI est sendo executado de uma forma quase em tempo real, de forma contnua gerao de cdigoSQL paraas bases de dados para executar o cdigo, no h necessidade de dedicar um banco de dados para oODI repositrio. A maioria dos clientes a aproveitar as instalaes do banco de dados existentes,mesmo seeles criam uma tabela especfica para ODI.Viso geral repositrioO nico elemento que voc nunca vai encontrar no repositrio so os dados reais processados por ODI. Os dados estaro na origem e de destino, e ser movidadiretamente da origem para o destino. Este um elemento chave da arquitetura ELT. Todas as outraselementos que so manipulados atravs de ODI so armazenados no repositrio. Uma maneira fcil lembrar-se que isto tudo o que visvel no estdio ODI armazenado no repositrio (exceto, claro, para os dados reais), e tudo o que salvo no ODI Studio realmente salvos no repositrio (novamente, exceto para os dados reais).

O repositrio feito de duas entidades que podem ser separadas em duas partes separadas esquemas de banco de dados, ou seja, o repositrio mestre eo repositrio de Trabalho.

Mestre TopologiaSegurana

Trabalhar Projetos(Dev) Logs

ModelosTrabalhar(Exec)

Logs

Vamos olhar para cada uma delas com mais detalhes mais tarde, mas por agora voc pode considerarque o repositrio mestre ir hospedar dados confidenciais enquanto o repositrio trabalho serhospedar relacionados ao projeto de dados. Uma verso limitada do repositrio de trabalho pode serutilizado emambientes de produo, onde o cdigo fonte no necessrio para a execuo.

[15]

www.it-ebooks.info


37/383


Local do repositrioAntes de entrar nos detalhes dos repositrios de mestre e de trabalho, vamos olhar primeiro para

onde instalar o repositrio.O repositrio normalmente instalado em um banco de dados existente, muitas vezes em separado tablespace. Mesmo que ODI um produto da Oracle, o repositrio no precisa ser armazenado em um banco de dados Oracle (mas que no usaria o melhor banco de dados no mundo?). De modo geral, os bancos de dados suportados para o repositrio ODI soOracle, Microsoft SQL Server, IBM/DB2 (LUW e iSeries), Hypersonic SQL, eSybase ASE. Verses especficas e plataformas para cada banco de dados so publicados porOracle e esto disponveis em:

http://www.oracle.com/technetwork/middleware/ias/downloads/fusion-certificao 100350.html-.

comum ver a parte de repositrio do sistema mesmo que o banco de dados destino. Vamos agora olhar para as especificidades de repositrios de Mestrado e Trabalho.

Mestre repositrio

Como afirmado anteriormente, o repositrio mestre onde os dados sensveis sero armazenados.Esta informao um dos seguintes tipos:

Todas as informaes que dizem respeito a privilgios de usurios ODI ser salvo aqui. Esta informao controlado pelos administradores atravs da SeguranaNavigator of the Studio ODI. Vamos saber mais sobre este navegador quandoolharmos para os detalhes do Studio.

Toda a informao que pertence a conectividade para os diferentes sistemas(Origens e destinos), e em especial os nomes de usurio necessrias esenhas, sero armazenados aqui. Esta informao ser gerido poradministradores atravs do Navigator topologia.

Alm disso, sempre que um desenvolvedor cria vrias verses de um mesmo objeto,as novas verses dos objetos so armazenados no repositrio mestre.Controle de verso normalmente acessada a partir do Navigator Designer.

[16]

www.it-ebooks.info


38/383

Captulo 1

Repositrio de trabalhoRepositrios de trabalho ir armazenar todos os dados que so necessrios para os desenvolvedores

para projetarsuas transformaes de dados. Todas as informaes armazenadas no repositrio de trabalho gerida atravs do Navigator Designer e Operador Navigator. A Obrarepositrio contm os seguintes componentes:

Os metadados que representa a origem eo destino mesas, arquivos, aplicaes, nibus da mensagem. Estes sero organizados em Modelos no Navegador Designer.

As regras de transformao e regras de movimentao de dados. Estes sero organizadosem Interfaces no Navegador Designer.

Os fluxos de trabalho destinados a orquestrar as transformaes e dadosmovimento. Estes so organizados em pacotes e planos de carga noNavegador Designer.

Os trabalhos de horrios, se o agente ODI usado como o planejador para o tarefas de integrao. Estes podem ser definidos no Navegador Designerou no Navigator Operador.

Os logs gerados pelo ODI, onde o cdigo gerado pode ser revisto, untamente com estatsticas de execuo e status das execues diferentes(Corrida, feito com sucesso ou no erro, na fila, e assim por diante). Os logsso acessados a partir do Navegador Operador.

Repositrio de execuoEm um ambiente de produo, a maioria dos clientes no precisa expor a fonte cdigo para os processos que esto em execuo. Alteraes dos processos que corremem produo ter que passar por um ciclo de testes de qualquer maneira, ento por armazenar o cdigo fonte onde um nunca acess-lo? Para este efeito, prope um ODIrepositrio de execuo que apenas armazena os metadados operacional, ou seja, geradoscdigo, os resultados da execuo, e estatsticas. O tipo de repositrio de Trabalho (execuo ou desenvolvimento) selecionado no momento da instalao. Um repositrio de trabalho no pode serconvertidade desenvolvimento para a execuo ou execuo para a instalao de desenvolvimento de uma novavontadeser necessria se uma converso necessria.

[17]

www.it-ebooks.info


39/383


Ciclo de gesto e repositriosNs agora sabemos que haver diferentes tipos de repositrios. Todas as empresas

equipes de desenvolvimento de aplicativos tm mais de um ambiente a considerar. O desenvolvimento de cdigo em si ocorre em um ambiente de desenvolvimento, a validao de a qualidade do cdigo tipicamente feito num ambiente de teste, e a produo ambiente prprio ter de ser separado a partir destes dois. Algumas empresas vo adicionarcamadas adicionais neste ciclo de vida, com a consolidao de cdigo (se os desenvolvedores tmremotasde combinar cdigo juntos), a aceitao do usurio (certificando-se de que o cdigo est emconformidadeao usurio expectativas), e pr-produo (certificando-se de que tudo funciona comoesperado, num ambiente que imita perfeitamente o ambiente de produo).

Mestre

Versogesto Restaurar a partir deGerenciamento de verso

Trabalhar(Dev) XML / exportao

importar

Trabalhar(Exec) XML / exportao

importar

Trabalhar(Exec)

Em todos os casos, cada ambiente ter tipicamente um repositrio de trabalho dedicado. OMestre repositrio pode ser um recurso compartilhado, desde que nenhuma barreira rede impedeacesso a partir de mestre para trabalhar repositrio. Se o ambiente de produo est por trsuma firewall, por exemplo, depois de um repositrio mestre dedicado ser necessrio para o ambiente de produo.

XML / exportaoimportar

MasterFEuR

Restaurar EWAL

TrabalharL

(Exec) XML / exportaoimportar

Mestre

Versogesto

Trabalhar(Dev) XML / exportao

importar

Trabalhar(Exec)

[18]

www.it-ebooks.info


40/383

Captulo 1

A troca de metadados entre repositrios pode ser feito em um dosdas seguintes maneiras:

Os metadados podem ser trocadas atravs de verses. Todas as diferentes versesos objetos so enviados para o repositrio mestre automaticamente pelo ODI comoeles so criados. Essas verses podem mais tarde ser restaurado para um trabalhodiferenterepositrio ligado ao repositrio mesmo Mestre.Todos os objetos podem ser exportados como arquivos XML e arquivos XML pode ser usadopara importaros objetos exportados para o novo repositrio. Esta ser a nica opo se um firewall impede a conectividade diretamente para um repositrio mestre central.

Nas representaes grficas mostrado anteriormente, o repositrio mais esquerdaobviamente, o nosso repositrio de desenvolvimento, eo repositrio direita o repositrio de produo. Por que estamos usando uma execuo para o ambiente de teste?H duas razes para isso. Eles so como se segue:

No h nenhum ponto em ter o cdigo-fonte no repositrio de teste, a fontecdigo sempre pode ser recuperada a partir dos mecanismos de verso.

O ensaio no deve ser limitado validao dos artefactos forjadaspelos desenvolvedores, o processo de migrao para a produo tambm deveser validado. Por ter a mesma configurao para o nosso ensaio e produoambientes, podemos garantir que o processo de ir de um desenvolvimentorepositrio para um repositrio de execuo foi validado tambm.

EstdioO Studio ODI a interface grfica fornecida a todos os usurios a interagir com ODI.

As pessoas que precisam usar o Studio normalmente instalar o software em seu prpriomquina e conectar a um repositrio compartilhado. A nica exceo seria quandoo repositrio no estiver na mesma rede local como o Studio. Nesse caso, a maioria dos clientes utilizao de tecnologias de servio remoto de terminais para garantir que o Studio local para o repositrio (LAN mesmo). Apenas a exibio real , ento, enviada atravs da WAN.

[19]

www.it-ebooks.info


41/383


O Studio inclui quatro navegadores que so normalmente utilizados por diferentes usurios quem pode compartilhar os mesmos objetos e do mesmo repositrio. Alguns usurios podem no ter acesso a alguns navegadores, dependendo seus perfis de segurana. Os navegadores so como se segue:

Segurana Navigator: Este navegador normalmente usado pelo sistemaadministradores, administradores de segurana e DBAs. Atravs desta interface,eles podem atribuir funes e privilgios para os diferentes utilizadores, assegurando queeles s podem ver e modificar os objetos que eles esto autorizados a manipular.

Topologia Navigator: Este navegador normalmente restrita aos DBAs eOs administradores de sistema. Atravs desta interface, declaram os sistemas deonde residem os dados (fontes, metas, referncias, e assim por diante), juntamente com

as credenciais que ODI vai usar para se conectar a estes sistemas. Desenvolvedorese operadores ir alavancar as informaes armazenadas no repositrio, masno necessariamente tm o direito de modificar, ou mesmo ver essas informaes. Eles sero fornecidos com um nome para as ligaes e isso tudo o que eles vai precisar. Vamos ver isso com mais detalhes quando nos dirigimos esquemas lgicos.

[20]

www.it-ebooks.info


42/383

Captulo 1

Designer Navigator: Este navegador usado por desenvolvedores e dadosguardies da mesma forma. Metadados so importados e enriquecido atravs destenavegador. Os metadados ento usado para definir as transformaesem objetos chamado Interfaces. As interfaces esto finalmente orquestrada emfluxos de trabalho chamados pacotes.

[21]

www.it-ebooks.info


43/383


Navegador do operador: Este navegador usado por desenvolvedores e operadores.Em um ambiente de desenvolvimento, os desenvolvedores iro utilizar o Operador vista paraverificar o cdigo gerado pelo ODI, para depurar as suas transformaes, e para

validar e entender o desempenho de seus empreendimentos. Numa produoambiente, os operadores usar esse navegador mesmo para ver quais processos soexecuo, para verificar se os processos so bem sucedidos ou no, e para verificar a o desempenho dos processos que esto sendo executados.

AgenteO Agente ODI o componente que ir orquestrar todas as operaes. Se o cdigo SQL deve ser executada por um banco de dados (origem ou destino), o agente ir se conectar ao quebanco de dados e enviar o cdigo (DDL e DML, conforme necessrio) para que o banco de dados para realizar as transformaes. Se utilitrios deve ser utilizado como parte das transformaes(Ou, mais provavelmente, como parte da transmisso de dados), ento o agente ir gerar qualquer quesejaarquivos de configurao ou arquivos de parmetros so necessrios para o utili trio, e vai invocar estautilitrio com o apropriado parmetros-SQL Loader, BCP, Multiload, e NZloadso apenas uma pequena lista de utilitrios tais.

Existem dois tipos de agente ODI, ou seja, o agente autnomo (disponvel em todos os lanamentos de ODI) eo agente JEE (disponvel com ODI 11g e depois) que funciona em topo do WebLogic Server. Cada tipo tem suas prprias vantagens, e ambos os tipos de agentes podem co-existir no mesmo ambiente:

O agente JEE vai aproveitar Weblogic em termos de alta disponibilidadee partilha das conexes.

[22]

www.it-ebooks.info


44/383

Captulo 1

Os agentes independentes esto muito leve e pode ser facilmente instalado em qualquerplataforma. Eles so pequenos aplicativos Java que no requerem um servidor.

Uma configurao comum a utilizao do agente JEE como um "Master" agente, cuja nica propsito distribuir pedidos de execuo atravs de agentes de vrias crianas. Estes as crianas podem muito bem ser os agentes autnomos. O agente principal vai saber de tudovezes que as crianas so para cima ou para baixo. O agente principal tambm vai equilibrar o carga entre todos os agentes da criana.

Em um ambiente independente puro, o agente muitas vezes instalado no servidor de destino. Agentes tambm so muitas vezes instalados em servidores de arquivos, banco de dados onde podemalavancarcarregar utilitrios para carregar dados em massa em sistemas de destino. Balanceamento de cargatambm podeser feito com um agente principal independente. Mltiplos agentes autnomos podem ser executadosnomesmo servidor, desde que cada um deles tem uma porta dedicada. Este nmero de porta definida no navegador de topologia, onde o agente est definida.O agente pode receber ordens de execuo de diferentes origens, como segue:

Execuo do Estdio: Quando um utilizador executa um processo deo estdio, ele / ela solicitado o nome do agente que irser responsvel pela execuo.

Execuo a partir do Console: Da mesma forma que a execuo Studio, a pessoasolicitando a execuo de um processo ter que escolher o agente responsvel.

Execuo de uma linha de comando: Neste caso, ser iniciado um ODI dedicadosesso do agente, limitado execuo do processo que passada como um parmetro. O script para ser usado para iniciar um processo de uma linha de comando startscen.bat no Windows ou startscen.sh no Unix. Este script pode serencontrado sob o / Bin diretrio no caminho de instalao do agente.

Execuo de um servio web: ODI 10g oferecido esse recurso, mas exigiu umdedicado configurao. ODI 11g oferece esse recurso como parte da implantao do agente.Todos os agentes de suporte de servios web para iniciar os processos. Para um agenteautnomo,conectar ao agente via HTTP para ver o WSDL associado. Por exemplo, ase o agente est sendo executado em odi_dev servidor na porta 20910, a WSDL pode serencontrado nesta mquina muito menos http://odi_dev:20910/oraclediagent/OdiInvoke? Wsdl.

O nome da aplicao de um agente independente ser sempre oraclediagent.Os clientes que utilizam um agente JEE vai usar o nome do aplicativo para o Agente ODI.

Horrios: ODI Se os processos ODI so programados dentro ODI (a partir de

o navegador de operador ou o navegador Designer), ento a programao em siest associado a um agente. Ou as programaes sero enviados para oagente por um administrador, ou o agente ir atualizar sua lista de horrios quando ele reiniciado.

[23]

www.it-ebooks.info


45/383


ConsoleO Console uma interface HTML para o repositrio. O Console instalado em um

WebLogic Server (outros servidores de aplicativos sero apoiados com verses posterioresdo produto).

O console pode ser usado para navegar no repositrio, mas no h novos desenvolvimentospodemser criado atravs desta interface.

[24]

www.it-ebooks.info


46/383

Captulo 1

O Console til para visualizar linhagem e anlise de impacto, sem ter o Estdio completo instalado em uma mquina. Os operadores tambm podem executar a maioria dastarefas que

iria realizar com o Studio, incluindo iniciar ou reiniciar processos.

A informao exata que est disponvel no Navegador Operador do estdio vaiser encontrado na vista correspondente do Console: cdigo gerado, estatsticas de execuo, e status dos processos executados esto todos disponveis.

[25]

www.it-ebooks.info


47/383


Oracle Enterprise ManagerComo parte da consolidao de recursos de todas as linhas de produtos da Oracle, agora ODI

integra com WebLogic Enterprise Manager.

Os administradores podem agora usar uma nica ferramenta (OEM) para monitorar a sade geral doseu ambiente, incluindo ODI agentes e processos ODI.

Conceitos-chave ODICompreender conceitos-chave em ODI ir ajudar os desenvolvedores a tirar proveito dainterface grfica e melhorar ainda mais a sua produtividade. Em nenhuma ordem especfica, vai agora rever as noes de contextos de execuo, mdulos de conhecimento, Modelos, Interfaces, pacotes e cenrios.

[26]

www.it-ebooks.info


48/383

Captulo 1

Contextos de execuoTodo mundo se encontra com o mesmo problema. Os parmetros usados para se conectar

servidor de desenvolvimento so diferentes dos parmetros utilizados no controle de qualidade, ou servidores de produo e poderia haver mais do que estes poucos ambientes. Alguns empresas adicionar ambientes como a aceitao do usurio, a consolidao de cdigo, epr-produo; o nome dele e ele est l! Mantendo os parmetros de conexo uma actividade complicada. Alm da manuteno em si, existe o risco de que estes parmetros so modificados no cdigo aps o cdigo foi validado pelo QA equipe. Idealmente, os parmetros de conexo e especficos do ambiente parmetros devemser mantido independentemente do cdigo. Isto o que proporciona a ODInoo de contextos de execuo.

Para se certificar de que os desenvolvedores so independentes da localizao fsica do sistemas diferentes, ODI refora o uso de esquemas lgicos. Esquemas lgicos sortulos ou apelidos que representam as conexes para os desenvolvedores. Na execuotempo, o agente ir traduzir esses nomes lgicos para as fsicas com base no informaes armazenadas no repositrio. Desta forma, a manuteno da ligaoparmetros, localizao das bases de dados e nomes de esquema totalmente independente do prprio cdigo.

Alm disso, sempre que uma ODI processo executado, um contexto deve ser selecionado. Oestrutura dos metadados ser sempre o mesmo a partir de um ambiente para o prximo(Dizer para o desenvolvimento exemplo, controle de qualidade e produo), mas as informaes deconexoser diferente. Ao selecionar um contexto de execuo, o agente vai saber qual definio de conexo para usar quando completar o cdigo.

Datawarehouse

(Esquema lgico)Arquitetura lgica

Contexto

Arquitetura fsicaWindows

pment

PrQA

od

eisc

Devetio

n

Linux Linux

db_dwh dwh db_dwh_prd

Servidor de DesenvolvimentoIP: 105.02.11.85Nome de Usurio: dev_odiSenha: 123456

Servidor QAIP: 105.02.11.74Nome de Usurio: ODISenha: 654321

Servidor de ProduoIP: 110.47.33.02Nome de Usurio: ODI_TMPSenha: 123456

[27]

www.it-ebooks.info


49/383


Na figura anterior, o nome lgico Datawarehouse na realidade aponta parao esquema fsico db_dwh no servidor de desenvolvimento desde que execute atransformaes no contexto de desenvolvimento. Ele ir automaticamente apontar para o dwh

esquema no servidor de controle de qualidade para o contexto de QA.

Os detalhes fsicos so mantidas no Arquitetura fsica da TopologiaNavegador e os nomes lgicos que apontam para as implementaes fsicas sodefinido na Arquitetura lgica do Navegador de Topologia. O Contextoacordeo permite aos administradores definir como muitos contextos, conforme necessrio. Emtempo de execuo, oseleo de um contexto que vai definir a execuo fsica a utilizar para cada nome lgico usado no cdigo.

A arquitetura fsica ir conter os detalhes para ODI para fazer login no banco de dados,o endereo IP ou o nome do servidor no qual o banco de dados executado, os nmeros de porta para ligar a base de dados, bem como o nome dos esquemas reais, catlogos, bibliotecas e outros objetos encontrados nesses bancos de dados.

Mdulos de ConhecimentoUm Mdulo de Conhecimento (GC) um modelo de cdigo que define quais os tipos de SQL scripts de consultas (inserir, selecionar, e assim por diante) e que precisam ser geradas paracompletara extrao de dados, carregamento e operaes de transformao.Havia vrios objetivos por trs da criao desses kms. Alguns deles so como se segue:

Melhorar a produtividade: Tarefas de integrao so muito repetitivos na natureza. Uma vezas tcnicas de extrato / carga foram definidos para um determinado projeto, eles vo

ser reutilizado inmeras vezes. Consolidar essas prticas em reutilizvelmodelos ajuda a melhorar a produtividade dos desenvolvedores.

Encapsular as melhores prticas de integrao: Mesmo que uma equipe concorda com aintegraomelhores prticas, normalmente no h garantia de que todos os desenvolvedores de vontadeimplementar o que foi decidido. Em outros casos, apenas os melhores desenvolvedoresvai vir para cima com as melhores estratgias de integrao. Ao encapsular o estratgias de integrao em um modelo, todos os desenvolvedores podem compartilhar omesmoqualidade de cdigo.Permitir personalizaes adicionais: A Oracle est fazendo seu melhor para encapsularmelhores prticas da indstria em todos os KMs no importa o banco de dados que vocestusando, mas o ambiente nico, e, por vezes, s voc pode maisotimizar o cdigo que ser gerado. Mais uma vez, para assegurar que todos desenvolvedores iro beneficiar das otimizaes finais, personalizado KMsser compartilhado por todos os desenvolvedores.

[28]

www.it-ebooks.info


50/383

Captulo 1

Tipicamente, um programador de ETL ser capaz de utilizar um mdulo sem qualquer conhecimentoprecisa entender os requisitos subjacentes (criao de tabelas de teste, localizaodessas tabelas, operaes intermedirias nessas tabelas, limpeza dessas tabelas e

assim por diante).

O desenvolvedor vai controlar o cdigo que ser gerado pela opo sim / no h opes para inserir registos, efectuar actualizaes, criar a tabela de destino, e assim por diante.

Existem seis tipos de mdulos de conhecimento que permitam a vrios passos dados processo de integrao:

Carregando mdulos de conhecimento (LKM): Estes mdulos determinar comoextrair e carregar dados atravs de duas tecnologias heterogneas. DiferenteMdulos de Conhecimento vai oferecer estratgias de conexo diferentes, tais como JDBCconexo, banco de dados e carregar / descarregar utilitrios.

Conhecimento Mdulos de Integrao (GIC): Estes mdulos de definir a estratgia deutilizado para integrar os dados no alvo. As diferentes estratgias inclueminsere apenas uma atualizao, e insere, a dimenso lentamente mudando, e assim pordiante.Verifique mdulos de conhecimento (CKM): Estes mdulos de implementar na linha de dadoscontrole de qualidade antes da insero no alvo, como validar as regras de negcio, controlar a singularidade de chaves primrias, e validar a existncia do pai registros de chaves estrangeiras.

Engenharia reversa mdulos de conhecimento (RKM): Estes mdulos de importaoos metadados de uma determinada tecnologia para o repositrio ODI. Estes so KMsnormalmente utilizado para aplicaes corporativas ao invs de bancos de dados. A maioriareversaoperaes de engenharia no vai exigir qualquer KM desde os drivers JDBCalavancado pelo ODI normalmente suportam engenharia reversa operaes.Mdulo de Conhecimento de dirio (JKM): Este mdulo gerencia o ODIrevistas e mecanismos necessrios para fornecer CDC automtico MudouData Capture funcionalidade (CDC).

Conhecimento Mdulos de Servio (SKM): Estes mdulos de gerar automaticamenteo cdigo e expor as operaes de tabela de banco de dados como servios web. Inserir, atualizar, excluir, selecionar ou consumo de alteraes de dados pode ser realizada usando estes servios web.

Mdulos de conhecimento so nomeados aps o banco de dados especfico para os quais tenham sido otimizado, os utilitrios que eles alavancagem, ea tcnica que eles implementam. Para exemplo, um Teradata IKM para Arquivo (TTU) vai mover dados de Teradata em um arquivo simples, e alavancar o TTU utilitrios para essa operao, ou um arquivo de LKM para Oracle (EXTERNO

TABELA) ir expor um arquivo simples como uma tabela externa para Oracle. Da mesma forma, umOracle IKMDimenso de alterao lenta ir gerar cdigo otimizado para o banco de dados Oracle que implementa uma Dimenso de Alterao Lenta (Tipo 2) tipo de integrao.

[29]

www.it-ebooks.info


51/383


A maioria dos desenvolvedores s vai usar fora da caixa KMs somente o mais avanadodesenvolvedores iro modificar os modelos de cdigo. Por esse motivo, vamos manter KMmodificaes fora do escopo deste livro. Mas os exemplos, vamos percorrer

no resto deste livro vai ajudar voc a entender a melhor forma de selecionar um KM para o tarefa na mo.

ModelosModelos em ODI so usados para armazenar os metadados importados de bases de dados. Quandodesenvolvedores (ou custodiante de dados) criar um modelo, eles tm a opo de importar apenas os metadados relevantes (voc no pode querer importar a definio de todas as tabelas e vistas em seu ambiente). Como vimos anteriormente, com mdulos de conhecimento paraengenharia reversa, os metadados tambm podem ser importados a partir de aplicaes, onde osobjetospode ser uma representao dos dados de negcio, em vez de uma tabela real fsico.

Uma vez que os metadados foi importado, ele pode ser organizado e melhorado Modelos podem ser agrupados em pastas. Submodelos podem ser criados dentro de Modelos para organizartabelas em unidades lgicas.

Quando submodelos so criados, os usurios podem definir como as tabelas sero organizados; ou eles sero movidos manualmente para as subpastas apropriadas, ou a sua localizao ser determinado automaticamente pelo ODI com base em seus nomes.

Metadados podem ser melhoradas pela adio de mais restries (como a integridade referencial, restries de verificao) que no existem no banco de dados.

Metadados tambm podem ser criados directamente em ODI. Cada modelo tem um Diagramaspasta.

Diagramas de permitir que os usurios graficamente as suas estruturas de tabela. Mais importanteainda,eles podem arrastar-e-soltar definies de objetos de outras tecnologias, e ODI vontadetraduzir automaticamente os tipos de dados a partir de uma tecnologia para outra. Se as tabelas so derivadas de uma outra tecnologia, eles ainda podem ser modificadosmanualmente(Alterando os nomes das colunas, tipos de dados, adicionando ou removendo colunas, eRestries). O benefcio oculto do uso de diagramas para criar tabelas de outros Modelos a capacidade de automatizar a gerao de Interfaces.

[30]

www.it-ebooks.info


52/383

Captulo 1

ODI sabe o quadro foi utilizado como base para a nova. Se voc clique direito em o nome do modelo, e selecione a opo de menu Gerar Interfaces IN, ODI vontadecriar automaticamente uma interface com o quadro original, tal como uma fonte e o novo

tabela como um alvo com todas as colunas devidamente mapeadas. Voc ser solicitado a colocara interface do projeto e pasta de sua escolha. Vamos dar uma olhada detalhada em Interfaces na prxima seo. Se voc optar por seleccionar a opo de menu GerarInterfaces para fora, ODI ir gerar a interface inverso, com a tabela de novo como umfonte e a original como um alvo.

InterfacesAs interfaces so as transformaes que so definidos. Ns vamos gastar muito tempo emeste livro cobre os detalhes de Interfaces. Interfaces so criados em projetos, eavrios componentes so organizados em pacotes.

H vrias peas para uma interface, tais como descrio, mapeamentos, fluxo, controlespara nomear alguns.

Descries de interfaceMuitas vezes esquecido, descries so a documentao dos objetos. Porqueas descries so armazenadas com os objetos no repositrio, toda a documentaogerado pelo ODI conter as descries. Pode parecer trivial, mas odescries so a chave para o sucesso de seus projetos.

Mapeamentos de interface

ODI adere a um conceito chamado "design declarativa". A definio da transformao lgica isolado a partir da definio do movimento e dadoslgica de integrao, por dois motivos que so os seguintes:

Mudar para um no deve alterar o outro: Se eu decidir adicionar ou removercolunas em meus mapeamentos, ele no deve ter nenhum impacto sobre o tipo de Eu uso a tecnologia (tabelas externas, carregamento em massa, JDBC, e assim por diante) ou o

tipoda estratgia de integrao que eu uso (apenas inseres, atualizaes e assim por diante). Da

mesma forma, seEu decidir mudar de tecnologia ou estratgia de integrao, esta no deve terimpacto sobre os meus transformaes.

[31]

www.it-ebooks.info


53/383


A produtividade pode ser muito melhorada: Mapeamentos so muitas vezes nica e deveser tratada de uma coluna de cada vez. Estratgias de integrao e tecnologias podemser selecionado uma vez para um projeto completo, com alteraes mnimas e opinies.

Separando os dois permite aos desenvolvedores concentrar mais nas partes mveis(As transformaes) do que sobre as partes estveis (a estratgia de integrao).

Mapeamentos so onde a lgica de transformao definido.

Guia o fluxo de interfaceA guia fluxo das interfaces o lugar onde as estratgias de integrao so selecionados. OMdulos de conhecimento de carga (LKM) vai definir quais tcnicas devem ser utilizadas para extrair dados dos sistemas de origem remota e como carregar os dados no alvosistema. O Mdulo de Conhecimento Integrao (GIC) vai definir qual a integraoestratgia ser usada para integrar os dados do sistema alvo.

[32]

www.it-ebooks.info


54/383

Captulo 1

Interfaces lista apenas os km que foram importados para o projeto ondeso criados (e comeando com ODI 11.1.1.6, o KMs Global que so compartilhados entreprojectos). Uma vantagem chave a de que possvel controlar quais estratgias sero utilizadas

para um determinado projeto, portanto, limitar as opes dos desenvolvedores com as escolhas feitaspela equipe.

Isso ir garantir o seguinte:

Todos os desenvolvedores implementar as melhores prticasde mesmoSe forem necessrias alteraes posteriormente no projeto, que pode ser feitoextremamentede forma eficiente, alterando o padro para um determinado projetoIdealmente, porque a escolha pode ser limitada, os programadores sabem que ODIvai sempre escolher o KM que eles precisam e nem sequer tem que se preocuparsobre esse passo

[33]

www.it-ebooks.info


55/383


Controles de interfaceUma opo que est disponvel em alguns IKMs a capacidade de controlar a integridade dos dados

ema mosca. H duas opes de chamadas de controle de fluxo e controle esttico. Controle de Fluxo ir verificar inconsistncias de dados, remover dados invlidos das tabelas de teste, e escreva-os em uma tabela de erro em separado. Static Control ir verificar se h inconsistncias em a tabela de destino depois de ter sido carregado com todos os registos de entrada. Registros invlidos identificada na tabela de destino so, ento, copiados para a tabela de erros mas no so retirado da tabela de destino. Quando os desenvolvedores decidir ativar um ou ambos opes da guia Fluxo da interface, que pode, ento, aperfeioar o que ser feito, otabela de erros podem ser recriados automaticamente. Algumas restries podem ser ignoradosenquantooutros so aplicadas.

Todas as restries listadas aqui so definidos em nvel de metadados, no mbito da definio das tabelas nos modelos.

Pacotes e CenriosPacotes so projetados para orquestrar os objetos individuais criados peladesenvolvedores de interfaces, variveis, procedimentos sero seqenciados em pacotes.Se um passo falhar em um pacote, possvel ramificar para fora e tomar imediatamente ao com base nos erros que so detectados. Para fins de execuo, Pacotes so compilados em Cenrios. Execuo cenrios podem, ento, ser organizado comCarregar Planos. Veremos todos estes conceitos com mais detalhes em um captulo dedicado.

ResumoNeste captulo, comeou por explorar os conceitos bsicos por trs ODI arquiteturae componentes.

Em termos de arquitetura, voc deve agora ter uma melhor compreenso do queos diferentes elementos so, em particular, o repositrio, Studio, e agentes. EsteSer importante que voc v para o prximo captulo em que cobrem a instalao do produto.

Em termos de conceitos, ns cobrimos os elementos-chave que diferenciam ODIde outros produtos, ou seja, contextos de execuo, mdulos de conhecimento, Modelos,Interfaces, pacotes e planos de carga. Vamos agora ilustrar estes conceitos com exemplos reais do resto do livro, ampliando desta breve introduo.

[34]

www.it-ebooks.info


56/383

Instalao do produto

Este captulo fornece instrues para a instalao e configurao do Oracle DataProduto integrador para um ambiente de desenvolvimento ou de produo. Depois de analisaros pr-requisitos para a instalao do produto, vamos abordar a instalao econfigurao do repositrio ODI, o Studio (interface grfica), eaAgente autnomo.

Como ponto de referncia, a Oracle mantm uma lista de pr-requisitos e passo a passoinstrues de instalao em http://www.oracle.com/technetwork/middleware/data-integrator/documentation/index.html.

Pr-requisitos

Antes de instalar o produto, temos que ter certeza de que todos os componentes esto disponveise que os sistemas em que o produto vai ser instalado em conformidade com o produtorequisitos. Faa o download dos componentes necessrios, como segue:

Os componentes precisam ser baixados da pgina web da OTN em ODIhttp://www.oracle.com/technetwork/middleware/data-integrator/downloads / index.html. Para o propsito deste livro, vamos supor quea instalao feita em um sistema operacional Windows. Baixe o ODI arquivo de instalao.

Faa o download do Utilitrio de criao de repositrio (RCU), ferramenta que sernecessriapara criar os repositrios ODI. RCU pode ser baixado a partir do ODIpgina de downloads em OTN.

Certifique-se de fazer o download da verso mais recente de ambos os produtos. Observe que oarquivo ODI muito grande (perto de 2 GB). Dependendo da qualidade da sua largura de banda, odownload pode levar um bom tempo e deve ser agendada de acordo.

www.it-ebooks.info


57/383

Instalao do produto

Pr-requisitos para o repositrioPara instalar o repositrio, voc deve ter acesso a um banco de dados certificada pela Oracle

como sendo compatvel com ODI. A lista de bancos de dados suportados para o repositriopode ser encontrada na matriz de certificao disponvel em http://www.oracle.com/

Para o propsito deste livro, vamos supor que o banco de dados que hospeda o repositrio um banco de dados Oracle (10g e 11g so suportados no momento da escrita). A Oracle bases de dados pode ser baixado http://www.oracle.com/technetwork/banco de dados / empresa de edio / downloads / index.html.

O banco de dados que ir hospedar o repositrio no tem que ser no mesmo hardware como o Studio. Vrios desenvolvedores iro compartilhar o mesmo repositrio quando os projetos sodesenvolvida, de modo que conveniente para instalar o repositrio de uma localizao central.

Tenha em mente que o estdio vai tornar o acesso muito freqente para o repositrio. A partir dessa perspectiva, o Studio eo repositrio ter que estar na mesmaLAN (e uma vez que a distncia aumenta a latncia, elas devem ser de preferncia a uma razovel distncia no em um outro pas ou continente, por exemplo).

O repositrio usar alguns gigabytes de espao em disco para armazenar os metadados, regras de transformao, e (principalmente) os logs. Certifique-se de que voc tem em discosuficienteespao para o banco de dados. Um bom ponto de partida para o tamanho do repositrio de 1 GB cada para o Mestre e repositrio de Trabalho.Cada repositrio (Master ou Trabalho) normalmente instalado em um esquema dedicado. Oprivilgios requeridos por ODI so "Connect" e "Recursos" em um banco de dados Oracle, mas ter em mente que o programa de instalao ter requisitos mais rigorosos(O utilitrio RCU vai exigir privilgios SYSDBA para ser capaz de criar os repositrios).

technetwork/middleware/data-integrator/odi-11gr1certmatrix-163773.xls.

Pr-requisitos para o Oracle Universal Install

apostila odi 11g portugues

Documents