overview odi 2k7
Post on 14-Sep-2014
134 Views
Preview:
TRANSCRIPT
<Insert Picture Here>
Oracle Data IntegratorErika Savio
<Insert Picture Here>
Agenda
• Por que Integração ?• Oracle Data Integrator
• Diferenciadores Chave• Funcionalidades Adicionais• Arquitetura
• Alguns Cenários• Solução de Qualidade de Dados
Data IntegrationData IntegrationData
WarehousingMaster Data Management
SOA (Messaging)
FederationMigration
Dados em ambientes heterogêneosDados em ambientes heterogêneos
ERP
------------
------
CRM
- - -
Legacy
------------
------ ---------
---
------
Best-of-breed Applications
Informação Como e Onde você precisaInformação Como e Onde você precisa
Business IntelligenceCorporate Performance
ManagementBusiness Activity
MonitoringBusiness Process
Management
Hoje…
Precisa…
- - -- - - - - -- - -
Data Synchronization
Por que integrar dados ?
• Desempenho
• Flexibilidade
• Produtividade
• Hot Pluggable
B E N E F Í C I O S
• Heterogêneo “E-LT”
• Active Integration Platform
• Desenvolvimento Declarativo
• Knowledge Modules
D I F E R E N C I A D O R E S C H A V E
Oracle Data Integrator
Movimentação de Dados e transformação de múltiplas origens para destinos heterogêneosMovimentação de Dados e transformação de múltiplas origens para destinos heterogêneos
Arquitetura E-LTAlto Desempenho
Arquitetura Convencional ETL
Extract LoadTransform
Arquitetura da Próxima Geração
“E-LT”“E-LT”LoadExtract
Transform Transform
• Engine Proprietária
• Problemas de Escalabilidade
• Alto Custo
A R Q U I T E T U R A C O N V E N C I O N A L E T L
• Recursos Nativos
• Eficiência e Escalabilidade
• Alto Desempenho
A R Q U I T E T U R A E – L T
• Desempenho
• Escalabilidade
• Produtividade na Administração
• Baixo Custo
B E N E F Í C I O S
Desenvolvimento DeclarativoProdutividade no Desenvolvimento
Conventional ETL Design
ODI Declarative Design
Define How: Built-in Templates
Define What You Want
Automatically GenerateDataflow
1 2
• Desenvolvedor deve definir cada passo do fluxo de ETL e lógica do processo de transformação
• Abordagem tradicional requer profissionais especializados em processos de ETL
• Esforço significativo para manutenção e desenvolvimento
A R Q U I T E T U R A C O N V E N C I O N A L E T L
• Simplificação do número de passos
• Geração Automática do fluxo de dados independente de tecnologias
D E S E N V O L V I M E N T O D E C L A R A T I V O
• Redução significativa da curva de aprendizado
• Implementações em tempos menores
B E N E F Í C I O S
JournalizeRead from CDC
Source
LoadFrom Sources to
Staging
CheckConstraints before
Load
IntegrateTransform and Move
to Targets
ServiceExpose Data and Transformation
Services
ReverseEngineer Metadata
Reverse
Journalize
Load
Check
IntegrateServices
Pluggable Knowledge Modules Architecture
CDC
Sources
Staging Tables
Error Tables
Target Tables
WS
WS W
S
SAP/R3
Siebel
Log Miner
DB2 Journals
SQL Server Triggers
Oracle DBLink
DB2 Exp/Imp
JMS Queues Check MS Excel
Check Sybase
Oracle SQL*Loader
TPump/ Multiload
Type II SCD
Oracle Merge
Siebel EIM Schema
Oracle Web Services
DB2 Web Services
Exemplo de Knowledge Modules já construídos
Knowledge ModulesHot-Pluggable: Modular, Flexível e Estensível
• Customizado para as melhores práticas existentes
• Atividade de Administração Simples
B E N E F Í C I O S
<Insert Picture Here>
Funcionalidades e Características de Uso
Oracle Data Integrator “Interface”
Declarative Design
1 Defina O QUÊ você quer 3 Gera o Fluxo de Dados Automaticamente
2 Defina COMO fazer: Selecione Modelo
Bulk Load • Changed Data Capture • Incremental Update • Slowly Changing Dimension
Graphical Declarative Design
Changed Data Capture
• Framework para Publicação e Assinatura de CDC
• Database LOGs• Triggers• Third-Tier Solutions
• Garantir “leitura” com integridade transacional
1.Desenvolver ou Gerar Mapeamentos2.Selecionar Jornalização de Dados3.Iniciar o processo de Jornalização
CDC
Data Lineage
• Grande número de fluxos de dados em um ambiente complexo
• Como ter uma visão geral ?• Linhagem de Dados baseada em Web
• Entender os fluxos de dados• Acompanhar o caminho do dado• Drill-Down para transformações
?
Data Integrity Framework
• Framework para Integração de Dados• Auditoria, Limpeza e Reciclagem
1.Declaração de Constraints para tabelas2.Desenvolvimento de Mapeamentos e
fluxos de checagem de integridade3.Auditoria, limpeza ou reciclagem de
registros rejeitados
Message Id Name CityDuplicated Record 001 John Doe New YorkDuplicated Record 022 John Doe BostonInvalid City Reference 230 Albert Fresh Maris
Data Access Services
• Gerar e Compartilhar serviços de acesso aos dados
• Geração e publicação de serviços• Teste dos Serviços• Integração dos Serviços na arquitetura SOA
via WebServices
SOA Infrastructure
Services
Data Access
Transform
Business
Business Processes
ESB
Design-time
Desenvolvimento e Produção
• Repositório Multi-Usuário para projetos de grande escala
• Controle de Versionamento e Bloqueio de Objetos para modificações
• Suporte a publicação em Multi-Contexto1. Teste seus pacotes em desenvolvimento2. Crie e exporte versões3. Execute e monitore em qualquer contexto
Development
RepositoryUIs
AgentRuntime
Repository Operator
Production
Agent
<Insert Picture Here>
Arquitetura do Oracle Data Integrator
ODI Architecture a Global View
Any ISO-92 RDBMS
Scheduler Agent
Handles schedules
Orchestrate sessions
Java - Any Platform
Security Manager
Manage user privileges
Operator
Operate production
Monitor sessions
Topology Manager
Define the IS infrastructure
Designer
Reverse-Engineer
Develop Projects
Release Scenarios
Java - Any Platform
Any Web Browser
Browse metadata lineage
Operate production
Metadata Navigator
Web access to the repository
J2EE Application Server
Information SystemRepository Access
HTTP Connection
Execution Query
Repository
Graphical Modules
Runtime Components
ODI Architecture Repository
• ODI Repository is composed of a Master Repository and one or more Work Repositories.
• Master Repository contains security information, topology information and versions of objects.
• Work Repository stores information related to • Models : datastores, columns, data integrity rules, cross references, data lineage.• Projects: interfaces, packages, procedures, folders, knowledge modules, variables• Runtime: scenarios, scheduling information, logs.
Work RepositoryMaster Repository
Models
Projects
Execution
Security
Topology
Versioning
Intro : Architecture
ODIRepository(RDBMS)
Sources Targets
ODI GUI (Java)
Data
ODI Agent (Java)
Agent
SQL ordersSQL orders
DataData
Separation of environments
Master
Repository
Global View of the Information System
Work Repository(Dev)
Work Repository (Prod)
Technical Meta-data :• Connections• Environments• Versions• Security…
Functional Data :• Models• Business Rules • Verification Rules
Runtime Information :• Scenarios• Journals• Schedules
Runtime Information• Scenarios• Journals• Schedules
Intro: Zoom on ODI repositories
Visão Conceitual
ODI Design-Time Environment Development Servers and Applications
Design-time Repositories
Code Execution
Execution Log Return Codes
AgentData Flow Conductor
CRM
Legacy
ERP
Data Warehouse
Files / XML
User Interfaces
Administrators
Designers
Topology/Security
Metadata/Rules
Development
ESB
Production Servers and Applications
ODI Runtime Environment
Runtime Repository Return Codes
Code
Execution Log
Execution
Metadata Navigator
Production
CRM
Legacy
ERP
Data Warehouse
Files / XML
ESB
User Interfaces
Administrators
Operators
Thin Client
Data Stewarts
Topology/Security
Execution Log
Metadata Lineage
AgentData Flow Conductor
Scenarios and ProjectsReleases
<Insert Picture Here>
Cenários
E-LT para Data WarehouseCriar e popular ambientes de Data Warehouse com Alto Desempenho e Jornalização
Fontes de Dados de Origem e Destino Heterogêneas
Carga Incremental Integridade e Consistência Linhagem de Dados Slowly changing dimensions Changed data capture
Data Warehouse
Cube
Cube
Cube
----------------
Op
era
tion
al
An
aly
tics
Metadata
LoadTransformCapture Changes
Incremental UpdateData Integrity
AggregateExport
Iniciativa SOAEstabelecer Arquiteturas de Mensagens de Integração
Services
Data Access
Transformation
Others
----------------
Op
era
tion
al
Metadata
Generate DataServicesExpose Transformation Services
Deploy and reuse Services
Business Processes
Serviços Externos para Integração de Dados
Publicação de Serviços de Acesso aos Dados
Publicação de Serviços de Transformação de Dados
Integração das transformações de dados a partir de sua infraestrutura de SOA
Master Data ManagementCriar uma única visão de verdade através da sincronização de dados
Master Data
----------------
Metadata
Change Data CaptureMaster Data Load
Canonical Format DesignCleansing and Reconciliation
Master Data Publishing
----------------
CDCCDC
CDC
Uso em conjunto com pacotes de Soluções MDM
Uso como infraestrutura para desenvolvimento de seu próprio HUB
Criação declarativa de fluxos de dados
Capture changes (CDC) Reconciliação e limpeza de dados Publicação e Disponibilização Extensão das definições de
metadados
MigraçãoUpgrade de Aplicações ou Migração de Aplicações para um novo ambiente de banco de dados
Old
Ap
plic
atio
ns
Ne
w A
pp
lica
tion
Metadata
Initial bulk loadCDC for synchronization
Transformation to new application format
CDC for loop-back synchronization
CDC
CDC----------------
Carga de dados históricos para o novo ambiente/aplicação
Transformação caso seja necessária Sincronização dos dados durante
momento de overlap das aplicações Captura das modificações nos dois
sentidos da informação (CDC)
<Insert Picture Here>
Qualidade de Dados
Qualidade de dadosO que é?
Processo capaz de criar e manter dados:
• completos,• válidos,• consistentes,• atualizados• e precisos
… tornando-os aptos para utilização.
Qualidade de dadosExemplo
Name Address City State Zip Phone Email
Bob Williams 36 Jones Avenue Newton MA 02106 617 555 000 bob.williams@yahoo.com
Robert Williams 36 Jones Av. MA 02106 617555000
Burkes, Mike and Ilda 38 Jones av. Nweton MA 02106 617-532-9550 mburkes@gmail.com
Jason Bourne, Bourne & Cie.
76 East 51st Newton MA 617-536-5480 6175541329
… … … … … … …
Dados incorretos
Registros duplicados
Erros de digitaçãoRegistros
misturados – Ex.: PF e PJ
Múltiplos nomes
Falta de padrão de formatação
Falta de dados
Oracle Data Integrator
ODI EE
Oracle Data Profiling Oracle Data Quality
Better Data Visibility
Tighter Data Control
Greater Data Accuracy
Metadata Profiling of Source & Target
Duplicate Detection, Matching & Merging
Visual Data Quality Tools
Oracle Data Quality Profiling • Configuração visual• Modelamento visual• Ferramenta intuitiva• Colaboração entre usuários• Geração automática de regras de
qualidade• Customizável pelo usuário
• Performance na execução• Execução otimizada para grandes
volumes de dados• Auditoria completa e detalhada
Fontes
Data Stewards and Business Analysts?
Análise
Oracle Data Integrator – Data ProfilingCriação automática de perfis e regras de qualidade de dados
Característica Exemplos de métricas
Preenchimento Campos nulosTamanhos mínimo e máximo
Conformidade Estrutura dos camposTipo dos dadosPadrões e máscaras
Validação Valores únicosRegras de negócios específicas
Consistência SoundexMetaphones
Integridade DependênciasChavesRelacionamentos
Examplo: Número do cartão de crédito
Oracle Data Integrator – Data ProfilingNavegador para identificação de problemas
Oracle Data Integrator
Destino
Fontes
Integration Process
Oracle Data Quality for Data Integrator
Global Data
Router
Transformer Parser Postal
Matcher
Relationship
Linker
Análise, Limpeza, Padronização, Combinação
Oracle Data Integrator – Data Quality
3434
• Integridade dos dados• Parametrização visual• Controle dos registros com erros• Customizável para incluir regras de negócios
Oracle Data Integrator – Data Quality
Oracle Data Integrator
Integration Process
Destino
BPEL Process Manager
Human
Workflow
Fontes
Erro
s
Co
rreções
Reprocessamento
ErrosValidação durante a integração
Validação duranteinserção
Oracle Data Integrator – Data QualityTratamento das exceções
top related