metodologia Ágil para projetos de bi - pentaho day
Post on 11-Aug-2015
508 Views
Preview:
TRANSCRIPT
Desenvolvendo uma metodologia Ágil para Projetos de BI
Marco Garcia mgarcia@cetax.com.brwww.cetax.com.br
Quem somos – Cetax Consultoria
Empresa especializada em BI Consultoria e Treinamento
Fundada em 2001 Mais de 30 projetos bem sucedidos, executados
por seus colaboradores.
Quem sou – Marco Antonio Garcia
Formado pela FATEC, MBA pela FGV 21 anos em TI, 15 em BI/DW. Mais de 35 projetos executados. Especialista em finanças, marketing e vendas. Em 1999 abandonei a carreira de Desenvolvedor
para especialização em DW/BI 2005 – Cursos Kimball nos EUA 2011/2013 - Cursos TDWI nos EUA Hadoop/Big Data nos EUA
Projetos de Inteligência
São essencialmente projetos de negócios !
Mas apoiados por tecnologia !
O que se espera de um projeto ? Assertividade – cumpra os requisitos. Performance – seja rápido. Custo – não exceda as expectativas de custo Etc..etc.. Resolva todos os problemas, mesmo aqueles que não
conhecemos.
Para Atingir o resultado esperado
Busca-se uma metodologia.
Know-how de quem já fez.
Experiências em outros projetos.
Experiências na mesma indústria.
Busca por uma metodologia,Todos querem um Livro Santo !
1998 – 900 páginas
2008– 636 páginas
Busca por uma metodologiaCiclo de Vida Kimball
1
2
3
4
Pontos de Falha no Ciclo1-ESPERA-SE QUE TODOS OS REQUISITOS SEJAM COLETADOS EM UMA ÚNICA FASE
2-ESCOLHA DOS SOFTWARES É FEITA SOMENTE NA 4A ETAPA
3-O PROCESSO DE CARGA DE DADOS INICIA SOMENTE NA 5A ETAPA
4-A INTERAÇÃO DOS USUARIOS COM AS FERRAMENTAS SAO FEITAS SOMENTE NA 5A ETAPA
Metodologia Ágil = Entrega Contínua
- DIMINUIR CICLOS DE DESENVOLVIMENTO
- GERAR PROTÓTIPOS VIÁVEIS PARA ANÁLISE
- CRIAR FASES INCREMENTAIS
- FOCO NO DESENVOLVIMENTO DO PRODUTO FINAL
Como construir um projeto do ZERO
Negócios
Modelo
Dados
Regras
Arquitetura
Controles
Protótipo
Construção Definitiva
Negócios
- Comece sempre pelas saídas- Relatórios- Visões - Consultas
- Não deixe de entender as principais regras de negócios- Cálculos, De-Paras, Agrupamentos, Formatação
Negócios – separe os relatórios- Agrupe por Departamentos e Processos de Negócios
FINANÇASCONTAS A PAGARCONTAS A RECEBERINADIMPLÊNCIAFLUXO DE CAIXA
VENDASEMISSÃO NOTAS FISCAISENTREGAS
Para cada grupo de relatóriosPense nos 4 passos Kimball (base montagem dos relatórios)
1) Processo de Negócio – qual processo será atendidoEx.: Financeiro – Contas a Pagar
2) Granularidade – Nível de Detalhe do Processo Ex.: 1 registro por titulo,data,fornecedor e parcela
3) Dimensões – Entidades DescritivasEx.: Datas (Cad,Vencto,Pagto), Departamento, Fornecedor, MeioPagto, ContaCorrente, Funcionário.
4) Métricas – métricas básicas do processoEx.: Vlr Título, Vl Multa, Vl Juros
Importante !- Tenha certeza que os relatórios mapeados estejam sendo
atendidos pelos 4 Passos Kimball.
- Sempre modele suas tabelas no nível mais granular, é
sempre mais fácil agregar do que abrir os dados.
- Localize as entidades bases, são aquelas tabelas que dão
origens principais aos dados.
- Pense na Desnormalização ( Data Warehouse Toolkit 3 ).
- Corra para criar um protótipo funcional o mais rápido
possível !
Modelo e Dados- Após mapear o negócio, precisamos mapear os dados
- Precisamos de ajuda : DBA, AD, Desenvolvedor.
- Localize as entidades bases.
- MOVIMENTAÇÕES OU SALDOS = FATOS
- CADASTROS PRINCIPAIS = DIMENSÕES
Modelo e Dados : DATA PROFILING- Examinar os dados da origem para ter certeza que
suportam as análises de negócio.
- Busquem por :
- PK,FK e UK
- Colunas vazias
- Dominios e padrões
- De-Paras
Modelo e Dados : DATA PROFILING- Qualquer falha nos dados :
- AVISE A TODOS IMEDIATAMENTE
- 3 CAMINHOS
- Buscar por uma nova fonte de dados
- Criar uma regra, cálculo ou de-para
- Assumir um valor “default” ou abandonar a coluna
REGRAS e CÁLCULOS- Os processos de transformação dos dados da origem para
a visão esperada no sistema de BI, será feita através das
regras de transformação de dados.
- Regras de qualidade garantem o tratamento dos dados
- Regras de DE-PARA garantem a padronização
- Regras de cálculos garantem os dados previamente
calculados.
ARQUITETURA- Softwares
- Banco de dados ( Armazenamento )
- Integração ( ETL )
- Apresentação ( Front-End )
- Arquitetura DW
- Kimball ou Inmon
- Controles ( em fase de protótipo não criamos os controles )
ARQUITETURA - softwaresBanco de dados ( Armazenamento )
- MySql, PostgreSQL,Oracle, SqlServer
- Hadoop ( HDFS, HBASE )
- NoSql ( Cassandra, MongoDB, etc )
Integração ( ETL )
- PDI, TalendETL ( OpenSource )
- SSIS, OWB (Database Component)
- PowerCenter, DataStage, BO DI ( Independent )
- Apresentação ( Front-End )
- Arquitetura DW
- Kimball ou Inmon
- Controles ( em fase de protótipo não criamos os controles )
ARQUITETURA - softwares- Apresentação ( Front-End )
- Excel, PowerPivot,PowerBI
- Pentaho, Jasper, Spago
- Tableau, Qlikview, Tibco Spotfire
- Oracle BIEE, SAP BO, IBM Cognos
ARQUITETURA – DATA WAREHOUSE?- Construir ou não o data warehouse ?
- Se possuir mais de 1 fonte de dados
- Necessidade de integração de dados
- Padronização, limpeza, qualidade de dados
- Deseja tornar o armazenamento independente do front-
end ?
SE AS RESPOSTAS FOREM = SIM
CRIE O DATA WAREHOUSE ou DATA MART
ARQUITETURA – KIMBALL
ARQUITETURA – INMON
PROTÓTIPO- Escolha junto aos usuários de negócio uma massa de
dados para o protótipo, ex.: Março/2015.
- Crie o protótipo o mais rápido possível.
- CREATE TABLE AS SELECT - pode ser uma boa
solução.
- Mas sempre respeite a modelagem dimensional
- Deixe o protótipo o mais funcional possível.
- Coloque a ferramenta de BI para acessar o protótipo.
PROTÓTIPO- Faça junto com os usuários sessões de validação:
- Montando relatórios
- Análises
- Consultas
- Os itens divergentes ou correções, se tornam atividades de
desenvolvimento do projeto.
PROTÓTIPO – alterações viram CARDS
DEFINA OS CONTROLES DE ETLSubsystem 4 - Data Quality
Subsystem 5 - Controle Eventos Erros
Subsystem 6 - Dimensão AuditoriaCTRL_Regras_Eventos_Carga
cdRegraDados
dsRegraDadosidCargaDadosdsTabelaPrincipal
CTRL_Mapas
cdMapa
dsMapaCargadsTabelaPrincipaldsEtapaCargadtParIniCargadtParFimCargadsFiltroCarga_1dsFiltroCarga_2dsFiltroCarga_3
DimAuditoria
skAudit
dsMapaCargadsTabelaPrincipalqtRegistrosOrigemqtRegistrosCargaqtRegistrosErrosdthrInicioCargadthrFimCargastGeralCarga
CTRL_Erros_Eventos_Carga
skAudit (FK)cdRegraDados (FK)cdMapa (FK)dthrErroCargadsRegistroOrigemdsErroCargacdErroCarga
Stg_Estatitscas_Cargas
cdMapa (FK)skAudit (FK)dtReferenciaqtRegistroCarregadosqtRegistrosErrosqtRegistrosLidos
Após aprovação Protótipo Pense na construção definitiva
ETLs Automação Carga Teste Disponibilização aos usuários
ITENS IMPORTANTES ! Construção incremental Entregas semanais Acompanhamento constante dos usuários Crie Templates
Modelos de Dados ETLs Controles
Obrigado !Para dúvidas:mgarcia@cetax.com.br
* Importante ! Próxima semana Treinamento de modelagem dimensional – desconto para todos que estão aquiContato@cetax.com.br – Pentaho Day
top related