aula - aplicação de metodologias/práticas Ágeis em projetos de bi

Motivação Manifesto Ágil Princípios Ágeis e Data Warehousing Aplicação de Práticas Ágeis na Construção de

Data Warehouse Evolutivo Extreme Scoping Agile Data Warehousing Framework FDWS

13/10/2010 2©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

Segundo estudo da Forrester Research realizado com empresas dos Estados Unidos, o Business Inteligence (BI) continua no topo da lista de desejos dos gestores de negócio e, não coincidentemente, também do departamento de TI.

13/10/2010 3©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

O relatório intitulado “Agile BI Out Of TheBox”criado a partir do estudo realizado pelo especialista Boris Evelson da Forrester, aponta alguns problemas relacionados a projetos de BI.

Para muitos CIOs, apesar do desejo das corporações, conseguir empregar aplicativos novos e inovadores de BI ainda é um desafio.

13/10/2010 4©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

Isso porque, hoje, na rede das empresas existem grandes volumes de dados inseridos em ambientes complexos de TI que não conversam entre si.

Além disso, os utilizadores empresariais de aplicações de BI estão largamente insatisfeitos com a falta de agilidade e flexibilidade das soluções existentes.

13/10/2010 5©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

Embora algumas delas tenham vindo ajudar as empresas com algumas funções de negócio específicas, no geral não conseguem responder a todas as necessidades.

De acordo com o especialista da Forrester, uma das alternativas para melhorar esse cenário está na adoção do conceito que a consultoria classifica como Agile BI.

13/10/2010 6©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

“Não é diferente de qualquer metodologia de desenvolvimento ágil”, ressalta Evelson, ao explicar que isso demanda a criação de soluções em pequena escala.

Mas, a metodologia Agile BI difere de outras abordagens na medida em que implica novas e diferentes tecnologias e arquiteturas para suporte.

13/10/2010 7©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

13/10/2010 8©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

Nossa maior prioridade é satisfazer os clientes através de rápidas e contínuas entregas de software com valor agregado.

Quem é o cliente ?

O que é software com valor agregado em Data Warehousing ?▪ Relatórios ?

▪ Dashboards ?

▪ Código de ETL funcionando ?

13/10/2010 9©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

Mudanças de requisitos são bem vindas, até mesmo tarde no desenvolvimento. O processo Ágil assume a mudança como parte da vantagem competitiva de seus clientes.

O processo deve ser flexível e adaptável

13/10/2010 10©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

Entregar software funcionando freqüentemente, em algumas semanas ou meses, com a preferência ao menor tempo possível.

O processo deve ter um bom controle de escopo.

Um tema de cada vez.

▪ O que é uma tema ?

13/10/2010 11©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

Homens de negócios e desenvolvedores devem trabalhar juntos durante todo o projeto.

Projetos de DW necessitam da presença das pessoas de negócio

▪ Um dos grandes motivos de falha dos projetos

Isso se aplica a geração de relatórios

▪ Iterações diárias seriam ótimas

13/10/2010 12©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

Construa projetos através de indivíduos motivados. Dê à equipe um ambiente que atenda suas necessidades, e confie em sua capacidade para realizar o trabalho.

Necessita-se de pessoas que querem estar no projeto

Treinar a equipe, se necessário

Manter pequenas unidades de trabalho para criar uma atmosfera de sucesso

13/10/2010 13©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

A forma mais eficiente e efetiva de circular, criar consenso, uma informação para a equipe de desenvolvimento é através da comunicação cara-a-cara.

O time possui um relacionamento diário

Realização de reuniões diárias para monitoramento e controle

13/10/2010 14©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

Software em funcionamento é a primeira medida de progresso.

Aplicado a DW:

▪ O que é um software trabalhando ?▪ Relatórios de BI ?

▪ Definições de tabelas ?

▪ Código ETL em funcionamento ?

13/10/2010 15©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

O processo Ágil promove o desenvolvimento sustentável. Os clientes, desenvolvedores e usuários devem ser capazes de manter uma paz constante indefinidamente.

Projetos de BI duram muito tempo, não cansar a equipe com prazos irracionais.

Bom planejamento e controle de escopo. Menor unidade de trabalho com valor de negócio. Estudo dos métodos ágeis e adaptação do que for

adequado a seu time.

13/10/2010 16©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

Atenção contínua a excelência técnica e bom design inspira Agilidade.

Design e Arquiteturas ruins = Problema

▪ Simtoma: Não é possível desenvolver tal data mart

13/10/2010 17©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

Simplicidade - a arte de maximizar a quantidade de trabalho não feito - é essencial.

13/10/2010 18©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

As melhores arquiteturas, requisitos e designs surgem a partir de equipes auto-gerenciáveis.

Equipe de pessoas inteligentes e motivadas = sucesso

Somos bem-sucedidos (ou não) como uma EQUIPE

Incentivar o trabalho e o pensamento em equipe

13/10/2010 19©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

Em intervalos regulares a equipe reflete sobre como tornar-se mais eficiente, então adaptando seu comportamento de acordo.

O modelo de decisão▪ Modo de debate

▪ Pontos de Verificação

Equipes auto-organizadas▪ Encontrar a solução para um problema torna-se o problema

da equipe

13/10/2010 20©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

Refatoração de banco: Permite a evolução gradual de um esquema de dados, aprimorando o projeto do esquema sem alterar sua semântica.

Modelagem de dados evolutiva: Permite que o modelo de dados evolua gradual e iterativamente, acompanhando sistemas que utilizem o banco.

Testes de regressão no banco de dados: Testes que garantem que o esquema do banco de dados funciona como deve.

13/10/2010 22©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

Gerenciamento de configuração de artefatos no banco: Os modelos, os dados de teste e os bancos de testes são importantes “artefatos” que devem ser corretamente gerenciados, como parte integrante do projeto.

Ambientes de desenvolvimento: Os desenvolvedores precisam de ambientes de trabalho locais, para que possam modificar, testar e executar o sistema antes que suas versões sejam integradas em um ambiente comum, para que somente então a versão integrada seja passada para produção.

13/10/2010 23©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

13/10/2010 24©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

Uma refatoração de banco de dados pode ser definida como a realização de uma alteração simples no esquema do banco, com o objetivo de otimizar o projeto, mas preservando sua semântica informacional e sua semântica comportamental.

13/10/2010 25©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

A semântica informacional está relacionada com a visão externa ao banco, ou seja, como os usuários enxergam as informações do ponto de vista de negócios. Neste caso, uma informação que existia antes da refatoração deve continuar existindo após a refatoração.

13/10/2010 26©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

A semântica comportamental está relacionada com a manutenção das funcionalidades existentes antes da alteração ser efetuada. Desta forma, programas que utilizavam o banco de dados antes da refatoração devem ter seus códigos atualizados para que continuem funcionando após a refatoração.

13/10/2010 27©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

13/10/2010 28©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

13/10/2010 29©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

13/10/2010 30©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

13/10/2010 31©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

13/10/2010 32©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

13/10/2010 33©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

13/10/2010 34©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

13/10/2010 36©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

13/10/2010 37©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

13/10/2010 38©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

13/10/2010 39©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

13/10/2010 40©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

13/10/2010 41©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

13/10/2010 42©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

13/10/2010 43©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

13/10/2010 44©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

13/10/2010 45©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

13/10/2010 46©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

13/10/2010 47©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

13/10/2010 48©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

13/10/2010 49©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

13/10/2010 51©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

13/10/2010 52©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

13/10/2010 53©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

13/10/2010 54©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

13/10/2010 55©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

13/10/2010 56©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

Combinação de práticas das metodologias SCRUM E FDD adaptadas e aplicadas ao domínio de projetos de Data Warehouse.

Propõe o desenvolvimento iterativo e incremental de Data Warehouse a partir da cobertura de Áreas/Atividades de Negócio.

13/10/2010 58©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

Todo o desenvolvimento é dirigido a “Features”

O que é uma feature ?▪ Uma consulta

▪ Um dashboard

▪ Um relatório

Desenvolvimento de back-end, front-end e metadados integrado.

13/10/2010 59©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

13/10/2010 60©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

13/10/2010 61©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

13/10/2010 62©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA 6313/10/2010

Requirements Bank Banco dos requisitos coletados durante as sessões com

especialistas de negócio e stakeholders.

Project FBS Mapeamento das áreas de negócio da instituição.

Project Plan Documento de identificação do projeto, devendo conter

estimativas de custos, detalhamento da equipe responsável, identificação de stakeholders, papéis, detalhamento das ferramentas e ambiente técnico, objetivos e metas do projeto.

©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA 6413/10/2010

Release Plan Definição do seqüenciamento de releases por área

de negócio mapeada no Project FBS e priorizada pelos especialistas de negócio.

Project Map Mapeamento dos itens implementados durante o

projeto. Deve oferecer uma visão geral do que foi feito, as principais features e a arquitetura utilizada.

©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA 6513/10/2010

Release FBS Expansão do Project FBS para a área de negócio alvo

da Release.

Release TDM Mapeamento das tabelas das bases de dados pelas

atividades de negócio definidas da Release FBS.

Feature Release Backlog Lista de Features (consultas, relatórios, dashboards)

definidos para a Release.

©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA 6613/10/2010

Sprint Plan Definição do seqüenciamento de sprints por

atividades de negócio mapeada no Release FBS e priorizada pelos especialistas de negócio.

Release Map Mapeamento dos itens implementados durante a

release. Deve oferecer uma visão detalhada do que está sendo feito, os itens validados pelos stakeholders e a arquitetura da solução.

©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA 6713/10/2010

Sprint Backlog Lista de Features (consultas, relatórios, dashboards) definidos para

a Sprint.

Impediment List Lista de impedimentos da Sprint.

Kanban Quadro para acompanhamento do status das atividades da Sprint.

Diagrams Diagramas de acompanhamentos definidos para o projeto: Ex:

BurnDownChart, Parking Lot e etc...

©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA 6813/10/2010

©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA 6913/10/2010

©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA 7013/10/2010

©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA 7113/10/2010

©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA 7213/10/2010

Não existe uma fórmula concreta para a aplicação de metodologias/práticas ágeis em BI.

Os dados merecem um cuidado especial pois métodos ágeis não foram desenhados para projetos de integração de dados.

Use, inove, adapte o processo.

13/10/2010 73©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA 7413/10/2010

AGILE BI. 2010. Http://www.pentaho.com/agilebiÚltimoacessoem02deOutubrode2010:

CARVALHO, G. T. de. Aplicação de Práticas Ágeis na Construção de Data Warehouse Evolutivo. Dissertação (Mestrado) —Universidade de São Paulo, São Paulo, Junho 2009.

DIAS, M. V. B. Um Novo Enfoque para o Gerenciamento de Projetos de Desenvolvimento de Software. Dissertação (Mestrado) —Universidade de São Paulo, São Paulo, 2005.

13/10/2010 75©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

HUGHES, R.; TEAM the C. D. M. Agile Data Warehousing - Delivering World-Class Business Intelligence Systems Using Scrum and XP. [S.l.]: iUniverse, Inc., 2007. ISBN 0978-0-595-91447-0.

KIMBALL, R. Data Warehouse toolkit: o guia completo para modelagem multidimensional. Campus, 2002.

13/10/2010 76©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

MOSS, L. EXTREME SCOPING: An Agile Approach to Data Warehousing and Business Intelligence. 2010. Http://www.datamanager.it/news/business-intelligence/extreme-scopingagile-approach-data-warehousing-and-business-intelligence. Último acesso em 02 de Outubrode 2010.

MOSS, L. Extreme Scoping - An Agile Project Management Approach. 2007. Http://www.eiminstitute.org/library/eimiarchives/volume-1-issue-5-july-2007-edition/extreme-scoping-an-agile-project-management-approach. Último acessoem 02 de Outubro de 2010.

13/10/2010 77©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

NÓBREGA, J. ao. Forrester defende novo modo de desenvolver BI. [S.l.]: Computerworld,2010. Http://www.computerworld.com.pt/2010/04/29/forrester-defende-novo-modo-dedesenvolver-bi/. Último acesso em 25 de Setembro de 2010.

PRESTON, R. Down To Business: Business Intelligence Still In Its Infancy. [S.l.]: InformationWeek, 2003. Http://www.informationweek.com/news/businessintelligence=showArticle: jhtml?articleID = 196801521:ltimoacessoem25deSetembrode2010:

13/10/2010 78©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA

SÁ, J. V. de Oliveira e. Metodologia de Sistema de Datawarehouse. Tese (Doutorado) —Universidade do Minho, Portugal, 2009.

WAILGUM, T. BI representa desafio para empresas, aponta Forrester: CIO/EUA,2010. Http://cio.uol.com.br/gestao/2010/04/26/bi-representa-desafio-para-empresas-apontaforrester/. Último acesso em 25 de Setembro de 2010.

13/10/2010 79©2010 | Mauricio Cesar Santos da Purificação | Grupo DW-UFBA