O que aprendi desenvolvendo um BI dentro de uma instituição financeira

Mateus Lopes• Bacharel em Ciência da Computação pela Universidade Federal

da Bahia• MBA em Gestão da Informação e Business Intelligence pela

UNIFACS• CTO da Everest Tecnologia da Informação

Como uma instituição financeira funciona?• Diversos produtos financeiros são oferecidos aos clientes, cada

um com sua natureza e diferentes formas de rentabilizar• Os produtos consumidos pelos clientes geram rebates

financeiros que remuneram a empresa (algo como uma comissão a um vendedor)

• O Banco Central e a CVM (Comissão de Valores Mobiliários) regulamentam o mercado financeiro e realizam auditorias periódicas na instituição.

E que produtos são esses?• CVM• Administradoras

Fundos de investimentos

• CVM• SeguradorasPrevidência privada

• Tesouro NacionalTesouro Direto

• Bancos privados (CDB, LCI, LCA)Produtos de renda fixa

• AnbimaTítulos Públicos

• AnbimaDebêntures

Como esses produtos são rentabilizados?• Fundos de investimentos

• Os fundos ficam registrados na CVM• Os clientes aplicam e resgatam as cotas. Quem gerencia é a

administradora.• Diariamente a CVM publica as cotas dos fundos via WebService

• Previdência Privada• São fundos com regulações específicas• Quem gerencia as aplicações e os resgates é a seguradora.

Como esses produtos são rentabilizados?• Tesouro Direto

• São títulos emitidos pelo Tesouro Nacional• Os clientes compram e vendem PU’s (preços unitários)• Diariamente o site do Tesouro Nacional publica as PU’s dos títulos

em planilhas.• Renda Fixa

• São títulos emitidos por Bancos Privados• São indexados a índices do mercado (como CDI e inflação) ou

prefixados.• Diariamente as rentabilidades dos índices são publicadas via

WebService do Banco Central.

Como esses produtos são rentabilizados?• Títulos Públicos

• São títulos emitidos pelo Tesouro Nacional• Os clientes compram e vendem PU’s (preços unitários)• Diariamente o site da Anbima (Associação Brasileira das Entidades

dos Mercados Financeiro e de Capitais) publica as PU’s dos títulos em arquivos.

• Debêntures• São títulos emitidos por empresas privadas para financiar suas

dívidas• Os clientes compram e vendem PU’s (preços unitários)• Diariamente o site da Anbima (Associação Brasileira das Entidades

dos Mercados Financeiro e de Capitais) publica as PU’s das debêntures em arquivos

O consultor financeiro• É o profissional que realiza o atendimento ao cliente:

• Análise da situação atual dos investimentos dos clientes• Elaboração de carteiras que atendam às expectativas dos clientes• Acompanham os processos de aplicação e resgate• É o “personal banker” dos clientes

O consultor financeiro

Desafio inicial• Diversos clientes com diversos produtos financeiros• Dificuldade de centralizar as informações

• Cada parceiro tinha uma forma diferente de publicar os dados• Necessidade de prover ao cliente acesso aos seus produtos

• Rentabilidade dos produtos• Rentabilidade da carteira

• Necessidade de gerar relatórios gerenciais sobre o patrimônio gerido, separando por filiais, consultores, etc.

Desafio inicial

Séries temporais

Outras

fontes

Banco Centr

al

CVM

Produtos dos clientes

Sistemas parceiros

Seguradoras

Administradoras

Desenvolver in house ou contratar ferramentas de BI externas?• As regras de cotização de ativos (produtos) são complexas e

variam muito de produto a produto;• As ferramentas de BI do mercado não nos daria a flexibilidade

necessária para a cotização das carteiras;• Tínhamos a expectativa de criar um produto próprio: um BI

voltado para o mercado financeiro. Nesse aspecto levantar um sistema em cima de outra plataforma nos tiraria a autonomia.

Qual a arquitetura do sistema?• Apartamos o banco de dados relacional do BI e realizamos os

cálculos de rentabilidade na etapa de ETL;• Construímos um robô para cada parceiro que publicava os

dados de seus respectivos produtos;• Projetamos cubos direcionados para cada análise que

desejávamos realizar:• Patrimônio total sob gestão da instituição financeira• NET – saldo entre aplicações e resgates• Financeiro – rebate gerado pelos produtos financeiros dos clientes

ETL – Extract, Transform and Loading

Fundos

Previdência

Tesouro Direto

...

Rentabilidade dia a dia

ETL – Extract, Transform and Loading

Rentabilidade mês a mêsRentabilidade dia a dia

Relatórios gerenciais

Principais Cubos

Fato: Patrimônio mês a mês Fato: Patrimônio atual Fato: Rebate Financeiro

Tabela de Dimensões

Quais dados estão na tabela de dimensões• Surrogate key: cada registro indica uma única aplicação de um

cliente em um produto financeiro• Dados básicos do cliente• Assessor/Filial• Consultor• ID e Nome dos produtos financeiros (fundos, títulos, etc.)• Classificação de risco (conservador, moderado, arrojado)• Etc.

Modelagem clássica x Modelagem adotada

Dimensão

Fato A

Fato B

Fato B

Artefatos de banco de dados• Para a etapa de ETL: Procedures• Cálculo de cotização das carteiras: Procedures• Para a leitura dos dados para relatórios: Functions• Acesso aos dados dos bancos relacionais: Views• Controle de transação• Nível de isolamento• Índices, índices e mais índices

Testes automatizados no BI• Complexidade dos cruzamentos dos dados• Alto requisito de confiabilidade dos dados extraídos• Os testes deveriam garantir que as regras de cotização dos

ativos bem como a extração dos seus dados estivessem sempre corretas

• Proteção para os programadores que alterassem procedures e functions

Testes automatizados no BI• Criamos um banco de homologação apartado do de produção• No banco relacional criamos diversas situações que refletissem

os clientes em produção:• Cliente com todos os tipos produtos na carteira• Cliente com duas previdências• Cliente que realizou resgate parcial ou total• Cliente que aplicou duas vezes no mesmo fundo em datas distintas• Etc.

• Para cada visão do cubo cobrimos de testes para os clientes simulados

• Hoje os testes do BI possuem mais de 1500 verificações

Testes automatizados no BI

Visões específicas/customizadas dos cubos• Com o passar do tempo diversas demandas por novas visões

dos cubos que o sistema não contemplava começaram a surgir• O tempo de desenvolvimento de um relatório novo estava

ficando dilatado e por isso custo começou a crescer• Quando as visões eram de interesses globais da empresa nós

desenvolvíamos e publicávamos no sistema• Entretanto quando tratava-se de uma demanda específica nós

adotamos a ferramenta PowerBI para publicação dos relatórios.

Tecnologias utilizadas

E ai? Podemos dar uma olhada no resultado disso tudo???

Muito obrigado!www.everestti.com.br

Mateus LopesSalvador, Novembro2016

mateus.lopes@everestti.com.br