Inteligência Operacionalutilizando a solução

Palestrantes:

Ronaldo WanzellerFormado em Web design e programação,UNISUL, e Pós-graduado em Coordenação de Projetos de TI.

Dinâmico, autodidata, empreendedor. Meus hobbies são motociclismo, e viagem em família.

Palestrantes:

Rodrigo TornisGraduado em Redes de ComputadoresPós-Graduado em Segurança Pós-Graduando em Business Intelligence

Gerente de Tecnologia na 4Linux Profissional de TI desde 1996 Entusiasta em tecnologias de BigData e DataScience.

Sobre a CAIXA

A vida pede mais que um banco

Desde que foi criada, em 1861, a Caixa sempre buscou ser mais que apenas um banco, mas uma instituição realmente presente na vida de milhões de brasileiros. Ela é, por exemplo, o agente responsável pelo Fundo de Garantia do Tempo de Serviço (FGTS), pelo Programa de Integração Social (PIS) e pelo Seguro-Desemprego, institutos tão presentes na vida do trabalhador formal. Aparece ainda no momento de ajudar a população, através dos programas sociais do governo, como o Bolsa Família – que beneficia mais de 13 milhões de brasileiros, FIES e Programa Minha Casa Minha Vida.

CAIXA e Software Livre● + de 100 mil equipamentos em Linux (Desktop, Embarcados e

Servidores)● Disponibilizou para comunidade os códigos dos softwares

Minuano, Curupira e Expresso Livre● Adota o Expresso Livre como solução de correio para Parceiros e

Terceirizados● Utiliza outras soluções Open Source em diversas unidades● Um dos maiores CASES com PostgreSQL - Multicanal

Agenda● Contextualização do Problema● Avaliação das soluções● Solução Elastic – Nossa arquitetura● Visibilidade do comportamento da infraestrutura● Maturidade do Dados● Futuro com a solução Elastic

Contextualização do Problema

Contextualização do Problema - TEMA● Apresentar a experiência que a equipe de correio

eletrônico da CAIXA vem ganhando com a adoção da solução Elastic.

Contextualização do Problema – cont.● Retenção de apenas 15 dias de logs para consulta● Demora durante o rastreio de logs de mensagens● Ação reativa a incidentes● Medições e volumetria parcial ou inexistente● Analise em tempo real do ambiente● Uso indevido ou incorreto do canal

Contextualização do Problema – cont.

O que queremos?● Armazenar informações de 2,5 milhões de mensagens por dia● Possibilidade de coleta de logs/dados de qualquer origem● Realizar buscas em milhões de dados de forma rápida● Gerar gráficos estatísticos em tempo real● Agir proativamente a incidentes inibindo o mau uso do canal● Realizar medições e volumetria em tempo real

Avaliação das Soluções

Avaliação das Soluções● Inicialmente armazenar em SGBD:

Avaliação das Soluções – cont.● Foi bem até um certo tempo...

● … mas ficou inviável após o aumento das informações a serem armazenadas e a adição de mais servidores para serem monitorados.

Avaliação das Soluções – cont.● Qual solução?

Avaliação das Soluções – cont.Todas as soluções citadas atendiam a necessidade porém foi percebido alguns impeditivos como:

● Curva de aprendizado é alta em boa parte das soluções propostas● Inexistência de interface pronta ou parcialmente funcional para consultas e

geração de gráficos ou analise estatísticas● Algumas das soluções necessitam de muitos recursos computacionais● Nossa equipe pouco Know-how em desenvolvimento● Conhecimento baixo ou inexistente nas ferramentas e equipe de sustentação

Avaliação das Soluções – cont.● Qual solução?

Avaliação das Soluções – cont.● Porque?● Simples para implementar● Simples para escalar● Solução atende de ponta a ponta (coleta, tratamento,

armazenamento e visualização)● Curva de aprendizado baixa e rápida para a equipe

Solução ElasticNossa arquitetura

Solução Elastic – Nossa arquitetura● Composta por três ferramentas:

Solução Elastic – Nossa arquitetura● Em 2015 criou-se uma única solução denominada:

Solução Elastic – Nossa arquitetura – cont.● Motivação em usar a solução. Quem usa o Elastic?

Fonte: https://www.elastic.co/use-cases

Solução Elastic – Nossa arquitetura – cont.Nossa estrutura em números:

● 16 servidores MS Exchange para atender 80 mil colaboradores CAIXA● 3 Servidores Postfix/Expresso para atender 18 mil terceirizados e

parceiros● 2 Servidores Postfix para mensagens de Aplicações● 2,5 milhões de mensagens trafegadas por dia● Média de 32GB de logs por dia ou 20 milhões de linhas de logs/dia

Solução Elastic – Nossa arquitetura – cont.● Nossa estrutura

POSTFIX

Solução Elastic – Nossa arquitetura – cont.● Nossa estrutura em detalhes

POSTFIX

Cluster

Visibilidade do comportamento da

infraestrutura

Visibilidade do comportamento da infraestrutura

Visibilidade do comportamento da infraestrutura - cont

Visibilidade do comportamento da infraestrutura - cont

Visibilidade do comportamento da infraestrutura - cont

Visibilidade do comportamento da infraestrutura - cont

Visibilidade do comportamento da infraestrutura – cont.Ganhos com a adoção do Elastic:

● Visão em tempo real do ambiente de correio eletrônico● Proatividade e rapidez na identificação de incidentes ou uso

indevido do canal● Medição e Volumetria● Pesquisa em volume gigantesco de dados com resultados

rápidos

Visibilidade do comportamento da infraestrutura – cont.Ganhos com a adoção do Elastic:

● Comparar e correlacionar informações em plataformas distintas (Comercial e Livre)

● Aumento de 15 para 90 dias a retenção de logs (dados disponíveis para consulta)

● Armazenamento centralizado de aproximadamente 600 milhões de linhas de logs (média de 20 milhões dia)

Maturidade dos Dados

Maturidade dos Dados

Com a visão do ambiente passamos a questionar:● O que deve ser de fato armazenado? Qual o SIZE que preciso

ter para armazenar essas mensagens? Estamos estimando bem?● Como identificar de forma automatizada mensagens que não

tem nenhum sentido para o negócio?● Como inibir de forma automatizada que aplicações realizem

testes de envio em produção?

Maturidade dos Dados – cont.

Do ponto de vista negocial:● Como inibir de forma automatizada mensagens de

cunho pejorativo, homofóbico, político/partidário ou pornográfico?

● Esse tipo de informação deveria estar em um portal (ou qualquer outro canal de comunicação) e não em um e-mail

Futuro com a solução Elastic

Futuro com a solução Elastic

● Medição e volumetria de mailboxes● Analise de trafego de usuários e agências● Geo-referenciamento de agências e unidades● Analise e identificação de fraude e falhas em caixas

eletrônicos e terminais lotéricos● Estender para outros departamentos da CAIXA

Futuro com a solução Elastic● Projeto de analise de logs OpenLDAP● 99 milhões de linhas de logs/dia● Projeto portais de intranet CAIXA● Armazenar e analisar logs de aproximadamente 400 portais internos em SharePoint● Projeto GSC● Monitorar abertura de chamados entre CAIXA e fornecedor● Projeto GIICP● Monitorar ciclo de vida de emissão de certificados digitais● Pro-atividade em ataques no ambiente de emissão de certificados

Futuro com a solução Elastic

● Predição e Classificação utilizando:

Perguntas?

Obrigado!