exraindo informações de negócio a partir de logs de aplicações dom o elk
TRANSCRIPT
Case: Extraindo informações de negócio a partir de logs de aplicações com o ELK
2016
Agenda
1. O problema2. Construindo a solução3. Superando desafios de segurança4. Modelando a solução5. Primeiros resultados6. Extraindo informações de negócio7. Números8. Próximos passos9. Contato
Total de slides: 10Duração aproximada: 20 min.
O problema
• Operação crítica da companhia;
• Aplicação fechada (sem acesso ao código-fonte);
• Processo burocrático e lento para acesso aos logs de produção;
• Aprox. 4GB de dados gerados por dia;
• Análise manual, imprecisa, lenta e difícil.
Construindo a solução
• LogForwarder ©: Solução desenvolvida in-house para interpretação, serialização em json e envio das mensagens de log para o logstash;
• Logstash: Solução para coleta, processamento e transporte de dados;
• Elasticsearch: Solução para indexação, pesquisa e análise de grande quantidade de dados em tempo real;
• Kibana: Front-end para pesquisa, análise e visualização de dados no Elasticsearch;
ELK
8 núcleos32 GB RAM1.5 TB Storage
Superando desafios de segurança
O Microsoft IIS foi colocado na frente do Kibana como proxy reverso para atender aos requisitos de Segurança da Informação:
• Autenticação – HTTP Basic Authentication integrado ao MS Active Directory;
• Canal seguro (https) – Configuração de certificado de segurança no site do IIS;
• Rastreabilidade – Através dos logs de autenticação no AD e dos logs de acesso do IIS.
Primeiros resultadosAcesso aos dados dos logs em tempo real;Tempo médio de throubleshooting caiu de 2 dias para poucos minutos;Análise proativa de erros.
Extraindo informações de negócioDashboard transacional
Tempo médio de processamentoTempo máximo de processamentoNúmero de transações simultâneas por segundo
Acompanhamento de picos de tempo de processamentoNúmero de transações por servidor
Extraindo informações de negócioDashboard transacional
Códigos de resposta de autorização/cancelamento por servidorCancelamentos negados por bandeira/servidor
Números
>1 bilhão de
documentos
1TB de storage
Diversas áreas
de negóci
o
3 meses de
histórico
Próximos passos
Cluster únicoAlertas automáticos
Correlação de eventos
ContatoMarcus Leandro
Desenvolvedor na Stone
E-mail Stone: [email protected]: [email protected]: https://linkedin.com/in/mvleandro
Obrigado!