domando os logs

Domando os logs

Logs

Logs

• Registros/eventos -> arquivo

Logs

• Registros/eventos -> arquivo stream/fluxo

Múltiplas streams, múltiplas fontes

Centralização• Unifica logs da mesma stream

• Permite correlacionar streams diferentes

• Histórico

• (SSH + tail -f | grep) * 5

• Segurança (+ difícil eliminar rastros)

• Compliance

Como?

Os 3 tipos de log

• Erros/exceções de aplicações

• Logs em geral

• Métricas

MUITAS soluções, a ideal depende do seu

cenário

Log de exceções de aplicações

O que ganho com isso?

• Agrupamento

• Controle de regressão

• Alertas de fábrica

• Contexto

Soluções

• Sentry

• Airbrake (Errbit)

• Ambas OSS + SaaS

Logs em geral

• Coleta

• Processamento

• Armazenagem

• Visualização

Algumas soluções

• Splunk/Graylog

• ELK (Elasticsearch + Logstash* + Kibana)

• SaaS (Papertrail, Loggly, Logentries etc)

Soluções SaaS

• Coleta

• Processamento

• Armazenagem

• Visualização

• mais rápido

• mais simples

• menos flexível

Soluções “em casa”

• Coleta

• Processamento

• Armazenagem

• Visualização

• mais flexível

• mais recursos

• menor custo em larga escala

• maior custo em pequena escala

• leva mais tempo para implantar

Coleta• Syslog: língua comum

• TCP SEMPRE

• Garantia de entrega? Protocolos específicos (RELP, GELF, Lumberjack)

• Coletor próprio de sua solução escolhida

• Logs em JSON?

Processamento

• Logstash/Heka/Fluentd (processadores)

• Graylog/Splunk (soluções completas)

Armazenagem

• BDs: Elasticsearch, MongoDB, PostgreSQL

• Brokers: RabbitMQ, Redis

• Arquivos, S3

Visualização

• Depende dos outros itens

• Elasticsearch: Kibana

• Graylog/Splunk: painéis próprios

Como fica

Combine as ferramentas

Crie ambientes paralelos

obrigado!

Hernandes B. de Sousa @hernandes | hernandes.sousa@gmail.com

about.me/hernandesbsousa