monitorando ecommerce no uol com splunk

Copyright © 2014 Splunk Inc.

Monitorando ecommercecom Splunk

2

Marcio Ghiraldelli

6 anos como arquiteto de TI no Universo OnlineArquitetura de sistemas de alta disponibilidade (PagSeguro e ShoppingUOL)Sun Certified Java Architect / MBA em Gerenciamento de Projetos PMI

3

Agenda

Monitorando transações de cartão de créditoTomada de decisões de negócio

Monitorando operação do sistemaMedindo ROI de mídia online em tempo real

4

Maior portfolio de produtos e serviços de Internet do BrasilMaior portal de conteúdo em língua portuguesa do mundoInfraestrutura de TI e Datacenter

6

Splunk @ PagSeguro

• Monitoração antes:• Baseada em banco relacional, sem escala horizontal

• Limitado às 3 ultimas horas de eventos

• Acesso a dados históricos depende de DBA

• Necessário instalar aplicação cliente em todos os computadores da equipe de monitoração

7

Descobrindo e escolhendo Splunk

Novo serviço backend

Adquirentes cartão de crédito, bancos, etc

Ferramenta de monitoração

PCI-DSS securitycompliance

8

Descobrindo e escolhendo Splunk

• Necessidades da monitoração:• Big Data centralizado

• Flexível

• Fácil de usar

• Realtime

9

<14>Mar 12 08:18:44 a5-hertz2 app=psgw-core INFO[br.com.uol.ps.gw.core.aspect.CommandExecuteLogger](qtp564660841-420:) datetime=2013-03-12 08:18:44,528

command=CreditCardSaleCommand msecs=555{creditCardResponse=null,creditCardRequestModel={

creditCardTransaction={id=9999993513, merchantCode=99999999,fiDetails={nsu=999998,authorizationCode=59999999841,time=Tue Mar 12 08:18:44 BRT 2013,rawMessage=Transacao capturada com sucesso,rawCode=0, fi=locie, integratorCode=1016999999999999991},numTransientToken=93853bdxxxxxxxxxxxxxxxxx0759e,isWallet=false, softDescriptor=CortaCortaco,

maskedNumber=547408******1525,cvv=***, brand=mastercard, paymentStatus=PAGO

Exemplo de informação de transações

10

Dashboards em tempo real

11

Dashboards em tempo real

Tempo médio de comunicação com parceiros

12

Dashboards em tempo real

Comparativo de volume de transações com semana anterior

13

Dashboards em tempo real

Tempo médio de comunicação por transação

14

Dashboards em tempo real

Desativando integrações legadas

15

Splunk @ PagSeguro• Agora:• Monitoração web com gráficos, treinamento para novos N1s diminui

de semanas para dias;

• Acesso à dados históricos com um clique

• Nivelamento de informações entre monitoração, P&D e área de negócios

17

Splunk @ ShoppingUOL

• Antes:• Time de P&D sem relatórios gráficos centralizados da saúde da

operação

• Dados de ROI de mídia online não eram em tempo real

18

Splunk Universal Forwarder

• Componente light de fácil configuração para coletar logs existentes de aplicações legadas

• Expansão da licença atual e infra (+ indexers) do Splunk para atender novo produto ShoppingUOL

• Instalação automatizada em +20 máquinas virtuais via puppet

19

Splunk Proccess Language

• Extração de dados de logs em diversos formatos legados

• rex, transaction, dedup

20

DashboardsQuantidade de ofertas coletadas por lojas

21

DashboardsVolume de documentos indexados e replicados no índice Solr

22

DashboardsPerformance de aplicações Java com Perf4J

23

DashboardsROI de Mídia Online em tempo real

24

Splunk @ ShoppingUOL

• Depois:• Time de P&D e operação com a mesma visibilidade

• Acompanhamento de campanhas de mídia online em tempo real + velocidade em tomadas de decisões de investimentos

Upgrade de arquitetura“on the fly”

26

Upgrade de arquitetura “on the fly”

Antes: 2 servidores com uma instância de Splunk

NFS Mount

Index cold buckets

Search Head and IndexerIncoming TCP data

Splunk Search User Access

27

Upgrade de arquitetura “on the fly”

Depois: 4 servidores com 4 instâncias Splunk

Search Head

Incoming TCP data

Search Head

Indexer

Indexer

TCP Load Balancer TCP Load BalancerSplunk Search User Access

Próximos passos

29

Próximos passos

• Todas as novas aplicações sendo criadas com logs no formato chave/valor, prevendo uma futura convergência no Splunk

• Instalando uma televisão no andar da área de negócios para acompanhamento em tempo real dos dashboards

• Evoluindo a arquitetura do Splunk “corporativo” para atender todos os produtos do UOL em uma infra centralizada

• Integrar Splunk com os eventos de processos ITIL/CMDB

Obrigado!

linkedin.com/in/mghiraldellitwitter.com/marciogh