introdução splunk brasil

Copyright © 2012 Splunk, Inc.

Introdução ao Splunk

Copyright © 2012 Splunk, Inc.

Sobre a Splunk

•  Sede: San Francisco, CA •  Mais de 600 colaboradores em 10 países

•  Escritórios: Hong Kong, London, NY, Berlin, Washington DC, Chicago, Los Angeles, Singapore, SeaIle, Paris, etc.,

•  Fundada em 2004, primeiro soNware em 2006

•  > 500k free downloads •  +4000 Clientes em 78 países

•  50 deles na Fortune 100 •  Operação LATAM desde Maio 2011 •  Representantes em: Latam

Marcos Importantes

3

2006 -‐ 150 Clientes

" IPO -‐ Abril de 2012 " 4.000 mil Clientes " 400 Novos Clientes -‐ Simestre >  2010 – 2.000 Clientes

>  Expansão

Splunk V. 4.1

Splunk v. 1 e 2 Splunk v. 3 >

> >

IPO

>

>  2007 -‐ 350 Clientes

2006 -‐ Splunk v. 1 e 2 -‐ 150 clientes 2007 -‐ Splunk v.3 -‐ 350 clientes 2008 -‐ Expansão Ásia e Europa 900 clientes 2009 -‐ Splunk v.4 -‐ 1000 clientes 2010 -‐ Splunk V.4.1 -‐ 2000 mil clientes 2011-‐ 3000 clientes 2012-‐ Janeiro 380 Funcionários 2012-‐ Abril IPO 2012-‐ 4000 mil clientes

4

400 800

1,400

2,300

3,700

2008 2009 2010 2011 2012

Splunk está criando uma nova categoria de soVware

Crescimento da receita

$ Millions (FYE January)

Inovadora Plataforma de SoVware

Explosão de Volumes de Dados

Inteligência Operacional

Rápido Crescimento da Base de Clientes

Number of Customers (FYE January)

$9 $18

$35

$66

$121

2008 2009 2010 2011 2012

Crescimento de Dados = Desafio e Oportunidade

5

Trillions of Gigabytes

Data Volume Data Velocity Volume of Digital Informaeon (1)

Petabytes Global IP Traffic (2)

CAGR: 45% CAGR: 30%

Data Diversity / Infrastructure Complexity

Web Services

Developers

Networking

Security

Storage Messaging

Energy

Manufacturing

GPS/Cellular Servers

Web Clickstreams

Online Services

Shipping RFID Desktops Databases

Telecoms

Online Shopping

Cart

App Support

1. IDC 2011 Digital Universe Study 2. Cisco 2011 Visual Networking Index

Tratar Dados de Máquina Requer um Novo Paradigma

6

" Dados relacionais, altamente estruturados e uma estrutura inflexível

" Registros financeiros, dados muledimensionais e matemáeca computacional

" Reportes mensais, não para eventos em tempo-‐real

" Dados não estruturados, sem padrão pré-‐definido e gerados no tempo

" Gerado por todos os sistemas de TI, em formatos extremamente variados

" Volume massisso, navegação rápida e correlação mandatória

" Gerados para interação homem-‐homem

" Inclui email, IM, voz, video e textos

" Armazenados em servidores corporaevos centralizados, comparelhadores de arquivos e desktops

Dados Gerados por Máquina Dados de Aplicações de Negócios Dados Gerados por Humanos

Missão

Tornar os dados de máquina acessíveis, uelizável e valorizado por todos.

7

Tornar os dados de máquina acessíveis, uelizável e valorizado por todos.

Front End -‐ Cliente

Além do Datacenter

Splunk coleta e Indexa Todo Dado de Máquina

8

Aplicações "   Web logs "   Log4J, JMS, JMX "   .NET events "   Code and scripts

Networking "   Configuraeons "   syslog "   SNMP "   netlow

Databases "   Configuraeons "   Audit/query logs "   Tables "   Schemas

Virtualização & Cloud "   Hypervisor "   Guest OS, Apps "   Cloud

Linux/Unix "   Configuraeons "   syslog "   File system "   ps, iostat, top

Windows "   Registry "   Event logs "   File system " sysinternals

Logfiles Configs Messages Traps Alerts

Metrics Scripts Tickets Changes

"   Click-‐stream data "   Shopping cart data "   Online transaceon data

"   Manufacturing, logisecs…

"   CDRs & IPDRs "   Power consumpeon "   RFID data "   GPS data

Customer Facing Data

Outside the Datacenter

Applicagons "   Web logs "   Log4J, JMS, JMX "   .NET events "   Code and scripts

Networking "   Configuraeons "   syslog "   SNMP "   netlow

Databases "   Configuraeons "   Audit/query logs "   Tables "   Schemas

Virtualizagon & Cloud "   Hypervisor "   Guest OS, Apps "   Cloud

Linux/Unix "   Configuraeons "   syslog "   File system "   ps, iostat, top

Windows "   Registry "   Event logs "   File system " sysinternals

Logfiles Configs Messages Traps Alerts

Metrics Scripts Tickets Changes

"   Click-‐stream data "   Shopping cart data "   Online transaceon data

"   Manufacturing, logisecs…

"   CDRs & IPDRs "   Power consumpeon "   RFID data "   GPS data

Splunk Coleta e Indexa Todos os Dados de Máquina Sem estrutura pré definida. Sem RDBMS. Sem conectores customizados.

9

Sem estrutura pré-‐definida

Sem conectores customizados

Sem RDBMS

Sem necessidade de filtros e clients

• Qualquer quangdade, qualquer local, qualquer origem.

Ação / Evento Exemplo de Dado de Máquina (pequena amostra de informação)

Exemplos de Insights de Negócios/TI

Cliente inclui produtos ao seu carrinho de compras (website/e-‐commerce)

Tentaeva de registro do web server no banco de dados

Cliente finaliza a compra com cartão de crédito

–  Demanda de Clientes –  Aevidades de compras –  Troubleshooeng do website

–  Comportamento do cliente –  Atualização de inventário –  Análise de fraudes –  Rastreabilidade de pedidos

em tempo real

–  Natureza do erro –  Origen do erro

Nature of error Conneceon error SoVware driver creaeng the error

[1208/11 02:39:03:209 UTC] 000000c6 ConnectionEve A J2CA00561:The exception which was received is com.ibm.websphere.cm.StateConneConnectionExeception:[IBM][CLI Driver] SQL1224N

66.57.19.112 ..[05/Dec/2011 07:05:22:152]”GET /card.do?action=addtocart&itemid=EST-17& product_id=K9-BD-01&JSESSIONID.SD7SLSFF8ADFF8HTTP 1.1” 200 3923 AppleWebKit/535.2 (KHTML.like Gecko) Chrome/15.0.874.121 Safari535.2

Product Aceon User

session User browser informaeon

User email User city Product

2011-12-05 07:04:44 Id=00Q000000Rd910EAJ City=New York Country=US CreatedDate=“2011-12-05 07:06:44” [email protected] Email_Opt_In_c Customer_Street _Address_c=“123 Main St.” purchased_product_id=

product_i BD-01 twitter_username rollin_in_doe

Dado de Máquina é uma Mina de Ouro!

10

11

Point Splunk at your machine data and ask any quesgon

Splunk Index

No RDB

Real-‐gme Data Collecgon and Indexing

Most enterprise data is machine-‐generated. It contains a gold-‐mine of informaeon

IP address Timestamp

Product ID

66.35.250.203-09/Sep/2011:14:58:35] "GET /cart.do? action=changequantity&itemId=EST-19&product_id= FL-DLH-02

IP address Timestamp

Device

Session

Website Category

66.35.255.255-09/Sep/2011:14:58:35]SESSIONID= SD3SL3ADFF5 HTTP 1.1" 400 1645 "http:// www.myflowershop.com?category_id=SURPRISE" "Mozilla Macintosh/OSX-10)

Log Files IT Configuragons

Messages Alerts Metrics Scripts Tickets Changes

Search Heads

Indexers

Forwarders

IT Infrastructure

API’s

Centraliza Dados nos mais Complexos Ambientes de TI

12

Transformar Dados de Máquina em Inteligência Operacional

13

Dados de Máquina Inteligência Operacional

Insights de Negócios em Tempo Real Obtenha uma percepção em tempo real dos dados operacionais para tomar decisões de

negócios com mais embasamento.

Visibilidade Operacional Obtenha visibilidade de ponta a ponta para acompanhar e oferecer KPIs de TI e tomar decisões de TI com mais embasamento.

Monitoramento em Tempo Real Monitore automaecamente sua infraestrutura para ideneficar questões, problemas e ataques antes que influenciem seus clientes e serviços.

Buscas e Invesggações Localize e corrija problemas com muito mais rapidez por toda a sua empresa,

usando os dados de TI.

14

Invesegação e Buscas Poderosas Pergunte o que deseja saber do seu negócio. O Splunk te responde (Google)!

Splunk Monitora Incidentes Proaevamente

15

Email

SNMP

Trouble ecket

RSS

Automaecamente monitore toda sua infraestrutura em tempo real para ideneficar incidentes, problemas e ataques antes eu impacte seus clientes e serviços.

Splunk Entrega Visibilidade Operacional

16

Tenha visibilidade end-‐to-‐end dos KPI’s de TI e tome decisões de TI baseadas em informações

E o que já fizemos (em horas, não meses):

17

Banco de Dados Dados Estruturados

Registro de Disposievos

Visibilidade em tempo real

Ideneficação de novos dados/padrões/eventos

18

Entregar Novos Insights para os Usuários Obtenha uma nova visão dos dados operacionais para tomar melhores decisões de negócio.

1.  Aevações de celulares. 2.  Receita Média por Usuário. 3.  Aevações Iphone. 4.  Aevações Android.

1 2 3 4

Nos úlgmos 60 minutos.

Quais foram os Planos vendidos?

Product Managers

SysAdmins, NW Admins, Developers

GM, CIO, CISO

Security Teams Server Teams Compliance Auditors

Mash up Web Apps Customer Support / Help

Desk

Insights Across Roles and Departments

19

IT Staff

Expanding Use Cases

Business Users & Execs

Splunk por Toda a TI e Negócios

20

Business Analygcs

Gerenciamento de Aplicagvos

Segurança e

Compliance

Operações de TI

Inteligência web e digital.

Desenvolvimento de novas soluções em pacotes e aplicaevos em Splunk

21

Developer Framework

Business Analygcs Gerenciamento de Aplicagvos

Segurança e

Compliance Operações de TI

Inteligência web e digital.

Splunk Examples

Community Examples

Cisco Security F5 BlueCoat

Enterprise Security PCI

Ruby on Rails MySQL

MS Exchange WebSphere

Squid Nagios

Web Intelligence

Sideview Web Analygcs

Windows Citrix NetScaler

VMware

Cisco CDR Analysis

MySQL

JMX

Escalabilidade Linear maciça para dezenas de TB/Dia

22

Send data from 1000s of servers using combinaeon of Splunk Forwarders, syslog, WMI, message queues, or other remote protocols

Auto load-‐balanced forwarding to as many Splunk Indexers as you need to index terabytes/day

Offload search load to Splunk Search Heads

Fácil de começar

23

Baixe e instale em minutos.

Value From Department to Enterprise

24

Inieal User

" Enterprise standard " Large number of users " Many different use cases " Many different users

>  More sites >  More geographies >  More data sources >  More data volume

Expansion

Free Download Workgroup >

> >

Enterprise Deployment

>

>  Specific use case >  Specific users

Expandindo o Ecossistema Splunk

25

" Online apps community " Users and partners share custom

lightweight apps and add-‐ons that run on Splunk’s soVware

" Online community forum " Users ask queseons and share best

praceces " How to build searches and deploy

Splunk soVware

" Online developer portal " Provides SDKs and open APIs " Connects developers to Splunk’s

data processing pipeline, storage technology and management faciliees

Mais de 4.000 Clientes no Mundo

26

Cloud and Online Services


Educaeon


Energy and Ueliees


Financial Services & Insurance


Government


Manufacturing


Media & Entertainment

Cloud and Online Services Cloud and Online Services

Healthcare

Travel and Leisure


Retail


Telecommunicaeons


Technology


Diversos Clientes no Brasil…

27

… e muito mais!

Por que a BM&F BOVESPA Usa Splunk?

28

" Ambiente extremamente complexo, diversas aplicações e serviços executando operações de compra e venda de ações e gerenciados por equipes disentas.

" A cada segundo, milhões de transações de compra e venda são efetuadas.

" Monitoramento próaevo de todo o ambiente em um único painel.

" Alertas com visibilidade em tempo real e avisos antecipados.

" Informações em tempo real de todas as aplicações em mais de 2.000 servidores.

" Sincronismo total dos servidores e serviços.

" Redução do risco de passivo potencial (perda ou atraso de ordens de compra/venda).

Business Analygcs

Applicagon Mgmt

Security &

Compliance Web

Intelligence IT

Operagons Mgmt

Problema

Solução

Bene�cios

Por que a Experian Usa Splunk?

29

" Serviço de e-‐markeeng com mais de 40 milhões de disparos por dia, sem visão da operação e agilidade nas métricas de resultado.

" Demora na resolução de problemas de envio reportado pelos clientes.

" Monitoramento e correlação de eventos em tempo real de várias aplicações disentas para visão do desempenho das transações.

" Painéis com indicadores da qualidade do disparo, IP’s compromeedos, análises de qualidade do envio.

" Visão em tempo real da qualidade dos envios (volume, epos de bounces, domínios e IP’s).

" Informações de negócios em minútos, não dias (relatório de 3 horas são feitos em 5 minutos).

Business Analygcs

Applicagon Mgmt

Security &

Compliance Web

Intelligence IT

Operagons Mgmt

Problema

Solução

Bene�cios

Por que a Macy’s Usa Splunk?

30

" Downeme por seis feriados de compras seguidos

" Precisava ideneficar e resolver problemas de performance do sistema rapida e efeevamente

" Monitoramento próaevo do website, e-‐commerce e infraestrutura de aplicações

" Alertas com visibilidade em tempo real e avisos antecipados

" Dashboards por epo de usuário e em tempo real para mais de 100 usuários

" Zero downeme durantes os feriados de compra de 2009 e 2010

" Evitou uma perda de receiras de US$ 300 mil/incidente

Business Analygcs

Applicagon Mgmt

Security &

Compliance Web

Intelligence IT

Operagons Mgmt

Problema

Solução

Bene�cios

31

Applicagon Mgmt

Security &

Compliance

IT Operagons

Mgmt

Por que a Salesforce Usa Splunk?

" Troubleshooeng dos sistemas legados impactavam o nível de serviço aos clientes finais

" Escala desnecessária para o suporte nível 2

" Único painel de informações por todo seu ambiente corporaevo de cloud compueng

" Dashboards específicos para o desenvolvimento, operações e gerentes de produto

" Melhorias no processo de troubleshooeng liberou 96% do tempo da equipe para focar em inovação

" Melhorias na performance da aplicação, impactando mais de 100 mil clientes

Problema

Solução

Bene�cios

Web Intelligence

Business Analygcs

32

Applicagon Mgmt

Security &

Compliance

IT Operagons

Mgmt

Problema

Solução

Bene�cios

Por que a Intuit Usa Splunk?

" Indeneficação de fraudes em transferência eletrônica de valores

" Necessitavam de análises em tempo real e histórica dos dados de máquina para detectar padrões e anomalias

" Usar dashboards para ideneficar padrões complexos em seus dados para detectar fraudes

" Faciidade de uso levou a uma adoção em toda operação de TI e execuevos

" Detectaram transferencias eletrônicas fraudulentas que somaram US$ 5 milhões ou mais

" Ideneficar padrão de fraude e permier a ideneficação do ataque

Web Intelligence

Business Analygcs

Why Does Tesco Use Splunk?

33

" One of world’s largest e-‐retailers with high online transaceon volume

" Needed real-‐eme operaeonal and business insights on users, transaceons and infrastructure

" Delivered new insights about customer interaceons leading to improved customer experience

" Provide business with real-‐eme visibility and metrics of online channel

" Splunk Web Intelligence dashboards track user experience and website performance

" Splunk monitoring tracks customer orders, idenefies bo�lenecks and ensures orders don’t get lost in transit

Business Analygcs

Applicagon Mgmt

Security &

Compliance

IT Operagons

Mgmt

Problema

Solução

Bene�cios

Web Intelligence

Why Does MetroPCS Use Splunk?

34

" Looked to track call revenue and run cost analysis

" Needed to reduce number of service abusers

" Opemized call roueng, saving more than $1MM per year

" Idenefy heaviest users and heaviest abusers

" Used tariff data to calculate cost per call

" Ingested call detail records and provided customer revenue visibility

" Dashboards highlight ‘terms of service’ abusers

Applicagon Mgmt

Security &

Compliance Web

Intelligence IT

Operagons Mgmt

Problema

Solução

Bene�cios

Business Analygcs

Receita de Chamadas e Análise de Custo

35

Com 2 semanas -‐ Visibilidade em tempo real de receitas e métricas de serviço

Oemização da Receita -‐  Pesquisando um RDB (Banco de Dados Relacional) para

calcular o custo por chamada

Visibilidade CDR (Detalhe de Registro de chamadas)

-‐  Ingerir qualquer formato CDR e dar visibilidade ARPU (Receita Média por Usuário)

Detectando Abusos e Custos -‐ Relatório Detectando Infrações e abusos nos serviços

36

Entregar Novos Insights para os Usuários Obtenha uma nova visão dos dados operacionais para tomar melhores decisões de negócio.

1.  Aevações de celulares. 2.  Receita Média por Usuário. 3.  Aevações Iphone. 4.  Aevações Android.

1 2 3 4

Nos úlgmos 60 minutos.

Quais foram os Planos vendidos?

Por que a Expedia Usa Splunk?

37

" Infraestrutura de TI dispersa, segmentada e global

" Por exemplo, para apenas uma parte da infraestrutura de TI, eram uelizados mais de 20 diferentes soluções diferentes

" 83% de redução no tempo médio de reparo (MTTR), downeme reduzido, análise de markeeng web detalhadas e oemização das ações de markeeng

" Splunk ajudou a Expedia a gerar um ROI annual de mais de US$11 milhões

" Criada uuma plataforma comum para dados de máquia para diversos emes de TI e de negócios

" Melhorias na entrega de conteúdo algo e ofertas para promover o serviço ao cliente e gerar receitas adicionais

Business Analygcs

Applicagon Mgmt

Security &

Compliance Web

Intelligence IT

Operagons Mgmt

Problema

Solução

Bene�cios

Summary

Machine data contains a definieve record of acevity and behavior

Splunk is unique in its ability to easily collect, index, monitor and analyze massive streams of machine data

Splunk turns machine data into real-‐eme operaeonal visibility and insights for IT and the business

Use cases include �applicaeon management, IT operaeons, cyber security, compliance, web intelligence and business analyecs

Customers get major value for their business (IT and across their organizaeons) by using Splunk to leverage their machine data

38

Obrigado "   Marcelo Souza [email protected]

39

@splunkbrasil Slideshare.com/splunkbrasil

Links " Webiste: www.splunk.com "   App: www.splunkbase.com " Documentos: h�p://docs.splunk.com/Documentaeon/Splunk "   .Conf2012: h�p://www.splunk.com/goto/conf

40