tdc2016 trilha-banco-influx.ppt

Globalcode – Open4education

Trilha – Banco de dadosMarcos Vinicius Ribeiro Artigas

Software Engineer na Umbler


O início, o cenário...


1 ano e 3 meses :)

+ de 26 mil usuários+ de 23 mil sites hospedados+ de 20 mil contas de e-mail+ de 3 mil servidores liberados+ de 15 mil bancos de dados criados

Previsão para o próximo ano é de triplicar esses valores.


Encontramos uma necessidade


1ª Tentativa

+

+


2ª Tentativa

Elasticsearch Watcher+


3ª e última tentativa


Então,

o que é um banco de dados de série temporal?

(TSDB)


Tá,mas o que são dados de séries temporais?

(Time Series Data )


Exemplo do que é!


Exemplo do que não é!


Onde geralmente se utiliza?


E quais as vantagens mesmo?

• Alta performance

• Banco dedicado a resolver um único problema

• Facilidade para agregação de dados

• Rotatividade dos dados


Ok, quais TSDB existem?

e muitos outros ...

Atlas


● Fundada em 2012.

● Desde 2015 possui sua própria stack para

suporte ao InfluxDB, ela se chama TICK.

● Produtos OpenSource e gratuitos.

● Comunidade aquecida e suportada pela

própria empresa.

● Seus produtos estão na versão 0.13.

Paul Dix


Principais características

● Alta performance para gravação de dados.● Escrita e leituras realizadas através de uma HTTP API.● Linguagem de consulta (InfluxQL) parecida com SQL.● Tags, permitem indexação de séries para consultas

rápidas e eficientes.● Políticas de retenção e consultas contínuas.● Bibliotecas de client desenvolvidas para as principais

linguagens.● Interface de administração web.


Comparação com SQL

• Measurements = Tabelas

• Tags = Colunas indexadas no SQL

• Fields = Colunas não indexadas no SQL

• Points = Rows no SQL

O Resto é basicamente tudo igual..

ex: CREATE DATABASE teste


Escrevendo no InfluxDB

curl -i -XPOST

'http://localhost:8086/write?db=mydb' --data-binary 'cpu,host=server01 value=9.64 143405556200’

URL da HTTP API de escrita + nome do banco.



curl -i -XPOST 'http://localhost:8086/write?db=mydb' --data-binary 'cpu,host=server01 value=9.64 14340555620’

cpu = measurement




host = tagserver01 = valor da tag




value = field9.64 = valor da medição




Data e hora em formato Epoch Time


Retention Polices (RP)

CREATE RETENTION POLICY <rp-name> ON <db-name> DURATION <duration> REPLICATION <n> [DEFAULT]

ex:CREATE RETENTION POLICY high_precision ON mydb DURATION 7d REPLICATION 3 DEFAULT


Consultando no InfluxDb

curl -GET 'http://localhost:8086/query?pretty=true' --data-urlencode "db=mydb" --data-urlencode "q=SELECT value FROM cpu WHERE host='server01'"


Aggregates

SELECT MEAN(value) FROM cpuWHERE time > now() - 1hGROUP BY time(10m)


Schema Exploration

• SHOW DATABASES• SHOW RETENTION POLICIES• SHOW SERIES• SHOW MEASUREMENTS• SHOW TAG KEYS• SHOW TAG VALUES• SHOW FIELD KEYS


Functions

• min / max • percentile • first / last• mean • count • sum • median• distinct • difference• moving_average


Continuous Queries

CREATE CONTINUOUS QUERY "cpu_10min" ON mydb BEGIN

SELECT mean(value) INTO media_cpu_10_minFROM cpu

GROUP BY time(10m) END;


Administração

• Relay

• Cluster

• Backup

• Restore


T.I.C.K

Telegraf

InfluxDB

Chronograf

Kapacitor


É tipo ELK?


Telegraf

• + 50 plugins de inputex: Docker, Linux, Redis, Apache, PHP-FPM, Windows e etc.

• + 15 plugins de outputex: InfluxDB, Datadog, File, OpenTSDB, Prometheus e etc.


Chronograf


Kapacitor

Kapacitor é uma estrutura de processamento de dados Open Source que facilita a criação de alertas sobre estruturas de dados temporais e detecção de anomalias.


Exemplo de um .tickstream |from() .measurement('cpu')

|window() .period(10m) .every(5m) |alert()

.warn(lambda: "value" > 80) .crit(lambda: "value" > 90) .log('/tmp/alerts.log')

.slack() .channel(“#alerts”)


InfluxDb + Kapacitor


Mais informações

Documentação e Slack da InfluxData:

https://docs.influxdata.com/

https://gophers.slack.com/messages/influxdb/






Perguntas?

Obrigado!

Meus contatos:

[email protected]@umbler.com

mailto:[email protected]




tdc2016 trilha-banco-influx.ppt

Technology