oficina de infraestrutura como código (apresentando o puppet)

Brasília/DF 2013-04-27

Infraestrutura como código - Apresentando PuppetGuto Carvalho

sexta-feira, 16 de agosto de 13

Oficina infraestrutura como código Apresentando: Puppet

Guto [email protected]


mailto:[email protected]


José Augusto (Guto) Carvalho

Consultor/SysAdmin/DevOp (LPIC-3 e PCP-201);

14 anos de experiência com TI e FOSS;

Blogueiro TI/FOSS há 10 anos no site gutocarvalho.net;

Atuação em vários projetos de Governo no MDA, MINC, EBC/RADIOBRÁS, MPS/DATAPREV, ITI/PR, CAIXA, MD/SIPAM, DETRAN/DF;

Entusiasta DevOps (sysadmin em recuperação) desde 2010.

whoami

FOSS => Free and Open Source Software


Plano de Trabalho

50 minutos de apresentação

10 minutos para perguntas

3 horas de mão na massa

Slidedeck disponível em slideshare.com/gutocarvalho


Agenda

Teoria

Configuração de VMs

Instalação de Puppet

Mão na Massa (Resource Types)

Dashboard & Foreman


Administração de sistemas e serviços


Virtualização


Cloud Computing


Administração Manual


Administração Manual

Tarefas repetitivas

Não existem padrões

Não existem procedimentos


Cada sysadmin faz do seu jeito


Tarefas RepetitivasCriação de usuários

Elaboração de scripts

Configuração de serviços

Configurações de monitoramento

Criação de imagens de ambientes

Configuração do sistema operacional

Instalação, atualização e remoção de pacotes


A medida que o parque aumenta administrá-lo fica mais complicado


Você vai percerber que...Fica mais difícil identificar e corrigir problemas

Fica mais difícil manter ambientes complexos funcionando

Fica mais difícil manter seu parque padronizado

Sua produtividade diminui a media que o ambiente cresce

Sua capacidade de entrega não é mais a mesma

Você nunca chega em casa no mesmo horário

Você trabalha muitos finais de semana e madrugadas


Maior risco de falhas


Maior tempo gasto para executar mudanças


Criação de usuário

450 máquinas 3 minutos por máquina

1350 minutos ou 22,5 horas450 trocas de senhas


Procedimento para criar usuário

Acessar o servidor por ssh

Se tornar root

Criar usuário

Especificar senha temporária

Especificar permissões no sudoers


Instalação de agente de

monitoramento450 máquinas

10 minutos por máquina4500 minutos ou 75 horas9 dias trabalhando 8 h.p.d


Procedimento para instalar zabbix

Acessar servidor via ssh

Adicionar repositório APT

Atualizar índices

Instalar pacote

Ajustar arquivo zabbix_agentd.conf

Reiniciar agente zabbix

Remover agente antigo (nagios).


Documentação inexistente


Não há rastreamento de mudanças


Você começa a ter a sensação de estar sendo engolido por seu ambiente?


Como resolver estes problemas?Como obtenho controle e padronização em meu ambiente ?


Gerência de Configurações


Padronização


Automatização


Controle


Integridade


Agilidade nas mudanças


PuppetFerramenta de nova geração que implementa gerência de

configurações para seu ambiente.


Puppet em poucas palavras


Puppet em poucas palavras

Nos permite parar de administrar e começar a desenvolver nossa infra

Nos permite reaproveitar código para construir configurações

Oferece linguagem declarativa para criar configurações

Sintaxe simples, prática e natural para sysadmins

Oferece suporte a Linux, BDBs, OSX e Windows


Sobre a ferramenta


Sobre a ferramenta

Ferramenta Open Source - Apache License

Ferramenta mantida pela empresa Puppetlabs

Empresa oferece suporte e versão enterprise

Criado por Luke Kaines (CEO e Fundador Puppetlabs)

Cases de uso com gandes players (HP, CISCO, VMWARE...)

Recebeu pesados investimentos (VMWARE 30bi)


Feito por um SysAdmin para SysAdmins


Desenhada para uso DevOps


DEVOPS

Developers (Dev)Operations (Ops)


Visão DevOpssexta-feira, 16 de agosto de 13

Veja palestra DevOps do Flisol/DF 2013


Tech Specs


Tech SpecsEscrito em Ruby

Extensível usando código Ruby

Funciona em modo autônomo e serverless

Funciona em modo cliente.servidor

Usa RESTful API

Oferece comunicação segura com uso de certificados digitais


Cases Puppet Enterprise


Cases Puppet Gov Brasil

Detran/DFEBC - Empresa Brasil de ComunicaçãoCAIXA (expresso)CAIXA (estação financeira)CAIXA (proinfo)SERPRO....


ArquiteturaComo funciona o Puppet?


Resource Abstraction Layer(RAL)


Resource Abstraction Layer


Resource Abstraction Layer

Camada de Abstração de Recursos

Fale o que você quer que seja feito

Não se preocupe em como será feito

O Puppet sabe como fazer


Instale Pacote X


Remova usuário Z


(Re)inicie serviço Y


Tratamento de Informações

O grande diferencial do Puppet é a forma como ele trata as informações de seus nodes


Tratamento de informações


Tratamento de informações

No Puppet tudo é modelado e tratado como ‘dados’

O estado atual de um node (servidor) é um dado

Um pacote instalado em um node é um dado

Um usuário em um servidor é um dado


Os dados são inseridos em catálogos pelo master

O catálogo é processado pelo node e as modificações são aplicadas de acordo com o que foi declarado.


Processamento do Catálogo

1) Agente Requisita Catálogo2) Agente envia Fatos para Master3) Master Processa Fatos e Compara4) Master Produz e envia Catálogo5) Node Recebe, Compara e Aplica6) Node informa estado atual ao Master7) Sistema reflete catálogo


Idempotência


ConfiguraçõesVoláteis e Dados

Puppet MasterMódulos Estáticos

Visão ampla do Puppet

LDAP DNS MONIT SYSLOG

JBOSS APACHE MYSQL PGSQL

Puppet Agents

Camada de Aplicação

Camada de Serviços Estruturantes


Você pode fazer deploy de sua APPVocê pode controlar a versão de sua APP


Como funciona o modo cliente/servidor?


Modo Cliente/Servidor

O agente gera um certificado digital

O master precisa autorizar o certificado

Sem autorização o agente não pode se comunicar

Toda a comunicação entre agente e master é segura


Puppet Visão em Rede

Puppet Master

Puppet Client

8140 TCPClient

puppetd -t

8139 TCPServer

puppetkickSSL


Fluxo Cliente/Servidor

Instalação do node




Inicialização do puppet




Geração de Certificado






Envio de Certificado






Master Assina Certificado







Agente Sincroniza








Agente Sincroniza




Modalidades de Assinatura de CertificadoAssinatura pode ser manualAssinatura pode ser automática por domínioAssinatura pode ser automática em qualquer requisição


O agente se comunica com o master a cada N minutos


Posso forçar execução do agentede forma remota?


Quais recursos estão disponíveis?


Recursos do Puppet

Resource Types

Parâmetros e Meta-parâmetros

Templates e Definições

Classes e Módulos

Funções e Condicionais


Puppet Resource Types

Arquivos e Diretórios

Usuários

Alias

Pacotes

Serviços

Yum Repos

Augeas

Hosts

SSH

Cron

O puppet oferece 38 tipos de recursos nativos, e você pode estendê-lo.


Resource Type: PackagesSuporte a 23 tipos de provedores de pacotes

Faz a abstração do OS

Declare se o pacote deve estar presente ou ausente

Declare se o pacote deve sempre estar em sua última versão


Resource Type: ServicesSuporta 11 tipos de sistemas INIT para inicializar serviços

Declare se um serviço deve estar sempre rodando

Declare se um serviço deve ser carregado no boot

Declare se um serviço depende de um pacote ou arquivo


Resource Type: FileEspecifique permissões e owners

Declare arquivos, diretórios e links

Controle de mudanças usando até 15 tipos de checksums


Exemplossexta-feira, 16 de agosto de 13

Instala, Configura e Inicia

# aptitude install apache2

# update-rc.d -f apache2 defaults

# cp ~/httpd.conf /etc/apache2/

# invoke-rc.d apache2 start

debian-way


package { 'apache2':ensure => present,}

service { 'apache2':

ensure => running,enable => true,}

file { 'httpd.conf':path => “/etc/apache2/httpd.conf”,source => “/etc/puppet/files/httpd.conf”,}



package { 'apache2':ensure => present,}

service { 'apache2':

ensure => running,enable => true,}

file { 'httpd.conf':path => “/etc/apache2/httpd.conf”,source => “/etc/puppet/files/httpd.conf”,}


resource typeparameter

titlevalue


Base Classclass linux-server { include sysadmin-utils include zabbix-agent include ntpconf include locales include hosts include users include localmta include vimrc include backup-agent include apt-repos}


Declarando um nodenode “servidor.dominio” { include linux-server include module}

node “balancer.dominio” { include linux-server include cyrus::backend include postfix::hub include haproxy::mailproxy}


Variáveis e FatosFatos (facter)

vimpackage => vim-puppet,

apacheservice => apache2,

ntpconfrhel => ntp.conf.rhel,

Variáveisdomainfqdnhostnameinterfacesipaddress_eth0ipaddress_eth1ipaddress_lolsbdistidlsbdistrelease

=> hacklab,=> puppetmaster.hacklab,=> puppetmaster,=> eth0,eth1,lo,=> 10.0.2.15,=> 192.168.56.150,=> 127.0.0.1,=> debian,=> 6.0.5,


Condicionaiscase $operatingsystem { CentOS,RedHat: { $package_name = 'ntp', $service_name = 'ntpd', $conf_file = 'ntp.conf.el', } Debian,Ubuntu: { $package_name = 'ntp', $service_name = 'ntp', $conf_file = 'ntp.conf.debian', }}....


Definiçõesproxy::squid { 'ProxyFilial' : http_port squid_mode squid_hostname cache_mem maximum_object_size_in_memory maximum_object_size memory_replacement_policy cache_replacement_policy cache_dir cache_mgr cache_effective_user cache_effective_group dns_nameservers ips_squid }

=> '3128',=> 'transparent',=> 'proxy.4linux',=> '2 GB',=> '6 MB',=> '128 MB',=> 'heap GDSF',=> 'heap LFUDA',=> 'aufs /var/spool/squid 1024 16 256',=> '[email protected]',=> 'proxy',=> 'proxy',=> '127.0.0.1 10.61.12.2 172.16.1.1',=> '127.0.0.1 192.168.12.3',




Templates

myorigin = <%= hostname %>mydestination = $myhostname, ..., localhost, <%= fqdn %>

Trecho do template postfix/main.cf

myorigin = servidor.dominiomydestination = $myhostname, ..., localhost, servidor.dominio

Substituição de variáveis por fatos


Como acompanho mudanças?


Puppet Dashboard


Posso fazer mudanças em tempo real?


Marionette Collective

Orquestrador de nodes

Execução de Tarefas Paralelas

Interação com centenas de nodes

Inventário descentralizado

Leitura de meta-dados do Puppet

Similar a Fabric e Capistrano


Mão na Massasexta-feira, 16 de agosto de 13

http://gutocarvalho.net/dokuwikihttp://172.16.61.105/

puppet serverless


http://gutocarvalho.net/dokuwiki

http://gutocarvalho.net/dokuwiki

http://172.16.61.105/

http://172.16.61.105/

Demonstração do puppet em modo autônomo


puppet resource (ral)


puppet apply manifest.pp


manifests


resource type file


resource type package


resource type service


resource type user


condicionais, templates, definições...


puppet filebucket


puppet parser


Demonstração do puppet modo cliente servidor


site.pp


nodes


classes


módulos


puppet agent --test


Demonstração mcollective


mco puppet runonce -v


mco facts operatingsystem -v


mco shell “uptime” -v


Puppet Labssexta-feira, 16 de agosto de 13

Qual o resultado concreto?


Documentação Instantânea


Processos bem definidos


Ambiente Padronizado


Restore e backup de mudanças


Tarefas Automatizadas


Benefícios ReaisMaior produtividade em menor tempo

Poucos sysadmins para muitos nodes

Diminuição de falhas humanas

Maior controle de todo o seu parque

Diminuição do tempo gasto em mudanças

Diminuição do custo de manutenção

Você chegará cedo em casa e suas madrugas e finais de semana serão seus


Comparando

Ambiente com 450 nodesAmbiente com 450 nodesAmbiente com 450 nodes

modo manual puppet

instalando zabbix 75 horas 10 minutos

criando usuário 22 horas 10 minutos


Tecnologia trabalhando para você


Boas Práticassexta-feira, 16 de agosto de 13

Insira o puppet nos templates de seu hypervisor


Use o puppet para executar e controlar mudanças em seu parque


Para de administrar e comece a desenvolver a sua infraestrutura


Nova demanda? Já execute utilizando o Puppet, escreva classes e módulos para que você só tenha que fazer isto 1 vez e reaproveitar o código depois.


Versione as configurações (git) criadas no Puppet.


Reaproveite código, escreva seus módulos da forma mais flexível possível.


Não precisa começar do zero, use módulo prontos do GitHub e

PuppetForge.


Pesquise, há muita informação sobre puppet na rede!


Puppet em números

727 pessoas online no canal #puppet da irc.freenode.net

8.500 repositórios no GitHub

450 módulos no PuppetForge

4457 usuários ativos na lista puppet-users com 7795 tópicos de discussão

Dados coletados em 2012-08-06 às 10:34 PMsexta-feira, 16 de agosto de 13

Puppet Labssexta-feira, 16 de agosto de 13

Site/Bloghttp://www.puppetlabs.comhttp://www.puppetlabs.com/blog/http://puppet-br.org/

Twitter@puppetlabs

GitHubhttp://www.github.com/puppelabs

Puppet na rede

Google GroupsPuppet-camp,puppet-users,puppet-users-br,puppet-dev

IRCirc.freenode.org#puppet#puppet-br


Perguntas?


Obrigado!

Linkedin: http://br.linkedin.com/in/gutocarv

E-mail: [email protected]

Contato

Slides: slideshare.net/gutocarvalhoBlog: gutocarvalho.net

Twitter: @gutocarvalho


http://br.linkedin.com/in/gutocarv

http://br.linkedin.com/in/gutocarv



oficina de infraestrutura como código (apresentando o puppet)

Technology