[devops carioca] testes automatizados

107
Importância de testes automatizados para sustentar Continuous Delivery e DevOps @samantacicil ia

Upload: samanta-cicilia

Post on 12-Jan-2017

408 views

Category:

Technology


0 download

TRANSCRIPT

Page 1: [DevOps Carioca] Testes Automatizados

Importância de testes automatizados para sustentar Continuous Delivery e DevOps

@samantacicilia

Page 2: [DevOps Carioca] Testes Automatizados

Sobre mimImportância de Testes Automatizados

Quadrante de TestesPirâmide de Testes & Antipadrões

Tipos de Teste & Continuous DeliveryDemo

Referências

@samantacicilia

Page 3: [DevOps Carioca] Testes Automatizados

Sobre mim

@samantacicilia

Page 4: [DevOps Carioca] Testes Automatizados
Page 5: [DevOps Carioca] Testes Automatizados

agiletesters.com.br

Page 6: [DevOps Carioca] Testes Automatizados

insideoutproject.com.br

Page 7: [DevOps Carioca] Testes Automatizados

Importância de Testes Automatizados

@samantacicilia

Page 8: [DevOps Carioca] Testes Automatizados

Testes automatizados?

Page 9: [DevOps Carioca] Testes Automatizados

Testes automatizados?- Feedback rápido;

Page 10: [DevOps Carioca] Testes Automatizados

Testes automatizados?- Feedback rápido;

- Menos passível de erro de execução;

Page 11: [DevOps Carioca] Testes Automatizados

Testes automatizados?- Feedback rápido;

- Menos passível de erro de execução;

- Executar testes automatizados no decorrer do pipeline ++ qualidade;

Page 12: [DevOps Carioca] Testes Automatizados

Testes automatizados?- Feedback rápido;

- Menos passível de erro de execução;

- Executar testes automatizados no decorrer do pipeline ++ qualidade;

- Melhoria Contínua na Estratégia de Testes;

Page 13: [DevOps Carioca] Testes Automatizados

Testes automatizados?- Feedback rápido;

- Menos passível de erro de execução;

- Executar testes automatizados no decorrer do pipeline ++ qualidade;

- Melhoria Contínua na Estratégia de Testes;

- Testes = especificação executável do comportamento do sistema;

Page 14: [DevOps Carioca] Testes Automatizados

Testes automatizados?- Feedback rápido;

- Menos passível de erro de execução;

- Executar testes automatizados no decorrer do pipeline ++ qualidade;

- Melhoria Contínua na Estratégia de Testes;

- Testes = especificação executável do comportamento do sistema;

- Feedback, Feedback, Feedback;

Page 15: [DevOps Carioca] Testes Automatizados

Quadrante de Testes

@samantacicilia

Page 16: [DevOps Carioca] Testes Automatizados
Page 17: [DevOps Carioca] Testes Automatizados

Pirâmide de Testes

@samantacicilia

Page 18: [DevOps Carioca] Testes Automatizados
Page 19: [DevOps Carioca] Testes Automatizados
Page 20: [DevOps Carioca] Testes Automatizados

Antipadrões

@samantacicilia

Page 21: [DevOps Carioca] Testes Automatizados
Page 22: [DevOps Carioca] Testes Automatizados
Page 23: [DevOps Carioca] Testes Automatizados

Tipos de Teste & Continuous Delivery

@samantacicilia

Page 24: [DevOps Carioca] Testes Automatizados

Testes Unitários

@samantacicilia

Page 25: [DevOps Carioca] Testes Automatizados

Testes Unitários

Page 26: [DevOps Carioca] Testes Automatizados

Testes Unitários- Feedback extremamente rápido;

Page 27: [DevOps Carioca] Testes Automatizados

Testes Unitários- Feedback extremamente rápido;

- 10-minute build (eXtreme Programming);

Page 28: [DevOps Carioca] Testes Automatizados

Testes Unitários- Feedback extremamente rápido;

- 10-minute build (eXtreme Programming);

- Testes de valores limite, diferentes combinações, exceções…

Page 29: [DevOps Carioca] Testes Automatizados

Testes Unitários- Feedback extremamente rápido;

- 10-minute build (eXtreme Programming);

- Testes de valores limite, diferentes combinações, exceções…

- Cobertura de Código;

Page 30: [DevOps Carioca] Testes Automatizados

Testes Unitários- Feedback extremamente rápido;

- 10-minute build (eXtreme Programming);

- Testes de valores limite, diferentes combinações, exceções…

- Cobertura de Código;

- Segurança para fazer mudanças (eXtreme Programming);

Page 31: [DevOps Carioca] Testes Automatizados

Testes Unitários- Feedback extremamente rápido;

- 10-minute build (eXtreme Programming);

- Testes de valores limite, diferentes combinações, exceções…

- Cobertura de Código;

- Segurança para fazer mudanças (eXtreme Programming);

- Qualidade também nos testes unitários!

Page 32: [DevOps Carioca] Testes Automatizados

Testes Unitários- Feedback extremamente rápido;

- 10-minute build (eXtreme Programming);

- Testes de valores limite, diferentes combinações, exceções…

- Cobertura de Código;

- Segurança para fazer mudanças (eXtreme Programming);

- Qualidade também nos testes unitários!

- Test Driven Development;

Page 33: [DevOps Carioca] Testes Automatizados

Testes Unitários- Feedback extremamente rápido;

- 10-minute build (eXtreme Programming);

- Testes de valores limite, diferentes combinações, exceções…

- Cobertura de Código;

- Segurança para fazer mudanças (eXtreme Programming);

- Qualidade também nos testes unitários!

- Test Driven Development;

- Design de Código que permita testes;

Page 34: [DevOps Carioca] Testes Automatizados

Testes Unitários- Feedback extremamente rápido;

- 10-minute build (eXtreme Programming);

- Testes de valores limite, diferentes combinações, exceções…

- Cobertura de Código;

- Segurança para fazer mudanças (eXtreme Programming);

- Qualidade também nos testes unitários!

- Test Driven Development;

- Design de Código que permita testes;

- Mocks;

Page 35: [DevOps Carioca] Testes Automatizados

Ferramentas

@samantacicilia

Page 36: [DevOps Carioca] Testes Automatizados

Links das Ferramentas- http://junit.org/junit4/

- http://www.nunit.org/

- http://testng.org/doc/index.html

- https://phpunit.de/

- http://jasmine.github.io/

- https://mochajs.org/

- http://robolectric.org/

- http://rspec.info/

- https://docs.python.org/2.7/library/unittest.html

Page 37: [DevOps Carioca] Testes Automatizados

Cobertura & Análise Estática

Page 38: [DevOps Carioca] Testes Automatizados

Cobertura & Análise Estática- Verificar qual a % do seu código da aplicação está coberto por testes;

Page 39: [DevOps Carioca] Testes Automatizados

Cobertura & Análise Estática- Verificar qual a % do seu código da aplicação está coberto por testes;

- Analisar seu código de acordo com algumas regras;

Page 40: [DevOps Carioca] Testes Automatizados

Cobertura & Análise Estática- Verificar qual a % do seu código da aplicação está coberto por testes;

- Analisar seu código de acordo com algumas regras;

- Verificacão por estilo (identação, espaços, convencão de nomes, comentários…);

Page 41: [DevOps Carioca] Testes Automatizados

Cobertura & Análise Estática- Verificar qual a % do seu código da aplicação está coberto por testes;

- Analisar seu código de acordo com algumas regras;

- Verificacão por estilo (identação, espaços, convencão de nomes, comentários…);

- Verificação por boas práticas (duplicação de código, encoding, tamanho de métodos e classes, criação de variáveis desnecessárias…);

Page 42: [DevOps Carioca] Testes Automatizados

Cobertura & Análise Estática- Verificar qual a % do seu código da aplicação está coberto por testes;

- Analisar seu código de acordo com algumas regras;

- Verificacão por estilo (identação, espaços, convencão de nomes, comentários…);

- Verificação por boas práticas (duplicação de código, encoding, tamanho de métodos e classes, criação de variáveis desnecessárias…);

- Verificação por bugs (antecipar possíveis problemas);

Page 43: [DevOps Carioca] Testes Automatizados

Ferramentas (Cobertura)

@samantacicilia

Page 44: [DevOps Carioca] Testes Automatizados

Links das Ferramentas- https://coverage.readthedocs.io/en/coverage-4.0.3/

- https://github.com/colszowka/simplecov

- http://emma.sourceforge.net/

- https://github.com/jacoco/jacoco

- https://www.ncover.com/

- http://blanketjs.org/

- https://github.com/jonreid/XcodeCoverage

- https://coveralls.io/

Page 45: [DevOps Carioca] Testes Automatizados

Ferramentas (Análise)

@samantacicilia

Page 46: [DevOps Carioca] Testes Automatizados

Links das Ferramentas- http://www.sonarqube.org/

- https://codeclimate.com/

- https://github.com/es-analysis/plato

- https://github.com/dafiti/cs

- http://checkstyle.sourceforge.net/

- http://findbugs.sourceforge.net/

- https://www.pylint.org/

- https://stylecop.codeplex.com/

Page 47: [DevOps Carioca] Testes Automatizados

Testes de Mutação

Page 48: [DevOps Carioca] Testes Automatizados

Testes de Mutação- Testar seus Testes Unitários;

Page 49: [DevOps Carioca] Testes Automatizados

Testes de Mutação- Testar seus Testes Unitários;- Ferramenta introduz mutações no seu código e executa os testes

unitários;

Page 50: [DevOps Carioca] Testes Automatizados

Testes de Mutação- Testar seus Testes Unitários;- Ferramenta introduz mutações no seu código e executa os testes

unitários;- Se os testes falharem = OK!

Page 51: [DevOps Carioca] Testes Automatizados

Testes de Mutação- Testar seus Testes Unitários;- Ferramenta introduz mutações no seu código e executa os testes

unitários;- Se os testes falharem = OK!- Se os testes passarem = NOK!

Page 52: [DevOps Carioca] Testes Automatizados

Testes de Mutação

Page 53: [DevOps Carioca] Testes Automatizados

Ferramentas

@samantacicilia

Page 54: [DevOps Carioca] Testes Automatizados

Links das Ferramentas- http://pitest.org/

- https://pypi.python.org/pypi/MutPy

- https://ninjaturtles.codeplex.com/

- http://visualmutator.github.io/web/

- https://github.com/mbj/mutant

- http://jumble.sourceforge.net/

Page 55: [DevOps Carioca] Testes Automatizados

Testes de Serviços

@samantacicilia

Page 56: [DevOps Carioca] Testes Automatizados

Testes de Serviço

Page 57: [DevOps Carioca] Testes Automatizados

Testes de Serviço- Depois dos Testes de Unidade e antes dos Testes de UI;

Page 58: [DevOps Carioca] Testes Automatizados

Testes de Serviço- Depois dos Testes de Unidade e antes dos Testes de UI;

- Testar seu app + módulos, componentes, banco de dados;

Page 59: [DevOps Carioca] Testes Automatizados

Testes de Serviço- Depois dos Testes de Unidade e antes dos Testes de UI;

- Testar seu app + módulos, componentes, banco de dados;

- Sem interface;

Page 60: [DevOps Carioca] Testes Automatizados

Testes de Serviço- Depois dos Testes de Unidade e antes dos Testes de UI;

- Testar seu app + módulos, componentes, banco de dados;

- Sem interface;

- Stubs;

Page 61: [DevOps Carioca] Testes Automatizados

Testes de Serviço- Integração/Componentes

Page 62: [DevOps Carioca] Testes Automatizados

Testes de Serviço- Integração/Componentes- Contratos

Page 63: [DevOps Carioca] Testes Automatizados

Testes de Serviço- Integração/Componentes- Contratos- API/Webservices

Page 64: [DevOps Carioca] Testes Automatizados

Ferramentas

@samantacicilia

Page 65: [DevOps Carioca] Testes Automatizados

Links das Ferramentas- https://www.soapui.org/- https://github.com/jayway/rest-assured- http://flask-restless.readthedocs.io/en/stable/- http://frisbyjs.com/- https://github.com/visionmedia/supertest- https://github.com/svanoort/pyresttest- https://github.com/rest-client/rest-client- https://github.com/brooklynDev/airborne

Page 66: [DevOps Carioca] Testes Automatizados

Testes de UI

@samantacicilia

Page 67: [DevOps Carioca] Testes Automatizados

Testes Funcionais

Page 68: [DevOps Carioca] Testes Automatizados

Testes Funcionais- Lentos :(

Page 69: [DevOps Carioca] Testes Automatizados

Testes Funcionais- Lentos :(

- Fluxos principais da aplicação;

Page 70: [DevOps Carioca] Testes Automatizados

Testes Funcionais- Lentos :(

- Fluxos principais da aplicação;

- Diferentes browsers (IE, Firefox, Chrome, Safari & Headless);

Page 71: [DevOps Carioca] Testes Automatizados

Testes Funcionais- Lentos :(

- Fluxos principais da aplicação;

- Diferentes browsers (IE, Firefox, Chrome, Safari & Headless);

- Mobile;

Page 72: [DevOps Carioca] Testes Automatizados

Ferramentas

@samantacicilia

Page 73: [DevOps Carioca] Testes Automatizados

Links das Ferramentas- http://www.seleniumhq.org/

- https://github.com/jnicklas/capybara

- http://angular.github.io/protractor/#/

- https://github.com/RobotiumTech/robotium

- http://calaba.sh/

- http://appium.io/

Page 74: [DevOps Carioca] Testes Automatizados

Testes de Regressão Visual- Comparação de Imagens;

Page 75: [DevOps Carioca] Testes Automatizados

Testes de Regressão Visual- Comparação de Imagens;

Page 76: [DevOps Carioca] Testes Automatizados

Ferramentas

@samantacicilia

Page 77: [DevOps Carioca] Testes Automatizados

Links das Ferramentas- https://github.com/yahoo/kobold

- https://github.com/Huddle/PhantomCSS

- https://applitools.com/

- https://dpxdt-test.appspot.com/

- https://github.com/BBC-News/wraith

- https://github.com/xebia/VisualReview

Page 78: [DevOps Carioca] Testes Automatizados

Testes de Performance

Page 79: [DevOps Carioca] Testes Automatizados

Testes de Performance- Comportamento da aplicação diante de uma carga conhecida;

Page 80: [DevOps Carioca] Testes Automatizados

Testes de Performance- Comportamento da aplicação diante de uma carga conhecida;

- Baselines;

Page 81: [DevOps Carioca] Testes Automatizados

Testes de Performance- Comportamento da aplicação diante de uma carga conhecida;

- Baselines;

- Ter um ambiente para esses testes;

Page 82: [DevOps Carioca] Testes Automatizados

Testes de Performance- Comportamento da aplicação diante de uma carga conhecida;

- Baselines;

- Ter um ambiente para esses testes;

- Definir as métricas;

Page 83: [DevOps Carioca] Testes Automatizados

Testes de Performance- Comportamento da aplicação diante de uma carga conhecida;

- Baselines;

- Ter um ambiente para esses testes;

- Definir as métricas;

- Análise automática???

Page 84: [DevOps Carioca] Testes Automatizados

Ferramentas

@samantacicilia

Page 85: [DevOps Carioca] Testes Automatizados

Links das Ferramentas- http://www.radview.com/pt-br/baixe-o-webload/- https://smartbear.com/product/loadcomplete/overview/- http://www.neotys.com/neoload/overview- http://jmeter.apache.org/- http://grinder.sourceforge.net/- http://locust.io/- http://gatling.io/- https://www.loadui.org/

Page 86: [DevOps Carioca] Testes Automatizados

E Continuous Delivery?

@samantacicilia

Page 87: [DevOps Carioca] Testes Automatizados

Testes X Estágios

Page 88: [DevOps Carioca] Testes Automatizados

Testes X Estágios- Estágio de Commit:

- Testes Unitários- Testes de Mutação

Page 89: [DevOps Carioca] Testes Automatizados

Testes X Estágios- Estágio de Commit:

- Testes Unitários- Testes de Mutação

- Estágio de Aceite (primeiro ambiente): - Testes de Serviço

Page 90: [DevOps Carioca] Testes Automatizados

Testes X Estágios- Estágio de Commit:

- Testes Unitários- Testes de Mutação

- Estágio de Aceite (primeiro ambiente): - Testes de Serviço

- Estágio de Aceite (pré-produção): - Testes de UI- Testes de Regressão Visual- Testes de Performance

Page 91: [DevOps Carioca] Testes Automatizados

Ferramentas

@samantacicilia

Page 92: [DevOps Carioca] Testes Automatizados

Links das Ferramentas- https://semaphoreci.com/- https://travis-ci.org/- http://circleci.com/- https://jenkins.io- https://www.go.cd/- https://snap-ci.com/

Page 93: [DevOps Carioca] Testes Automatizados

Demo

@samantacicilia

Page 94: [DevOps Carioca] Testes Automatizados

Ruby:- Unitário (Rspec)

- Mutação (mutant-rspec)

https://github.com/samycici/mutation_example

@samantacicilia

Page 95: [DevOps Carioca] Testes Automatizados

Exemplo 1

Page 96: [DevOps Carioca] Testes Automatizados

Exemplo 1

Page 97: [DevOps Carioca] Testes Automatizados

Exemplo 1

Page 98: [DevOps Carioca] Testes Automatizados

Exemplo 1

Page 99: [DevOps Carioca] Testes Automatizados

Exemplo 2

Page 100: [DevOps Carioca] Testes Automatizados

Exemplo 2

Page 101: [DevOps Carioca] Testes Automatizados

Exemplo 2

Page 102: [DevOps Carioca] Testes Automatizados

App em Python usando Flask:

- Unitário (unittest + fixtures)- Integração (unittest + sqlite)

- API (pyresttest)- Funcional (selenium)- Performance (locust.io)

https://github.com/samycici/todoapp-flask@samantacicilia

Page 103: [DevOps Carioca] Testes Automatizados

Referências

@samantacicilia

Page 104: [DevOps Carioca] Testes Automatizados

@samantacicilia

Page 105: [DevOps Carioca] Testes Automatizados

http://www.guru99.com/mutation-testing.html

http://blog.arkency.com/2015/05/mutation-testing-and-continuous-integration/

http://blog.arkency.com/2015/06/how-good-are-your-ruby-tests-testing-your-tests-with-mutant/

https://blog.blockscore.com/how-to-write-better-code-using-mutation-testing/

http://www.slideshare.net/stefanteixeira/vr-dev-summit-2016-primeiros-passos-em-automao-de-testes

http://pt.slideshare.net/fredoriginal/palestra-de-como-testar-sua-api-rest-no-grupo-de-teste-carioca

https://css-tricks.com/visual-regression-testing-with-phantomcss/

http://www.softwaretestinghelp.com/performance-testing-tools-load-testing-tools/

https://talkingabouttesting.com/2015/08/19/mao-na-massa-com-visual-review-e-protractor/

https://robots.thoughtbot.com/how-to-stub-external-services-in-tests

http://www.devmedia.com.br/como-adotar-a-analise-estatica-de-codigo/32727

Page 106: [DevOps Carioca] Testes Automatizados
Page 107: [DevOps Carioca] Testes Automatizados

Contatos➔ testedesoftware.com➔ rtstreinamentos.com.br➔ medium.com/@samantacicilia

➔ Linkedin: Samanta Cicilia➔ Twitter: @samantacicilia➔ Slideshare: pt.slideshare.net/samantacicilia/➔ Email: [email protected]