ii enqs -_implantação_de_fábrica_de_teste_-_desafios,_resultados_e_melhores_práticas

Implantação de Fábrica de Teste: desafios, resultados e melhores práticas

Welington Costa Monteiro – Out/2011

Implantação de Fábrica de Teste: Desafios, Resultados e Melhores Práticas

Agenda

• Apresentação

• O cenário inicial dos testes

• Desafios

• Implantando a Fábrica de Teste

• Resultados

• Melhores Práticas

• Próximos Passos

• Conclusão


Apresentação

O palestrante

Gerente da Fábrica de Software da Prodemge

Consultor de aquisição habilitado pelo MPS.BR

Especialista em Qualidade de Software com certificações pela ALATS e ISQTB

15 anos de experiência na área de TI

Graduado em Ciência da Computação

Pós-graduação em Gerência de Tecnologia da Informação


Apresentação

A Prodemge

1ª maior empresa de TIC de

Minas Gerais em faturamento

(ranking Assespro-MG 2008)

Companhia de economia

mista, apoia as ações estratégicas

da administração pública mineira

na área de TIC - Tecnologia da

Informação e Comunicação.


Apresentação

A Prodemge – Produtos e Serviços

Sistemas de Informação

Serviços de Rede

Armazéns de Informações

Data Center

Gestão de Conteúdo

Serviços de Infraestrutura

Certificação Digital

Recursos Humanos

Finanças

Segurança Pública

Orçamento e Planejamento

Gestão

Gestão de conteúdo


Apresentação

A Prodemge – DDS

Diretoria de Desenvolvimento de Sistemas

Estrutura da Diretoria de Desenvolvimento de Sistemas (Resumida)

SSC SSD SSO SAS

GSS

GSM GSO

GST

GSA

GFS

GPS

GPR

GSHGSC


Apresentação

A Prodemge – A Fábrica de Software

Gerência de Fábrica de Software

Fábrica Web

Fábrica de Código

Fábrica de Teste

Núcleo de Subcontratação

A GFS foi criada há quase 4 anos e tem 50 colaboradores. Nos próximos 4 meses, terá

160 colaboradores.

É segmentada em 3 áreas e um núcleo de subcontratação (núcleo administrativo)

Atende as demais gerências da empresa (especificação) na construção e testes

sistemas em plataforma baixa (Java, PHP e dot Net) e também na construção de

sítios, intranets e portais corporativos


Apresentação

A Prodemge – A Fábrica de Teste

Gerência de Fábrica de Software

Fábrica Web

Fábrica de Código

Fábrica de Teste

Núcleo de Subcontratação

A Fábrica de teste está implantada há quase 2 anos

Conta atualmente com 20 profissionais, sendo 50% estagiários . Previsão de mais 15

profissionais nos próximos 4 meses;

Capacidade média mensal de 900 PF (2011)

5 profissionais certificados CFTL e 1 profissional certificado CBTS

1 profissional habilitado como consultor de implementação do MPT.BR (22.10)


Agenda

• Apresentação


• Desafios

• Implantação da Fábrica de Teste

• Resultados



• Conclusão


O cenário inicial dos testes

“Eu já vi este bug antes” – Déjà vu

“A aplicação estava funcionando na versão anterior” – Síndrome do Casamento

“Eu sempre fiz deste jeito” – Síndrome da Gabriela

“Este bug não é bug! ” – Ser ou não ser ?

“ Não temos tempo para testar tudo mesmo” - Deus Deadline

“ Terei que fazer uma melhoria por causa do teste” - Caso Patológico



• Os testes eram baseados apenas nos requisitos funcionais, ede forma superficial pelo fato de não ter métricas paraplanejar os prazos de testes.

Não existia equipe de teste

independente

• A ausência de uma atividade de teste para avaliar ofuncionamento básico da aplicação não era realizado. Destaforma no caso de aplicações compiladas, a posteriormanutenção era comprometida pelas “bibliotecasesquecidas”

Problemas de manutenção das

aplicações

• Em virtude do desenvolvimento interativoincremental, ocorriam inúmeros falsos defeitos em virtudesdas versões do banco de dados não estarem compatíveis, ouseja, foi utilizada a versão X para a construção e a X’ para ostestes.

Incompatibilidade de versões de BD



•Os casos de testes eram elaborados de formaexploratória, sem utilizar metodologias específicas de testese isto onerava e muito o prazo do projeto, em virtude daresponsabilidade ser da equipe de especificação.

Inexistência da Documentação de

Teste

• Dificuldade de entendimento e de reprodução dos erros, oque gerava um grande atraso na correção dos defeitos

Falta de padronização no relato de defeitos

• Não existia um processo de testes completo, era apenasuma atividade descrita no processo de desenvolvimento, eque era executada após o codificação da aplicação.A execução era somente manual;

Ineficiência e baixa cobertura dos

testes


Agenda

• Apresentação


• Desafios


• Resultados



• Conclusão


Desafios

A empresa buscava na área de desenvolvimento

Maior agilidade no processo

Cumprir 100% dos prazos acordados

Melhorar a qualidade do software construído

E o cliente?

SistemaUsuário interage com o sistema

SIMPLIFICAR O PROCESSO:

Desafios

Paradoxo: Simplificar os processos existentes e Implantar um novo processo de qualidade ?

Qual seria a melhor alternativa?

Os testes deveriam ser automáticos


Desafios

Cinco principais ações:

1. Buscar um patrocinador para o projeto de Fábrica deTeste na empresa, com teria por objetivo atender asdemandas de projetos de plataforma baixa daProdemge;

2. Interiorizar a importância dos testes em todo oprocesso de desenvolvimento e não apenas como umaparte do ciclo do mesmo;


Desafios

Cinco principais ações:

3. Implantar um processo de testes compatível com oprocesso de desenvolvimento da empresa;

4. Ter capacidade de atendimento de todas as demandasde plataforma baixa das áreas;

5. Demonstrar o ROI da implantação da fábrica de teste;


Agenda

• Apresentação


• Desafios


• Resultados



• Conclusão


Implantação da Fábrica de Teste

Doze passos para a implantação:

1. Definição de terminologias

2. Identificação dos serviços a serem prestados

3. Definição de métricas dos serviços prestados para

planejamento e acompanhamento de produtividade

4. Especialização dos papéis da equipe

5. Elaboração do processo completo e detalhado



8. Elaboração de Guias para a execução dos procedimentos para

execução das atividades

9. Definição de um ambientes de testes compatível com o

ambiente de homologação

10.Avaliação de ferramentas disponíveis no mercado




11. Elaboração de documentos administrativos para controle

(solicitação, parecer, etc)

12. Definição de indicadores para busca contínua da melhoria do

processo



Definição de Terminologias

GLOSSÁRIO PADRÃO DE TERMOS UTILIZADOS EM TESTE DE SOFTWARE (55 páginas)

Versão 1.3br (01 de Julho de 2007)Produzido pelo “Glossary Working Party”International Software Testing Qualification Board

Editor Erik van Veenendaal (Holanda)Notificação do Detentor dos Direitos Autorais

Este documento poderá ser copiado na íntegra ou emparte desde de que haja menção à sua fonte.


Identificação dos serviços a serem prestados

Teste Unitário

Teste Integrado

Fábrica de Software

Checklist de ERSw

Checklist de Casos de

Testes

Elaboração de Casos de

Testes

Inspeção de Código Fonte

SmokeTest

Teste Funcional

Automação de Teste

Fábrica de Teste

Teste de Desempenho

Teste de Stress

Teste de Segurança

Área de Segurança

Teste de Carga

Área de Produção



Definição de métricas dos serviços prestados paraplanejamento e acompanhamento de produtividade

Métrica de Produtividade: PF

Taxa de entrega: 90%

Exemplo de cálculo:Elaboração de casos de testes

Fonte: UNILASALLE - TCC 2009 – Tatiana Brezezinski



Especialização dos papéis da equipe

Coordenador de Testes

Analistas de

Testes

Arquiteto de Testes

Testadores Automatizadores

Gerente de

Testes

Teste Líder



Elaboração do processo detalhado



Elaboração de guias de procedimentos para aexecução das atividades

- Guia para Elaboração de Casos de Testes

- Guia de Configuração de Ambiente

- Guia para Inspeção de Código Fonte

- Guia do Smoke Test

- Guia dos Testes Funcionais

(Padronização de relato de defeito / Testes exploratórios)

- Guia para Automação de Testes



Definição de um ambiente de testes compatível como ambiente de homologação



Avaliação das ferramentas disponíveis no mercado



Elaboração de documentos administrativos paracontrole

- Solicitação de Testes

- Parecer Smoke Test

- Parecer Teste Funcional

- Check-list ERSw

- Check-list Casos de Testes



Definição de indicadores para busca contínua damelhoria do processo

Evolução e amadurecimento da cultura de testesMaturidade

Menor ciclo de estabilização dos sistemas de negócioRestrição

Maior volume de testes gerenciados pelos AnalistasProdutividade

Menor volume de defeitos “não-procedentes”Confiabilidade

Maior precisão na detecção de defeitosEficácia

Menor custo de execução dos testesCusto

Menor tempo de execução dos testesPrazo

Maior volume de casos de testesQualidade

IMPACTO DA FÁBRICA DE TESTEINDICADOR


Agenda

• Apresentação


• Desafios


• Resultados



• Conclusão


Resultados

• Aplicações mais estáveis (melhora da qualidade do

produto)

• Diminuição significativa dos defeitos no ambiente de

produção (redução de custos)

• Melhora significativa dos artefatos entregues para o

desenvolvimento dentro dos padrões estabelecidos pelo

processo (Ponto de controle de qualidade)

Na prática


Resultados

• Redução das dúvidas dos desenvolvedores em virtude

dos relatos dos incidentes (tempo de correção dos defeitos)

• Geração de script de testes funcionais para testes de

desempenho (Integração e otimização do processo entre

áreas)

• Automação de aplicações críticas (redução drástica de

retrabalho)

Na prática


Resultados

Exemplo de projeto

Projeto em plataforma baixa : 400 PF aproximadamente

63%

28%

9%

Percentual de incidentes encontrados por área

Área de Testes

Área de Especificação (Negócio)

Cliente

Resultados

O grande resultado

A Fábrica de Teste tornou-se

fundamental na proposta de

melhoria contínua de qualidade de

software da PRODEMGE.


Agenda

• Apresentação


• Desafios


• Resultados



• Conclusão


Melhores práticas1. Não testarás sem documentação

2. Honrarás os casos de testes

3. Validarás o banco de dados

4. Realizarás a inspeção de código

5. Controlarás o ambiente de testes

6. Registrarás todos os incidentes

7. Não marretarás os dados dos testes

8. Evitarás reteste manual

9. Nem tudo automatizarás

10.O processo sempre seguirás


Agenda

• Apresentação


• Desafios


• Resultados



• Conclusão


Próximos passos

- Avaliação do MPT.BR (melhoria de processo)

- Adoção da métrica de Ponto de Teste (esforço e cobertura)

- Aquisição de um suíte de teste (integração)

- Execução de teste automatizado programado (sistemas críticos)

- Edital de contratação de fábrica de testes (sazonalidade)

- Teste de Baseado em Risco (estratégia de teste)

- Análise Preditiva de Testes(precisão no prazo do ciclo de teste)

- Teste de Acessibilidade (ampliar atuação)

Agenda

• Apresentação


• Desafios


• Resultados



• Conclusão


Conclusão

“Não se pode enxertar qualidade em umproduto de software mal construídoapenas com teste, mas também não épossível construir um produto comqualidade sem teste e análise”

Mauro Pezzè e Michal Young


OBRIGADO !Welington Costa Monteiro

[email protected]

(31) 3915-4467

welingtonmonteiro

mailto:[email protected]

ii enqs -_implantação_de_fábrica_de_teste_-_desafios,_resultados_e_melhores_práticas

Documents