Teste de SoftwareCaso Procenge

Elba MotaGerente de Testes

José LunaGerente de Produto

Unidade de Gestão Empresarial

DIRETORIAda Unidade

GESTÃO DOS PRODUTOS

TECNOLOGIA- P&D -

(4)

DESENVOLVIMENTO(24)

TESTES(8)

ATENDIMENTO(7)

PROJETOS(4)

IMPLANTAÇÃO(18)

GESTÃO ADM/FINANCEIRA

(3)

GESTÃO DE RELACIONAMENTOS

DOCUMENTAÇÃO(3)

Total: 72 colaboradores

ESPECIALISTAS(2)

CAPACITAÇÃO(4)NEGÓCIOS

Base Pirâmide

• ~430 empresas• ~6.500 usuários• Crescimento médio

de 30% a.a.• Atendimento:

~40 chamados dia

Cenário: arquitetura

Arquitetura Cliente/Servidor em 2 camadas

Linguagens de desenvolvimento

Gupta SAL, Oracle PL/SQL*

Linguagem Web Microsoft C#.NET

Servidor Web Windows IIS

Banco de Dados Oracle 8i ou superior

Ferramentas Gupta SQL Windows, PL/SQL Developer, TestComplete (QA)Microsoft .NET Framework, ERwin, Crystal Reports, System

Architect

SO do servidor Linux, Windows2000, HP-UX, Solaris

Plataforma servidor

Intel, HP, Sun e outros

Integrações Oracle Packages, TIs ou TXT

Outros números:

-178 packages (~15 procs): principais regras de negócio c/1.910 mil linhas

-1.940 tabelas

-Modelo aberto (cliente adiciona colunas, tabelas, triggers e outros objetos)

-3.830 telas / forms

-930 relatórios

-Aproximadamente 18.500 pontos de função - PFs

Contexto Inicial

• Teste como fase final da realização do produto

• Conseqüências– Teste limitado exclusivamente pelo

tempo– Nenhum preparo até o momento da

execução– Concentração de Bug´s no final do ciclo

de realização do produto

Projeto de versão

• Projeto de Versão: 2 meses

Versão XX.01

Versão XX.02

Mês 1 Mês 2 Mês 3 Mês 4 Mês 5Lib

eraç

ão

Lib

eraç

ão

Revisão

Revisão

Revisão

Priorização PlanejamentoHomologação

Plano de testesValidações(usuários)

LiberaçãoImplementação VersãoBeta

Clie

nte

s( T

od

os )

Oco

rrê

nci

as

SGP

Sistema de Gestão Procenge

ISO9001:2000Todas as áreas

ISO12207

ISO15504

MPS.BR ‘G’

(*) REQM, PP, PMC e PPQA

CMMI-2 *

MPS.BR ‘F’ *

Ciclo de vida projeto de versão

“Planos” de Teste

Exec

utar

Verificar

Ref

inar

Preparar

“Planos” de Teste (cont.)

• 156 “planos” maduros (>4 anos)• Alguns com mais de 150 etapas• Total de 16.630 etapas• Sistema de “planos”• Alto nível • Regras de criação e manutenção

definidos nos processos afins

Motivadores (janeiro 2006)

• Execução de “apenas” 8.500 etapas/versão• Testes gerais incompletos, exigindo

priorizações, além de horas-extras da equipe

• Imprecisão e subjetivismo: baixo nível dos critérios de aceitação

• Novos sistemas sendo incorporados• Aumento da equipe de testes e

desenvolvimento na mesma proporção• Indicadores de desempenho estagnados

Profissionalização de Testes

Mai/06

Kick-off do projeto

Mai/Jun

Mentoring

Jul

Reformulação dos processos

(área de testes)

Ago

Aquisição e instalação do TestComplete

Novo modelo de trabalho

SEPG

Set/Out

Implementação dos procedimentos

e casos de teste

Capacitação SEPG

Jan/07

Institucionalização do SEPG

Revisão dos processos na área

de desenvolvimento

Nov/Dez

Avaliação MPS.BR “G”

CBTS

Excelên

cia

Procedimento de Teste

Massa de Dados

Modelo com automação

Projeto de Teste

. Executa a sequência de introdução dos dados

. Compara com os resultados esperados (valores, tempo, etc...)

. Reporta as discrepâncias

SMART

Caso de Teste

Caso de Teste

Caso de Teste

IEEE 829

Exemplo

Ciclo de vida projeto de versão

Algumas Reflexões

• 70% processo70% processo X 30% ferramenta• Flexibilidade para ajustar a teoria de

testes à realidade do produto e mercado• Processos de desenvolvimento na área

de testes (gerência de configuração, requisito, etc...)

• Gestão dos BDs de teste• A maturidade dos processos • Completa inserção dos testes no projeto

de versão

Casos de teste implementados

• Tempo total de execução: ~50 horas

Administrador 50%

Comercial 35%

Compras 65%

Contabilidade 60%

Estoque 40%

Financeiro 65%

Total 56%

Posição em 30/09/2007

Cobertura dos Casos de Regressão

Reflexo da melhoria do processo

Qtde de Bugs Detectados Internamente

8590

130139 138

15

35

55

75

95

115

135

155

5.9 5.10 5.11 5.12 5.13

Benefícios / Resultados

• Indicadores de performance voltaram a evoluir– % de bugs detectados em casa X clientes

• Detecção de problemas que antes eram quase impossíveis de serem verificados

• Testes analíticos, repetíveis e cobrindo combinações de eventos que manualmente eram inimagináveis

• Base de conhecimento sobre testes completamente documentada

• Significativa diminuição do stress de fim de projeto (hora-extra ≈ 0)

• Eliminação dos Betas• Equipe motivada• Problema: Backlog de Bugs

Profissionalização de Testes

Mai/06

Kick-off do projeto

Mai/Jun

Mentoring

Jul

Reformulação dos processos

(área de testes)

Ago

Aquisição e instalação do TestComplete

Novo modelo de trabalho

SEPG

Set/Out

Implementação dos procedimentos

e casos de teste

Capacitação SEPG

Jan/07

Institucionalização do SEPG

Revisão dos processos na área

de desenvolvimento

Nov/Dez

Avaliação MPS.BR “G”

CBTS

Excelên

cia

Abril/07

Inspeção de Projetos de

Testes

Situação Atual

• Redefinição de papéis e responsabilidades

• Capacitação da equipe• Processo de teste paralelo e

integrado ao processo de desenvolvimento

• Inspeção de projeto de teste– Prevenção

Processo de Inspeção

Reflexo das Inspeções

Diminuição na Geração de Bugs

8590

130139 138

117

92

15

35

55

75

95

115

135

155

5.9 5.10 5.11 5.12 5.13 5.14 5.15

Benefícios / Resultados

Próximas ações

• 1500 casos automatizados em 01/2008

• Conclusão dos novos processos, atendendo às KPs VAL e VER (CMMI-3): Novembro/07

• Certificação de TODOS os profissionais no CBTS até dez/2007

• Certificação MPS.BR “F”: dez/2007

• Certificação CMMI-2: jan/2008

• Expectativa: automatizar 60%

Obrigado!Elba Mota

elbamota@procenge.com.br

(81)4009-2877