Implantação de Fábrica de Testes em órgão público como modelo de aceitação de produtos de software

desenvolvidos por terceirosAutor: Welington Monteiro – AGO/12

Apresentação

Gerente de Testes de Software da Prodemge

Certificado em Qualidade de Software com certificações pela ALATS e ISQTB

Consultor de aquisição habilitado pelo MPS.BR

CPRE-FL – IREB (Engenharia de Requisitos) - Em processo de certificação

TMAP Next (Engenheiro de Testes) - Em processo de certificação

Membro e revisor técnico do TMMi

15 anos de experiência na área de TI (bancária, têxtil, comércio, TI, comunicação)

Graduado em Ciência da Computação

Pós-graduação em Gerência de Tecnologia da Informação

Proposta de livro submetida ao MCTI/SEPIN ficou entre os 3 primeiros colocados no Programa Brasileiro de Qualidade de Software, mantido por esse órgão.

Apresentação

1. Contextualização

2. Situação-Problema

3. Solução: Fábrica de Testes

4. Inovação e Ineditismo

5. Público-alvo

6. Relevância para o interesse público

7. Efetividade

8. Caso de sucesso – Processo licitatório Prodemge

9. Facilidade de reprodução

10. Conclusão

Agenda

1. Contextualização

2. Situação-Problema

3. Solução: Fábrica de Testes

4. Inovação e Ineditismo

5. Público-alvo

6. Relevância para o interesse público

7. Efetividade

8. Caso de sucesso – Processo licitatório Prodemge

9. Facilidade de reprodução

10. Conclusão

Agenda

Um cenário crescente nas organizações públicas é a

demanda de soluções de TI através da contratação de

serviços de desenvolvimento de software junto a

fornecedores, principalmente no modelo de fábrica

de software.

Contextualização

O desenvolvimento de software requer know-how para avaliação apurada da qualidade do produto de software adquirido.

Sem controle de qualidade:• Riscos de produtos de software com defeitos.• Riscos de insatisfação do cliente.• Elevados custos com retrabalho e manutenção.• Gastos para os cofres públicos.

Comprar software é diferente de comprar bem material.

Contextualização

Desenvolvimento de software:

• atividade de alta complexidade• envolve fatores de risco.

Testes são fundamentais na garantia da qualidade do software.

Quanto mais tarde os defeitos são encontrados em um software, maiores serão os custos de sua remoção.

“A grande maioria das empresas de software no Brasil gasta 70% do tempo de desenvolvimento corrigindo erros, ao invés de inovar e desenvolver novas soluções.” Fonte: DevMedia

Justificativa

1. Contextualização

2. Situação-Problema

3. Solução: Fábrica de Testes

4. Inovação e Ineditismo

5. Público-alvo

6. Relevância para o interesse público

7. Efetividade

8. Caso de sucesso – Processo licitatório Prodemge

9. Facilidade de reprodução

10. Conclusão

Agenda

Sistemas desenvolvidos com percentual significativo

de atrasos relacionados à baixa qualidade:

Retrabalho.

Impactos nos custos.

Impactos nos prazos.

Situação-problema

Modelo Conceitual – contexto comumPrincipais problemas:

Má Qualidade Interna do SoftwareResultado: complexidade de manutenção

Má Qualidade Externa do SoftwareResultado: defeitos encontrados pelo cliente

Atraso de cronogramaResultado: estouro de prazo

+ C

US

TO

S

Justificativa

Modelo Conceitual – contexto comumAquisição de desenvolvimento de software na maior parte das empresas públicas

Demanda ProcessoLicitatório Contrato Entrega

Detalhamento dosrequerimentos

Justificativa

1. Contextualização

2. Situação-Problema

3. Solução: Fábrica de Testes

4. Inovação e Ineditismo

5. Público-alvo

6. Relevância para o interesse público

7. Efetividade

8. Caso de sucesso – Processo licitatório Prodemge

9. Facilidade de reprodução

10. Conclusão

Agenda

Impactos positivos:

Índices de produtividade.

Prazos.

Custos dos projetos de testes e homologação.

Reduz os riscos de soluções não padronizadas e

manutenção de sistemas legados, tornando os

investimentos em testes mais voltados a serviços que

propriamente à aquisição de ferramentas.

Solução: Fábrica de Testes

Modelo Conceitual – contexto propostoFábrica de Testes atuando como ponto de controle de qualidade

Demanda ProcessoLicitatório

Contrato EntregaDetalhamento dosrequerimentos

Processo de Qualidade

Fábrica de Testes

Justificativa

Modelo Conceitual – contexto proposto

Demais benefícios diretos:

• Maior qualidade do software;• Redução de retrabalho;• Maior padronização dos softwares desenvolvidos;• Redução de problemas de segurança;• Pagamento condicional a fornecedores mediante critérios

preestabelecidos de padrões de qualidade aceitáveis;• Documentação atualizada do software desenvolvido.

Redução significativa de custos aos cofres públicos

Resultados Esperados

Regra 10 de Myers

O custo da correção de um defeito de software pode ser 1000 vezes maior caso este seja identificado em produção (cliente) do que se identificado nas fases iniciais (definição).

Fonte: Livro Base de Conhecimento em Teste de Software, São Paulo, 2007

Justificativa

ROI dos Testes

Fonte: Investing in Software Testing: The Cost of Software Quality - Rex Black

Com a automação de testes pode-se atingir retorno de investimento de até 445%, comparando-se a uma organização sem testes formais.

Justificativa

1. Contextualização

2. Situação-Problema

3. Solução: Fábrica de Testes

4. Inovação e Ineditismo

5. Público-alvo

6. Relevância para o interesse público

7. Efetividade

8. Caso de sucesso – Processo licitatório Prodemge

9. Facilidade de reprodução

10. Conclusão

Agenda

Não foram encontradas referências desse tipo de

iniciativa atuando como ponto de controle de

qualidade em contratos de desenvolvimento de

software:

- em contato direto com outras organizações públicas

(muitas nem possuem uma ‘célula’ específica para

testes ou qualidade); ou

- através de pesquisa na internet.

Inovação e Ineditismo

1. Contextualização

2. Situação-Problema

3. Solução: Fábrica de Testes

4. Inovação e Ineditismo

5. Público-alvo

6. Relevância para o interesse público

7. Efetividade

8. Caso de sucesso – Processo licitatório Prodemge

9. Facilidade de reprodução

10. Conclusão

Agenda

Todas as organizações públicas que:

• Contratam serviços de desenvolvimento de

software de terceiros;

• e/ou que buscam melhoria da qualidade do

produto de software desenvolvido.

Público-Alvo

1. Contextualização

2. Situação-Problema

3. Solução: Fábrica de Testes

4. Inovação e Ineditismo

5. Público-alvo

6. Relevância para o interesse público

7. Efetividade

8. Caso de sucesso – Processo licitatório Prodemge

9. Facilidade de reprodução

10. Conclusão

Agenda

• Garantir que o sistema entregue esteja de acordo

com os padrões de qualidade estabelecidos;

• Muitos órgãos públicos não têm a know-how

necessário para realizar uma aferição de projetos

relacionados a software;

• Redução significativa de custos.

Relevância para o interesse público

1. Contextualização

2. Situação-Problema

3. Solução: Fábrica de Testes

4. Inovação e Ineditismo

5. Público-alvo

6. Relevância para o interesse público

7. Efetividade

8. Caso de sucesso – Processo licitatório Prodemge

9. Facilidade de reprodução

10. Conclusão

Agenda

• Aplicações mais estáveis;

• Redução de custos;

• Ponto de controle de qualidade;

• Otimização de tempo de correção dos defeitos;

• Integração e otimização do processo;

• Redução drástica de retrabalho.

Efetividade

1. Contextualização

2. Situação-Problema

3. Solução: Fábrica de Testes

4. Inovação e Ineditismo

5. Público-alvo

6. Relevância para o interesse público

7. Efetividade

8. Caso de sucesso – Processo licitatório Prodemge

9. Facilidade de reprodução

10. Conclusão

Agenda

Pregão eletrônico nº 015/2011 Contratação de construção de software em tecnologia Java - 12.000 Pontos de Função

O Edital, em relação à prova de conceito:

10.1 – A Proponente vencedora submeter-se-á, antes da homologação do processo, a prova prática de conceito para validação de proficiência no ambiente tecnológico da Prodemge, em conformidade com o descrito no Anexo II-A.

As 4 (quatro) primeiras empresas classificadas pelo menor preço foram reprovadas nos testes realizados pela fábrica de testes. Os softwares desenvolvidos na prova de conceito apresentaram problemas de qualidade (defeitos), alguns de alta gravidade.

Case: Licitação Prodemge

1. Contextualização

2. Situação-Problema

3. Solução: Fábrica de Testes

4. Inovação e Ineditismo

5. Público-alvo

6. Relevância para o interesse público

7. Efetividade

8. Caso de sucesso – Processo licitatório Prodemge

9. Facilidade de reprodução

10. Conclusão

Agenda

• O modelo é adaptável à realidade da empresa ou

órgão, visando o cumprimento de seu papel, sem gerar

entraves no processo;

• Pode ser implantado por ciclos, levando em

consideração a abrangência dos testes;

• Retorno pode ser obtido a curto prazo.

Facilidade de Reprodução

1. Contextualização

2. Situação-Problema

3. Solução: Fábrica de Testes

4. Inovação e Ineditismo

5. Público-alvo

6. Relevância para o interesse público

7. Efetividade

8. Caso de sucesso – Processo licitatório Prodemge

9. Facilidade de reprodução

10. Conclusão

Agenda

Evolução contínua dos processos existentes Maior eficiência na gestão e desenvolvimento de

software pelas organizações públicas.

Além dos benefícios diretos relacionados à: Qualidade de software. Redução de riscos. Redução de custos dos projetos desta natureza.

Conclusão

Muito obrigado!

Welington Costa MonteiroGerente de Testes

wmonteiro@prodemge.gov.br

welingtonmonteiro