analyzing and reporting test results
Post on 10-Jul-2015
261 Views
Preview:
TRANSCRIPT
PROGRAMA DE PÓS-GRADUAÇÃO EM ENGENHARIA ELETRÔNICA E COMPUTAÇÃO
PG/EEC-I – 2º SEMESTRE 2010 – ITA
CE - 237 Teste de Software - Semana 7
Eng. Thiago Tadeu de Carvalho Ferreira
Passo 5 – Analisar e relatar os resultados dos TestesCap 11 (Perry,2007)
Passo 5: Analisar e Relatar os Resultados do Teste
• A equipe de teste é responsável não apenas pela execução do teste, mas também consolidar os dados num formato que facilite a tomada de decisão da gerência.
• Ao longo do capítulo 11, é explicado que a função da equipe de teste não é somente relatar os erros encontrados no Software; mas também escrever relatórios sobre gastos, recursos, status do cronograma (que seria o papel do Engenheiro da Qualidade de Software em outros livros)
07.2b.2
Preocupações
• Times de desenvolvimento tendem a ter uma visão otimista sobre o status do projeto.
• Enquanto que o time de teste pode apresentar uma visão independente do mesmo.
• Porém, o time deve estar atento a:Disponibilizar os relatórios sempre que necessário;Com informações adequadas;Ter certeza que as pessoas certas irão receber os
relatórios corretos.
07.2b.33
Bancada: Visão Geral
07.2b.4
Bancada: Detalhamento
• Entradas:Plano de Teste e também Plano do Projeto, pois será
contra esses dois planos que os testadores reportarão o status do projeto
Saber os resultados esperados (requisitos claros)Dados coletados durante o teste!!!
07.2b.5
Dados coletados durante o teste
• Não se limita somente aos defeitos encontrados durante os testes
• Mas também os resultados de revisões e inspeções feitos em documentos (exemplo: documento de requisitos)
• E também validar que os objetivos do negócio foram encontrados.
• Armazenar todos os dados num banco de dados especifico
07.2b.66
Tarefas
• 1 Reportar o status do projeto
• 2 Reportar resultados provisórios do teste• 3 Reportar o resultados finais do teste
07.2b.7
Tarefa 1: Reportar o status do projeto
• Essa tarefa oferece uma abordagem para reportar o status do projeto
• Dois relatórios devem ser gerados:– Resumido: Visão geral de todos os projetos.
Usado para mostrar quais projetos necessitam de atenção imediata da gerência
– Relatório do Status do Projeto: Informação detalhada sobre cronograma, recursos, orçamentos
07.2b.8
Tarefa 1: Reportar o status do projeto
• Porém, um processo deve ser estabelecido para que os dados dos relatórios sejam confiáveis. Logo, seis sub-tarefas foram estabelecidas
2. Estabelecer uma equipe de medição3. Criar um inventário para as medições existentes (seguindo um
planejamento4. Criar um conjunto de métricas5. Definir os requisitos para esse processo de medições (relatórios
desejados, ferramentas utilizadas etc.)6. Desenvolver e Implementar o Processo7. Monitorar o Processo
07.2b.99
Exemplo de Relatórios
• Relatório Resumido:
07.2b.10
Exemplo de Relatórios
• Relatório Completo:
07.2b.1111
Tarefa 2: Reportar resultados provisórios
• São apresentados 10 exemplo de relatórios provisórios
• O autor recomenda que todos sejam preparados para serem incorporados depois no Relatório Final
07.2b.1212
Relatório 1: Matriz Função/Teste• Apresenta quais testes devem ser feitos para validar
as funções do software, e em qual sequência isso deverá ser feito
• Para fazer essa matriz, é necessário antes preencher o Work-Paper 11-1
• Esse Work Paper deverá ser preenchido toda vez que um defeito por descoberto
07.2b.13
Work Paper 11-1
07.2b.1414
Relatório 1: Matriz Função/Teste
• Com base nesse work paper, uma matriz função/teste deve ser feita, onde a intersecção do teste e da função pode ser codificada com um número que indique:
1 = Teste necessário, mas não foi feito
2 = Teste sendo feito
3 = Defeito com baixa criticidade
4 = Defeto com alta criticidade
5= Teste completo, e a função não possui error(para os critérios desse teste)
07.2b.15
Relatório 1: Matriz Função/Teste
07.2b.16
O que entendi da Matriz seria
Porém o livro exemplifica com 'X' (???)
16
Relatório 2: Status Funcional dos Testes
CE-237 Prof. VDias & Prof. Cunha - Semana 6 07.2b.17
O propósito desse relatório e mostrar a porcentagem de funções: que foram totalmente testadas, não testada ou ainda que não foram corrigidas.
17
Relatório 3: Cronograma para Funcionamento das Funções (Functions Working Timeline Report)
07.2b.18
• Esse relatório mostra o status do teste e a probabilidade que o SW estará pronto na data estimada.
18
Relatório 4: Esperado vs Atual (defeitos encontrados)
07.2b.19
• O propósito desse relatório é mostrar se o número de defeitos é maior ou menor do que o esperado. Isso mostra que a organização possui uma série histórica para poder planejar a quantidade de defeitos, e que também o processo de desenvolvimento é suficientemente estável para que a média dos defeitos encontrados sejam relativamente consistente.
19
Relatório 4: Esperado vs Atual (defeitos encontrados)
07.2b.2020
Relatório 5: Defeitos vs Correções
07.2b.21
• O propósito desse relatório é listar os defeitos que ainda não foram corrigidos. É necessário armazenar os defeitos assim que encontrados, e depois quando forem corrigidos
• Plotando o gráfico para ambos, será fácil de identificar quantos defeitos ainda estão por corrigir.
Relatório 5: Defeitos vs Correções
07.2b.2222
Relatório 6: Idade Média dos Defeitos
07.2b.23
• Esse relatório mostra, dividido por severidade (menor, maior e crítica), um média da idade (em dias) dos defeitos ainda não corrigidos
23
Relatório 7:Distribuição dos Defeitos
07.2b.24
• O propósito desse relatório é distribuir os defeitos entre os módulos/unidades que compõem o projeto de SW
24
Relatório 8: Distribuição dos Defeitos Normalizada
07.2b.25
• Tem o mesmo objetivo do relatório anterior, porém o número de defeitos é normalizado, por exemplo: defeitos por 100 pontos de função ou por 1000 linhas de código.
25
Relatório 9: Ação do teste
07.2b.2626
• Esse é um resumo que contém informações coletadas nos relatórios anteriores.
• Endereçado ao Gerente do Desenvolvimento ou Gerente da equipe de Teste => para que ambos possam tomar as ações necessárias
• É composto por 4 informações: 1) Testes em atraso, 2) Defeitos críticos não corrigidos, 3) Principais Defeitos de idade igual a 5 dias não corrigidos e 4) e o número total de defeitos ainda não corrigidos.
Relatório 9: Ação do teste
07.2b.2727
Relatório 10: Provisório
CE-237 Prof. VDias & Prof. Cunha - Semana 6 07.2b.28
• Esse relatório deve mostrar os resultados dos testes até então, o que funciona e o que não funciona e recomendações
• Importante ressaltar no relatório o escopo do teste, do contrário o leitor poderá erroneamente assumir que um teste exaustivo foi realizado, o que não é possível! (questões práticas e econômicas)
• Logo, o escopo deve explicar claramente o que o testadores fizeram
28
Relatório 10: Provisório
07.2b.2929
Relembrando as tarefas!!
07.2b.3030
Tarefa 3: Resultados Finais do Teste
07.2b.31
• Um relatório final deve ser feito para documentar os resultados do testes, se estes estão de acordo com o Planejamento dos Testes
• O cliente pode determinar se o sistema está pronto para a produção
• Ele deve resumir o conteúdo dos seguintes testes:Relatório Individual de cada Testador (igual ao
provisório)Teste de IntegraçãoTeste de Sistema (capítulo 8)Teste de Aceitação 31
Monitorar o trabalho: WP 11-2
07.2b.32
• Para monitorar se o processo de reportar os resultados do teste foi feito corretamente, o autor propõe a utilização do Work-Paper 11-2
• É um questionário dividido em 3 partes. Controle da Qualidade para:Escrever o relatório de status;Desenvolver o relatório provisório.Escrever o relatório final.
32
Monitorar o processo: WP 11-2 e 11-3
07.2b.33
• Para monitorar se o processo de reportar os resultados do teste foi feito corretamente, o autor propõe a utilização do Work-Paper 11-2
• O primeiro é um questionário dividido em 3 partes, enquanto que o segundo que ajudará os testadores escreverem relatórios eficazes.
33
Monitorar o processo: WP 11-2
07.2b.3434
Monitorar o processo: WP 11-3
07.2b.3535
Considerações finais
07.2b.36
• A empresa deve adaptar o processo aqui apresentado: quais relatórios devem ser feitos?
• Uma vez que um conjunto de relatórios foi escolhido, eles devem formar uma linha base (baseline) para que os projetos possam ser comparados entre si, identificando quais projetos estão abaixo da média da empresa
36
top related