analyzing and reporting test results
TRANSCRIPT
![Page 1: Analyzing and Reporting Test Results](https://reader034.vdocuments.com.br/reader034/viewer/2022042518/559fc7601a28ab850d8b45a6/html5/thumbnails/1.jpg)
PROGRAMA DE PÓS-GRADUAÇÃO EM ENGENHARIA ELETRÔNICA E COMPUTAÇÃO
PG/EEC-I – 2º SEMESTRE 2010 – ITA
CE - 237 Teste de Software - Semana 7
Eng. Thiago Tadeu de Carvalho Ferreira
Passo 5 – Analisar e relatar os resultados dos TestesCap 11 (Perry,2007)
![Page 2: Analyzing and Reporting Test Results](https://reader034.vdocuments.com.br/reader034/viewer/2022042518/559fc7601a28ab850d8b45a6/html5/thumbnails/2.jpg)
Passo 5: Analisar e Relatar os Resultados do Teste
• A equipe de teste é responsável não apenas pela execução do teste, mas também consolidar os dados num formato que facilite a tomada de decisão da gerência.
• Ao longo do capítulo 11, é explicado que a função da equipe de teste não é somente relatar os erros encontrados no Software; mas também escrever relatórios sobre gastos, recursos, status do cronograma (que seria o papel do Engenheiro da Qualidade de Software em outros livros)
07.2b.2
![Page 3: Analyzing and Reporting Test Results](https://reader034.vdocuments.com.br/reader034/viewer/2022042518/559fc7601a28ab850d8b45a6/html5/thumbnails/3.jpg)
Preocupações
• Times de desenvolvimento tendem a ter uma visão otimista sobre o status do projeto.
• Enquanto que o time de teste pode apresentar uma visão independente do mesmo.
• Porém, o time deve estar atento a:Disponibilizar os relatórios sempre que necessário;Com informações adequadas;Ter certeza que as pessoas certas irão receber os
relatórios corretos.
07.2b.33
![Page 4: Analyzing and Reporting Test Results](https://reader034.vdocuments.com.br/reader034/viewer/2022042518/559fc7601a28ab850d8b45a6/html5/thumbnails/4.jpg)
Bancada: Visão Geral
07.2b.4
![Page 5: Analyzing and Reporting Test Results](https://reader034.vdocuments.com.br/reader034/viewer/2022042518/559fc7601a28ab850d8b45a6/html5/thumbnails/5.jpg)
Bancada: Detalhamento
• Entradas:Plano de Teste e também Plano do Projeto, pois será
contra esses dois planos que os testadores reportarão o status do projeto
Saber os resultados esperados (requisitos claros)Dados coletados durante o teste!!!
07.2b.5
![Page 6: Analyzing and Reporting Test Results](https://reader034.vdocuments.com.br/reader034/viewer/2022042518/559fc7601a28ab850d8b45a6/html5/thumbnails/6.jpg)
Dados coletados durante o teste
• Não se limita somente aos defeitos encontrados durante os testes
• Mas também os resultados de revisões e inspeções feitos em documentos (exemplo: documento de requisitos)
• E também validar que os objetivos do negócio foram encontrados.
• Armazenar todos os dados num banco de dados especifico
07.2b.66
![Page 7: Analyzing and Reporting Test Results](https://reader034.vdocuments.com.br/reader034/viewer/2022042518/559fc7601a28ab850d8b45a6/html5/thumbnails/7.jpg)
Tarefas
• 1 Reportar o status do projeto
• 2 Reportar resultados provisórios do teste• 3 Reportar o resultados finais do teste
07.2b.7
![Page 8: Analyzing and Reporting Test Results](https://reader034.vdocuments.com.br/reader034/viewer/2022042518/559fc7601a28ab850d8b45a6/html5/thumbnails/8.jpg)
Tarefa 1: Reportar o status do projeto
• Essa tarefa oferece uma abordagem para reportar o status do projeto
• Dois relatórios devem ser gerados:– Resumido: Visão geral de todos os projetos.
Usado para mostrar quais projetos necessitam de atenção imediata da gerência
– Relatório do Status do Projeto: Informação detalhada sobre cronograma, recursos, orçamentos
07.2b.8
![Page 9: Analyzing and Reporting Test Results](https://reader034.vdocuments.com.br/reader034/viewer/2022042518/559fc7601a28ab850d8b45a6/html5/thumbnails/9.jpg)
Tarefa 1: Reportar o status do projeto
• Porém, um processo deve ser estabelecido para que os dados dos relatórios sejam confiáveis. Logo, seis sub-tarefas foram estabelecidas
2. Estabelecer uma equipe de medição3. Criar um inventário para as medições existentes (seguindo um
planejamento4. Criar um conjunto de métricas5. Definir os requisitos para esse processo de medições (relatórios
desejados, ferramentas utilizadas etc.)6. Desenvolver e Implementar o Processo7. Monitorar o Processo
07.2b.99
![Page 10: Analyzing and Reporting Test Results](https://reader034.vdocuments.com.br/reader034/viewer/2022042518/559fc7601a28ab850d8b45a6/html5/thumbnails/10.jpg)
Exemplo de Relatórios
• Relatório Resumido:
07.2b.10
![Page 11: Analyzing and Reporting Test Results](https://reader034.vdocuments.com.br/reader034/viewer/2022042518/559fc7601a28ab850d8b45a6/html5/thumbnails/11.jpg)
Exemplo de Relatórios
• Relatório Completo:
07.2b.1111
![Page 12: Analyzing and Reporting Test Results](https://reader034.vdocuments.com.br/reader034/viewer/2022042518/559fc7601a28ab850d8b45a6/html5/thumbnails/12.jpg)
Tarefa 2: Reportar resultados provisórios
• São apresentados 10 exemplo de relatórios provisórios
• O autor recomenda que todos sejam preparados para serem incorporados depois no Relatório Final
07.2b.1212
![Page 13: Analyzing and Reporting Test Results](https://reader034.vdocuments.com.br/reader034/viewer/2022042518/559fc7601a28ab850d8b45a6/html5/thumbnails/13.jpg)
Relatório 1: Matriz Função/Teste• Apresenta quais testes devem ser feitos para validar
as funções do software, e em qual sequência isso deverá ser feito
• Para fazer essa matriz, é necessário antes preencher o Work-Paper 11-1
• Esse Work Paper deverá ser preenchido toda vez que um defeito por descoberto
07.2b.13
![Page 14: Analyzing and Reporting Test Results](https://reader034.vdocuments.com.br/reader034/viewer/2022042518/559fc7601a28ab850d8b45a6/html5/thumbnails/14.jpg)
Work Paper 11-1
07.2b.1414
![Page 15: Analyzing and Reporting Test Results](https://reader034.vdocuments.com.br/reader034/viewer/2022042518/559fc7601a28ab850d8b45a6/html5/thumbnails/15.jpg)
Relatório 1: Matriz Função/Teste
• Com base nesse work paper, uma matriz função/teste deve ser feita, onde a intersecção do teste e da função pode ser codificada com um número que indique:
1 = Teste necessário, mas não foi feito
2 = Teste sendo feito
3 = Defeito com baixa criticidade
4 = Defeto com alta criticidade
5= Teste completo, e a função não possui error(para os critérios desse teste)
07.2b.15
![Page 16: Analyzing and Reporting Test Results](https://reader034.vdocuments.com.br/reader034/viewer/2022042518/559fc7601a28ab850d8b45a6/html5/thumbnails/16.jpg)
Relatório 1: Matriz Função/Teste
07.2b.16
O que entendi da Matriz seria
Porém o livro exemplifica com 'X' (???)
16
![Page 17: Analyzing and Reporting Test Results](https://reader034.vdocuments.com.br/reader034/viewer/2022042518/559fc7601a28ab850d8b45a6/html5/thumbnails/17.jpg)
Relatório 2: Status Funcional dos Testes
CE-237 Prof. VDias & Prof. Cunha - Semana 6 07.2b.17
O propósito desse relatório e mostrar a porcentagem de funções: que foram totalmente testadas, não testada ou ainda que não foram corrigidas.
17
![Page 18: Analyzing and Reporting Test Results](https://reader034.vdocuments.com.br/reader034/viewer/2022042518/559fc7601a28ab850d8b45a6/html5/thumbnails/18.jpg)
Relatório 3: Cronograma para Funcionamento das Funções (Functions Working Timeline Report)
07.2b.18
• Esse relatório mostra o status do teste e a probabilidade que o SW estará pronto na data estimada.
18
![Page 19: Analyzing and Reporting Test Results](https://reader034.vdocuments.com.br/reader034/viewer/2022042518/559fc7601a28ab850d8b45a6/html5/thumbnails/19.jpg)
Relatório 4: Esperado vs Atual (defeitos encontrados)
07.2b.19
• O propósito desse relatório é mostrar se o número de defeitos é maior ou menor do que o esperado. Isso mostra que a organização possui uma série histórica para poder planejar a quantidade de defeitos, e que também o processo de desenvolvimento é suficientemente estável para que a média dos defeitos encontrados sejam relativamente consistente.
19
![Page 20: Analyzing and Reporting Test Results](https://reader034.vdocuments.com.br/reader034/viewer/2022042518/559fc7601a28ab850d8b45a6/html5/thumbnails/20.jpg)
Relatório 4: Esperado vs Atual (defeitos encontrados)
07.2b.2020
![Page 21: Analyzing and Reporting Test Results](https://reader034.vdocuments.com.br/reader034/viewer/2022042518/559fc7601a28ab850d8b45a6/html5/thumbnails/21.jpg)
Relatório 5: Defeitos vs Correções
07.2b.21
• O propósito desse relatório é listar os defeitos que ainda não foram corrigidos. É necessário armazenar os defeitos assim que encontrados, e depois quando forem corrigidos
• Plotando o gráfico para ambos, será fácil de identificar quantos defeitos ainda estão por corrigir.
![Page 22: Analyzing and Reporting Test Results](https://reader034.vdocuments.com.br/reader034/viewer/2022042518/559fc7601a28ab850d8b45a6/html5/thumbnails/22.jpg)
Relatório 5: Defeitos vs Correções
07.2b.2222
![Page 23: Analyzing and Reporting Test Results](https://reader034.vdocuments.com.br/reader034/viewer/2022042518/559fc7601a28ab850d8b45a6/html5/thumbnails/23.jpg)
Relatório 6: Idade Média dos Defeitos
07.2b.23
• Esse relatório mostra, dividido por severidade (menor, maior e crítica), um média da idade (em dias) dos defeitos ainda não corrigidos
23
![Page 24: Analyzing and Reporting Test Results](https://reader034.vdocuments.com.br/reader034/viewer/2022042518/559fc7601a28ab850d8b45a6/html5/thumbnails/24.jpg)
Relatório 7:Distribuição dos Defeitos
07.2b.24
• O propósito desse relatório é distribuir os defeitos entre os módulos/unidades que compõem o projeto de SW
24
![Page 25: Analyzing and Reporting Test Results](https://reader034.vdocuments.com.br/reader034/viewer/2022042518/559fc7601a28ab850d8b45a6/html5/thumbnails/25.jpg)
Relatório 8: Distribuição dos Defeitos Normalizada
07.2b.25
• Tem o mesmo objetivo do relatório anterior, porém o número de defeitos é normalizado, por exemplo: defeitos por 100 pontos de função ou por 1000 linhas de código.
25
![Page 26: Analyzing and Reporting Test Results](https://reader034.vdocuments.com.br/reader034/viewer/2022042518/559fc7601a28ab850d8b45a6/html5/thumbnails/26.jpg)
Relatório 9: Ação do teste
07.2b.2626
• Esse é um resumo que contém informações coletadas nos relatórios anteriores.
• Endereçado ao Gerente do Desenvolvimento ou Gerente da equipe de Teste => para que ambos possam tomar as ações necessárias
• É composto por 4 informações: 1) Testes em atraso, 2) Defeitos críticos não corrigidos, 3) Principais Defeitos de idade igual a 5 dias não corrigidos e 4) e o número total de defeitos ainda não corrigidos.
![Page 27: Analyzing and Reporting Test Results](https://reader034.vdocuments.com.br/reader034/viewer/2022042518/559fc7601a28ab850d8b45a6/html5/thumbnails/27.jpg)
Relatório 9: Ação do teste
07.2b.2727
![Page 28: Analyzing and Reporting Test Results](https://reader034.vdocuments.com.br/reader034/viewer/2022042518/559fc7601a28ab850d8b45a6/html5/thumbnails/28.jpg)
Relatório 10: Provisório
CE-237 Prof. VDias & Prof. Cunha - Semana 6 07.2b.28
• Esse relatório deve mostrar os resultados dos testes até então, o que funciona e o que não funciona e recomendações
• Importante ressaltar no relatório o escopo do teste, do contrário o leitor poderá erroneamente assumir que um teste exaustivo foi realizado, o que não é possível! (questões práticas e econômicas)
• Logo, o escopo deve explicar claramente o que o testadores fizeram
28
![Page 29: Analyzing and Reporting Test Results](https://reader034.vdocuments.com.br/reader034/viewer/2022042518/559fc7601a28ab850d8b45a6/html5/thumbnails/29.jpg)
Relatório 10: Provisório
07.2b.2929
![Page 30: Analyzing and Reporting Test Results](https://reader034.vdocuments.com.br/reader034/viewer/2022042518/559fc7601a28ab850d8b45a6/html5/thumbnails/30.jpg)
Relembrando as tarefas!!
07.2b.3030
![Page 31: Analyzing and Reporting Test Results](https://reader034.vdocuments.com.br/reader034/viewer/2022042518/559fc7601a28ab850d8b45a6/html5/thumbnails/31.jpg)
Tarefa 3: Resultados Finais do Teste
07.2b.31
• Um relatório final deve ser feito para documentar os resultados do testes, se estes estão de acordo com o Planejamento dos Testes
• O cliente pode determinar se o sistema está pronto para a produção
• Ele deve resumir o conteúdo dos seguintes testes:Relatório Individual de cada Testador (igual ao
provisório)Teste de IntegraçãoTeste de Sistema (capítulo 8)Teste de Aceitação 31
![Page 32: Analyzing and Reporting Test Results](https://reader034.vdocuments.com.br/reader034/viewer/2022042518/559fc7601a28ab850d8b45a6/html5/thumbnails/32.jpg)
Monitorar o trabalho: WP 11-2
07.2b.32
• Para monitorar se o processo de reportar os resultados do teste foi feito corretamente, o autor propõe a utilização do Work-Paper 11-2
• É um questionário dividido em 3 partes. Controle da Qualidade para:Escrever o relatório de status;Desenvolver o relatório provisório.Escrever o relatório final.
32
![Page 33: Analyzing and Reporting Test Results](https://reader034.vdocuments.com.br/reader034/viewer/2022042518/559fc7601a28ab850d8b45a6/html5/thumbnails/33.jpg)
Monitorar o processo: WP 11-2 e 11-3
07.2b.33
• Para monitorar se o processo de reportar os resultados do teste foi feito corretamente, o autor propõe a utilização do Work-Paper 11-2
• O primeiro é um questionário dividido em 3 partes, enquanto que o segundo que ajudará os testadores escreverem relatórios eficazes.
33
![Page 34: Analyzing and Reporting Test Results](https://reader034.vdocuments.com.br/reader034/viewer/2022042518/559fc7601a28ab850d8b45a6/html5/thumbnails/34.jpg)
Monitorar o processo: WP 11-2
07.2b.3434
![Page 35: Analyzing and Reporting Test Results](https://reader034.vdocuments.com.br/reader034/viewer/2022042518/559fc7601a28ab850d8b45a6/html5/thumbnails/35.jpg)
Monitorar o processo: WP 11-3
07.2b.3535
![Page 36: Analyzing and Reporting Test Results](https://reader034.vdocuments.com.br/reader034/viewer/2022042518/559fc7601a28ab850d8b45a6/html5/thumbnails/36.jpg)
Considerações finais
07.2b.36
• A empresa deve adaptar o processo aqui apresentado: quais relatórios devem ser feitos?
• Uma vez que um conjunto de relatórios foi escolhido, eles devem formar uma linha base (baseline) para que os projetos possam ser comparados entre si, identificando quais projetos estão abaixo da média da empresa
36