testes exploratórios: saindo do roteiro na hora...

1© FATTO Consultoria e Sistemas – www.fattocs.com

Apresentador: Augusto Mariano Pinheiro

24 de março de 2020

Testes Exploratórios: Saindo do roteiro na hora certa

ORIENTAÇÕES INICIAIS

2© FATTO Consultoria e Sistemas - www.fattocs.com

Dê preferência ao uso de uma conexão de banda larga

O evento fará uso de vídeo (webcam), avise se houver problemas que alternamos

para apenas os slides e áudio

Se for necessário, ajuste o idioma da sala na barra de ferramentas superior

O evento terá cerca de 55 minutos de apresentação e 5 minutos para perguntas

Você pode mandar desde já suas perguntas pelo chat.

Use o chat só para o assunto do webinar

Para quem possui certificação do PMI, como a PMP, o evento vale 1 PDU

Esta sessão será publicada em nosso canal do Youtube: youtube.com/user/fattocs

Certificado de participação será disponibilizado para os assistentes, via e-mail

http://youtube.com/user/fattocs

apoiar nossos clientes no planejamento e avaliação de desempenho de processos de TI

para alavancar o sucesso de seu negócio


Agenda

Contextualização

Diferentes técnicas de testes e suas características

Posicionamento entre papéis

Alternativas para realização deste trabalho

Baseado na elaboração e execução de roteiros de testes

Análise exploratória

Heurísticas

Conclusões


Foco da apresentação de hoje!

5

Caixa Preta

Baseado em

experiência

Caixa Branca

AQUI!

Para diferentes níveis de testes, use diferentes abordagens Para cada momento do ciclo

de vida de um determinado produto de software, deve-se utilizar diferentes abordagens, o que inclui técnicas, ferramentas e pessoas

Categorias de técnicas de teste e suas características

6

Técnicas de teste de caixa-preta

As condições, os casos de testes e os dados são derivados de requisitos, especificações, casos de uso e estórias de usuário.

Técnicas de teste de caixa-branca

As condições, os casos de testes e os dados são derivados de código-fonte, arquitetura, detalhamento do projeto ou qualquer outra fonte relaciona à estrutura do software.

Técnicas de testes baseados em experiência

As condições, os casos de testes e os dados são derivados de conhecimento e experiência de testadores, desenvolvedores, usuários e outras partes interessadas.

Contextualização Posicionamento entre papéis: Desenvolvedor

7

Codificar: transformar especificação (necessidade) em código-fonte

Programas, componentes, telas, consultas e relatórios, etc.

NECESSÁRIO Verificar se o que foi construído funciona!

Quais testes realizados são pelo desenvolvedor?

Tipos: funcional e não funcional

Técnicas:

Níveis: unitário, integração e sistema

Tá pronto, só falta testar...

Caixa Branca Caixa Preta

Contextualização Posicionamento entre papéis: Usuário solicitante

8

Realizar testes de aceite com os seguintes objetivos

Estabelecer confiança na qualidade do sistema como um todo

Validar que o sistema está completo e funcionará como esperado

Verificar se o comportamento é o especificado (desejado)

Como isso costuma ser feito?

Teste de aceite do usuário (UAT)

Teste de aceite operacional (OAT)

Teste de aceite contratual e regulatório

Teste Alfa e Beta

Alternativas para realização dos testes de aceite

9

Abordagem: Análise exploratória

ConclusãoAnálise Modelagem

Planejamento

Implementação Execução

Monitoramento e controle

O que testar?

Como testar?

Temos tudo para testar?

Repetir, registrar, comunicar defeitos,

etc.

Abordagem: Elaboração e execução de roteiros

Testes exploratóriosO que são

10

1. Uma técnica de teste de software, onde casos de teste não são criados antecipadamente. Ideias

sobre o que testar podem ser anotadas antes da execução do teste. O foco do teste exploratório é

mais em testar como uma atividade de reflexão e crítica

3. O teste com roteiros é, em

geral, uma atividade braçal

onde os analistas de teste

executam os passos de teste

e comparam os resultados

concretos com os esperados

© FATTO Consultoria e Sistemas – www.fattocs.com

5. O teste exploratório é um processo

simultâneo de projeto e execução de

teste, tudo feito ao mesmo tempo

Elaborar

Roteiros

de Teste

2. No teste com roteiros

(scripted testing), casos

de teste são primeiro

elaborados e depois

executados

arquiteto

de testes

analista

de

testes

Testar

Alguns chamam

de QA, outros

de tester

4. Tal atividade de

execução de teste pode

(deve?) ser automatizada

e não exige muitas

habilidades cognitivas

6. Apesar da tendência ser a

automação, o teste exploratório é uma

nova forma de pensar: Há limites para

a automação

Executar

Roteiro

de Teste

Testes exploratóriosO que são

11

1. Não é um teste

aleatório, como um

“testa aí!”

5. Não é um método prescritivo, ou seja, não estabelece:

Como as atividades de testes devem ser planejadas, gerenciadas e controladas

Como o ambiente de teste deve ser configurado

Avaliação de riscos para aplicações críticas de segurança

Quais ferramentas devem ser utilizadas


2. Estruturado em termos de pensamento se comparado à estrutura procedural do teste

baseado em roteiros. Estrutura vem da carta de teste, time box, reunião de balanço.

3.

Gerenciável

e pode ser

ensinado

4. Nesta abordagem: O que você fará em

seguida é determinado por o que está fazendo

agora

Testes exploratóriosQuando usar

© FATTO Consultoria e Sistemas – www.fattocs.com 12

“Smoke Test”

Teste preliminar para revelar falhas simples,

mas severas o bastante para, por exemplo,

rejeitar uma release candidata

1. A equipe de testes

inclui testadores

experientes no

domínio

2. Valida o trabalho

de componente

testado ao explorar

a feature testada

4. O smoke test é

desejável antes de iniciar

com execução de teste de

larga escala

6. Isolar e investigar um

defeito particular

3. Em um iteração

inicial (p.e. produto

não pronto para o

teste de sistema)

7. Melhora o teste de sistema para

aplicações de segurança crítica

5. Um novo testador entra na

equipe (fase de aprendizado)

Testes exploratóriosInsumos


1. Intuição

(experiências de

bugs passados,

mudanças recentes)

2. Modelos (Diagramas

de Arquitetura,

Diagramas de Estados,

Workflows, etc.)

3. Exemplos

(Casos de Uso,

cenários, etc.)

4. Invariâncias

(verifica que a

mudança de itens não

tem impacto na

aplicação)

5. Interferência

(encontrar meios

para interromper

o programa)

6. Manipulação de

Erros (checando que

erros são manipulados

corretamente)

7.

Troubleshooting

(análise de bugs,

checar se um

bug foi

consertado)

8. Ideias em grupo

(brainstorming,

discussão de grupo

de componentes

relacionados, testes

em pares)

9. Especificações

(Leituras em sites,

Comparação com

manual do usuário,

utilização de

heurísticas)

Heurística

Qualquer abordagem para

resolução de problemas,

aprendizado, ou descoberta

que emprega um método

prático, não garantido ser

ótimo, perfeito, lógico ou

racional, mas suficiente para

alcançar um resultado imediato

Testes exploratórios – Heurísticas (ou “dicas de como fazer”)


Testes exploratóriosHeurísticas

15

Nenhum, Algum, Todos

Teste as funcionalidades

com diferentes níveis de

permissão: sem

permissões, com algumas e

com todas as permissões


CRUD

Criar

Ler

Atualizar

Remover

Siga os dados

Execute uma sequência de ações envolvendo dados, verificando a integridade a cada passo

Registrar Consultar Reportar Exportar Importar Atualizar Visualizar

Diferentes configurações

Velocidade de rede

Memória e disco disponíveis

Intensidade de sinal

Resolução de tela

Testes exploratóriosAtaques de tipos de dados

16

Para cada tipo de dado de entrada, tente valores que forcem os limites comuns ou que violem as

limitações de integridade:


Datas e horas

Nos campos data, tente 30 de fevereiro ou

31 de setembro

Horas não válidas

Diferentes formatos (June 5, 2001;

06/05/2001; 06/05/01; 06-05-01; 6/5/2001

12:34)

Números

Muito grandes ou muito pequenos

Notação científica

Números negativos onde não seriam

permitidos

Nome de arquivos/caminhos

Nome longo (>255 caracteres)

Nomes com caracteres especiais espaço *

? / \ | < > , . ( ) [ ] { } ; : ‘ “ !@ # $ % ^ &)

Strings

Longas (255, 256, 257, 1000, 1024, 2000,

2048 ou mais caracteres)

Caracteres acentuados

(àáâãäåçèéêëìíîðñòôõöö, etc.)

Caracteres com delimitadores

Exemplo:Números muito grandes


Número inserido: 1,844674407370955e+19

Exemplo


Limite do campo: 200 caracteres

Limites em arquivos/campos

Limites em um campo numérico ou texto

Tentativa de transferir arquivos de

diferentes tamanhos

Exemplo:Limites em arquivos/campos


O aumento no conteúdo provocou o redimensionamento do componente

“ComboBox”.



Menu só aparece se o zoom for reduzido para

90%

Testes exploratóriosTestes web

22

Navegação

Voltar (prestar atenção a mensagens de

“Página expirada” e transações postadas

em duplicidade)

Atualizar página (Refresh/F5)

Hackear o URL (alterar/remover

parâmetros)

Abrir a mesma página em múltiplas

instâncias do browser ou em mais de um

browser ao mesmo tempo

Modificar Preferências

Desativar o Javascript

Desativar os Cookies

Alterar parâmetros de segurança do browser

Redefinir o tamanho da tela

Mudar tamanho das fontes

Entrada de Dados

HTML/Javascript injection

Verificar tamanho máximo permitido em

campos de texto (> 5000 caracteres)


Testes exploratóriosProcesso – Estrutura de classificação de defeitos


1. Estrutura de

classificação de defeitos

2. Carta

de teste

3. Time

box

4. Revisão dos

resultados

5. Reunião

de balanço

– Categorizar os tipos

de falha encontrados

em projetos passados

– Analise a causa raiz

dos problemas ou

falhas

– Identifique os riscos e

desenvolva ideias

para testar a

aplicação

Categoria

Gravidade

Prioridade

Cartas de teste podem ser criados com flipcharts, planilhas,

documentos, sistemas de gerência de testes, personas, mapas

mentais e uma abordagem de toda a equipe

Os testers usando o teste exploratório usam heurísticas para

direcionar sua criatividade na elaboração e execução das sessões

de teste exploratório.

Essas heurísticas também podem ser usadas para criar cartas de

teste e em pensar criativamente ao analisar histórias e features.

Testes exploratóriosProcesso – Carta de Teste


1. Estrutura de


2. Carta

de teste

3. Time

box

4. Revisão dos

resultados

5. Reunião

de balanço

– Deveria sugerir

– O que testar

– Como pode ser

testado

– O que necessitar

ser verificado

– Ideias de teste são o

ponto de partida do

teste exploratório

– Ajuda determinar

como o usuário final

poderia usar o sistema

Persona

Um personagem fictício representando

certo tipo de usuário e como ele vai

interagir como sistema

Testes exploratóriosProcesso – Time Box


1. Estrutura de


2. Carta

de teste

3. Time

box

4. Revisão dos

resultados

5. Reunião

de balanço

– Este método inclui um par de testers

trabalhando em conjunto por não

menos que 90 minutos

– Não deveria haver qualquer

interrupção nessa sessão de 90

minutos

– Timebox pode ser prorrogado ou

encurtado em 45 minutos

Importante registrar e monitorar

– Cobertura de teste – Se nós tomamos notas na

cobertura de casos de testes e aperfeiçoamos a

qualidade do software

– Riscos – Quais riscos necessitam ser cobertos e quais

são os importantes

– Logs da execução – Registros da execução do teste

– Questões – Tome notas das questões e problema

Carta de TestesExemplo


Carta #001 - Explorar as funcionalidades relacionadas à análise de divergência nas medições

Cobertura #Áreas: Análise de Divergência, Medições

Data/hora de início 23/03/2020, 10:00h

Nome do testador Augusto Pinheiro, João Paulo De Angeli

Duração 90 minutos

Notas de teste Verificar junto ao gestor a viabilidade/necessidade de configurar um limite de réplicas/tréplicas nas discussões das divergências registradas.

Bugs encontrados • Há necessidade de padronização dos termos “contestação” e “divergência”.

Sugestões de melhoria 1. Inserir um botão de "Análise de divergência" na tela "Medições > Listar itens" (com as mesmas regras existentes na tela de edição da medição);

2. No Dashboard (tela principal), inserir um quadro com a relação de contagens em divergência em que o usuário logado necessita realizar alguma ação;

Testes exploratóriosProcesso – Revisão dos resultados


1. Estrutura de


2. Carta

de teste

3. Time

box

4. Revisão dos

resultados

5. Reunião

de balanço

– Avaliação dos defeitos

– Aprendizado a partir dos testes

– Análise de áreas de cobertura (verificar quais

áreas precisam de maior atenção)

Testes exploratóriosProcesso – Reunião de balanço


1. Estrutura de


2. Carta

de teste

3. Time

box

4. Revisão dos

resultados

5. Reunião

de balanço

– Compilação do resultado

– Verificar se algum teste adicional é necessário

Testes exploratórios: Vantagens e desvantagens

29

2. Desvantagens

Depende das habilidades de testes e conhecimento

do domínio do testador

Quando combinado com testes baseado em roteiro,

envolve o risco de redundância

Não fornece garantia absoluta que os bugs mais

importantes foram encontrados – testador sem

conhecimento do domínio

1. Vantagens

Encoraja a criatividade, adaptação e

intuição

Aumenta a chance de encontrar bugs

em um período de tempo mais curto

O testador é livre para explorar novas

áreas enquanto ideias de testes surgem

durante a execução dos testes

É útil quando a documentação completa

não está sempre disponível

É mais divertido que o teste baseado

em roteiros


Testes exploratóriosFerramenta

Devem manter um bloco de notas ao lado durante a exploração, como se fosse um

diário de bordo

Podem ser utilizadas ferramentas de gravação de ações como o Camtasia.

O Microsoft Test Manager possui uma ferramenta para gravação/reprodução da

sequência de execução dos testes exploratórios

Existe um plugin open source Microsoft Exploratory & Testing para o Chrome e

Firefox


Testes exploratóriosFerramentas

31

https://chrome.google.com/webstore/detail/test-feedback/gnldpbnocfnlkkicnaplmkaphfdnlplb

Test & Feedback


Testes exploratóriosConsiderações finais

Os humanos verificam situações mais sutis que os testes automatizados:

Um campo editável de um formulário que deveria estar somente leitura

Um disco entrou em operação quando o software não acessaria o disco

Um valor deslocado no relatório

Induz o testador a elaborar questões mais aprofundadas a partir desses problemas

enfrentados durantes os testes


Como a FATTO pode te ajudar?


Atividades

Instalação, configuração e preparação das ferramentas

Automatização do processo de inspeção e testes

Mentoria dos envolvidos no processo

Desenvolvimento dos testes (como um projeto)

Centro de certificação e qualidade

Contatos

[email protected]

mailto:[email protected]

34

AVALIAÇÃO


PRÓXIMOS EVENTOS

WEBINAR:

Histórias de Usuário: para bom entendedor, poucas palavras

Data: 14/04/2020

Horário: 13 horas (Horário de Brasília)

Inscrições gratuitas em:


Apresentador

AUGUSTO MARIANO PINHEIRO

• E-mail: [email protected]

• WhatsApp: +552799946-2525


testes exploratórios: saindo do roteiro na hora...

Documents