1 iso/iec 14598 – 6 avaliação do produto – módulos de avaliação paulo jorge nº 20949 pedro...

1

ISO/IEC 14598 – 6Avaliação do Produto – Módulos de Avaliação

Paulo Jorge nº 20949

Pedro Pereira nº 19953

2

Resumo

Introdução NORMA ISO/IEC 14598 Conceitos de Módulos de Avaliação Formato de um Documento Desenvolver um Módulo de Avaliação Exemplo de um Módulo de Avaliação

3

Introdução

A avaliação do Software depende em larga escala das técnicas e métricas utilizadas.

Mas também a forma como a documentação das métricas e dos métodos é feita, assume um papel importante.

– Deve ser standard.– De fácil acesso.

O conceito de Módulo de Avaliação permite uma solução para estas necessidades

– Define uma forma de avaliação e a formatação que reporta os resultados das medidas resultantes da aplicação das métricas e técnicas (What).

4

Introdução

Entende-se por módulo de avaliação um pacote contendo a tecnologia para avaliação das características e subcaracterísticas de um determinado software: Os modelos de qualidade; dados e informações a respeito do plano de aplicação desses modelos.

Objectivo – Padronizar os módulos de avaliação para que seja possível a sua reutilização (Why)

5

Introdução

Os módulos de avaliação podem ser utilizados no contexto das ISO/IEC 9126 e dos standards da ISO/IEC 14598. – ISO/IEC 9126 – Características da qualidade

do produto de Software.

– ISO/IEC 14598 – Plano para a avaliação de produtos de Software.

6

ISO/IEC 14598

7

ISO 14598

8

Módulo de Avaliação - Conceito

Diferentes aspectos da avaliação necessitam de diferentes técnicas de aplicação.

Assim, uma avaliação deve ser estruturada em unidades.

Cada uma das unidades deve focar a avaliação da qualidade de um aspecto específico, recorrendo a uma técnica específica.

Esta informação deve estar bem armazenada para que privilegie uso futuro – Módulo de Avaliação.

9

Módulo de Avaliação

Clarifica qual o aspecto da qualidade do software que está a ser medido;

A forma como ao medida é efectuada está bem definida, bem como as pré-condições e exactidão da medida.

Estabelecem as ligações entre as técnicas de avaliação, as métricas e as medidas.

10

Documentação

Formato Será aplicado dentro do contexto da avaliação do

produto de software; Deve suportar o desenvolvimento de novas métricas

estado da arte; Disponibiliza uma definição precisa das métricas

utilizadas e sua aplicação; Contém toda a informação necessária para aqueles

que futuramente necessitem do MA para uma nova avaliação.

11

Documentar Módulos de Avaliação

Documentar um módulo de avaliação tem como vantagens:

Disponibilizar uma referência comum para descrição das bases teóricas do módulo;

Identificar um conjunto de requisitos para documentar e desenvolver um módulo;

Permite a recolha e catálogo de um largo número de módulos de avaliação antecipadamente.

12

Desenvolver um MA

1 – Identificar os requisitos do MA– Identificar o modelo de qualidade;– Identificar características e sub-características da

qualidade;– Decidir qual o objectivo da avaliação.

2 – Especificar o MA– Com base nos requisitos, especificar as técnicas de inputs

da avaliação, bem como as métricas.

13

Desenvolver um MA

3 – Desenvolver Procedimentos de avaliação– Estimar quais os recursos necessários;– Detalhar as procedures de avaliação a desenvolver;– Uma versão trial da procedure avaliação pode tornar-se uma

mais valia.

4 – Descrição do Procedimento de Avaliação– Descrever o ponto anterior de acordo com o formato do MA –

ser conforme com esta norma.

5 – Verificação e Validação do MA– A validação deve assegurar que o MA representa o estado da

arte da tecnologia, e ser testado por diferentes tipos de pessoas e em diferentes ambientes.

14

Formato Documentação (EM0 – EM5)

EM0 - Introdução– Informação formal sobre o módulo de avaliação;

– Breve introdução sobre as técnicas descritas no módulo;

– Preparação, aprovação, contribuições e alterações e relações com outros documentos.

15


EM1 – Âmbito– Define o âmbito da aplicação do módulo de avaliação;– Identifica as características, sub-características ou

atributos onde o módulo de avaliação tem aplicação;– Descreve o nível de avaliação definido pelo módulo.

O nível deve ser descrito tendo em conta a utilização do software e o seu ambiente de utilização.

– Deve descrever as técnicas de avaliação aplicadas;– Identificar o âmbito de aplicação do módulo.

16

EM2 - Referências– Nesta clausula são apontadas as referências a

normativos ou a documentos técnicos. Se o módulo de avaliação depende do resultado de outros, é nesta clausula que devem ser mencionados.


17

EM3 – Termos e Definições– Aqui são definidos os termos técnicos utilizados

no módulo.– Podem ainda ser encontrados nesta clausula,

referências a fontes onde as definições podem ser encontradas.


18


EM4 – Inputs e Métricas– Identifica os inputs necessários para a avaliação:

Componentes do produto; Informação do produto; Informação de suporte; Informação sobre o produto em utilização.

– Especificar os dados a extrair dos inputs;– Descrever como as medidas são calculadas através dos

dados, utilizando as métricas. Se as métricas forem combinadas, devem ser descritas aqui as

dependências. Todas as suposições e pré-condições têm de ser satisfeitas antes

de se proceder è medição.

19


EM5 – Interpretação dos Resultados– Especificar a interpretação dos resultados obtidos com as

medições;– Se obtiverem medidas distintas para uma mesma

característica ou atributo, aqui são descritas as formas como podem ser combinadas e avaliadas;

– Descreve o índice do relatório que fornecerá o resultado final da aplicação do módulo. Em alguns casos, a visualização de valores obtidos são importantes e devem ser encorajados.

20


EMA – Procedimento da Aplicação– A inclusão deste anexo é opcional– Deve descrever os procedimentos da aplicação

de forma detalhada.– Deve incluir pontos como:

Definição de termos técnicos usados; Recursos necessários para a implementação; Instruções da avaliação; Documentação.

21

Exemplo de MA – Fault Density

EM0 - Introdução– Objectivo – Determinar a densidade de falhas (defeitos no

software) num programa, calculada recorrendo a estimativa. EM1 - Âmbito

– Características: Fiabilidade; Maturidade; Densidade de falhas.

– Nível de avaliação – B (ISO 14598-5)– Técnicas – Modelo de Crescimento de Fiabilidade– Aplicabilidade – a todos os tipos de linguagens de programação.

22


EM2 - Referências–

EM3 - Termos e Definições– Fault – Defeito no Software;– Falha – Ocorrência de um evento, dado um conjunto de

eventos definidos;– LOC – Linhas de Código;– ELOC – Nº de linha de código onde foi detectada e

modificada uma falha;– EELOC – Nº estimado de ELOC;– NCLOC- Nº de linhas sem comentários;– FDV (Fault Density Value) – nº de Falhas por unidade de

volume do produto.

23


EM4 - Inputs e Métricas– Inputs

Código Origem – Componente do produto Programa de testes – Informação do Produto

– Dados Nº de falhas detectadas (ELOC) Determinação do tempo de cada falha (calendário do CPU) Nº de linhas de código (NCLOC)

– Métricas e Medidas FDV = (EELOC – ELOC)/NCLOC)

24


EM5 - Interpretação dos Resultados– Mapping das medidas:

FDV <= 10^-4 EXCELENTE 10^-4 < FDV <= 10^-3 BOM 10^-3 < FDV <=10^-2 SUFICIENTE FDV > 10^-2 MAU Valores de acordo com os objectivos dos thresholds e do

domínio do software avaliado.– Reporting

Resultados obtidos com o MA– Identificação do código fonte– FDV– Rating correspondente {Excelente; Bom; Suficiente; Mau}

25


EM6 – Procedimento da Aplicação– RGM – Modelo utilizado para estimar o nº de

linhas de código com erro.– Recursos necessários:

Ferramenta de contagem de LOC; Ferramenta de contagem de linhas alteradas; Ferramenta de recolha de dados RELIABILITY; Ferramenta de análise (Opcional); Hardware comum

26


EM6– Qualificações

Conhecimentos da aplicação do Modelo RGM.– Mão de Obra

Na recolha das falhas e no cálculo dos valores FDV.– Instruções de Avaliação

Seleccionar amostras de código; Geração de linhas de dados; Algoritmo

– Documentação Identificar a versão do código fonte da amostra; Qual o conjunto de falhas utilizados para estimar EELOC; Data da aplicação e a pessoa responsável.

27

Exemplo de MA – Qualidade em Uso

EM0 – Introdução– Princípios de avaliação da qualidade em uso de um produto

de software.

EM1 – Âmbito– Características

Este MA especifica como se avaliam 3 qualidades de uso definidas na ISO/IEC 9126-1 e os principios da ISO 9241-11.

– Efectividade;– Produtividade;– Satisfação.

28


– Nível de Avaliação – O nível de acuidade ao uso depende de quão próximo está o contexto de avaliação face ao contexto da utilização do software, tendo em conta ainda o número de utilizadores.

– Técnica – Simulação de ambiente real, sem outra ajuda que não a existente em ambiente real.

– Aplicabilidade – Apropriado a qualquer produto que faça parte de um sistema com interacção de utilizadores.

EM2 – Referências– …

29


EM3 – Termos e Definições– Contexto do Uso – todo o ambiente real;– User – A pessoa que interage com o produto;– Objectivo – O que se pretende com a avaliação;– Tarefa – Actividades para atingir o objectivo.

EM4 - Inputs e Métricas– Input

Código executável e documentação; Contexto do uso; Contexto da avaliação

30

EM4 – Inputs e Métricas– Dados

Tempos de tarefa; Tempos de Output; Satisfação dos Resultados; Dificuldades encontradas.

– Métricas Efectividade Produtividade Satisfação


31

EM5 – Interpretação dos Resultados– Efectividade;– Produtividade;– Satisfação;– Interpretação das medidas:

Acuidade ao uso; Interpretação. Relatório.


32

EM6 – Procedimentos na Aplicação– Recursos Necessários:

Um avaliador com valências e experiência na avaliação de factores humanos;

Esforço de, pelo menos, 3 pessoas para planear, 2 pessoas para avaliar e 2 pessoas para a análise e relatório.

– Instruções: O relatório deve definir claramente que utilizadores

efectuaram que tarefas, em que ambientes e toda a estrutura em que de desenrolou a simulação.


1 iso/iec 14598 – 6 avaliação do produto – módulos de avaliação paulo jorge nº 20949 pedro...

Documents