For QPP Class of 05/06 1

International Standart ISO/IEC

14598 – 5

Software Product Evaluation - Process for Evaluators

Joel.Mata@iol.ptJorge.Freitas@mail.telepac.pt

For QPP Class of 05/06 2

Agenda Visão Geral – Road Map Utilização, Beneficios, Caracteristicas

ISO/IED 14598 – 5 O processo de Avaliacão Case-Study Conclusões Perguntas & Respostas

For QPP Class of 05/06 3

Road Map - Histórico 1986 *ISO /IEC 8402 – Definição Geral de

Qualidade 1991 * ISO /IEC 9126 – Software Product

Evaluation 1994 * Revisão da ISO /IEC 9126,

separação 9126-1, 9126-2, 9126-3. 1998-2001 * Separação de produto e

processo, criação da serie ISO /IEC 14598-1, 14598-2, 14598-3, 14598-4, 14598-5, 14598-6

For QPP Class of 05/06 4

Road MAP – Visão Geral

Parte da Tabela extraida do “ Guia para utilização das normas sobre Avaliação de Qualidade de Produto de Software – Iso/Iec 9126 e Iso/Iec 14598”

For QPP Class of 05/06 5

Road MAP – Visão Geral

For QPP Class of 05/06 6

What ISO/IED 14598 é uma série de standards

que oferecem e descrevem métodos para medição, aplicação e avaliação de produtos de software

ISO/IED 14598 – 5, descreve a implementação do processo do ponto de vista do Avaliador.

For QPP Class of 05/06 7

Why Com o crescimento da aplicação de

software a situações criticas (segurança, suporte de vida, cálculos económicos) torna-se importante um meio de medir qualidade de software.

A avaliação providencia um resultado entendido por todas as partes.

For QPP Class of 05/06 8

When A avaliação de qualidade de software pode

ser realizada em qualquer ponto do ciclo de desenvolvimento ou comercial.

For QPP Class of 05/06 9

WhoRequesters

Fornecedores de software

Fabricantes de soft Utilizadores - Clientes Equipas de integração

Evaluators Laboratórios de teste Entidades internas de

fabricantes, fornecedores , compradores ou equipas de integração

Organizações que fazem comparações

Consultores Externos

For QPP Class of 05/06 10

Benefits of evaluation O produtor pode utilizar os resultados para

aplicar acções correctivas Para o fornecedor pode oferecer mais confiança

no produto que oferece. Pode usar a informação para fins de marketing

Para os compradores de software, podem ter uma base para fundamentar a escolha de um software

Para a industria, a generalização da qualidade pode ser usado com factor de marketing que leva a que o mesmo seja usado entre todos os produtos

For QPP Class of 05/06 11

Evaluation process - Characteristics Repetição Reciprocidade Imparcialidade Objectividade

For QPP Class of 05/06 12

Evaluation process – Life cycle

For QPP Class of 05/06 13

Evaluation process -Process (cont)

For QPP Class of 05/06 14

Purpose of the specification of evaluation Definição do âmbito da avaliação Definição das métricas a utilizar em qual

ou quais componentes Definição dos níveis de avaliação

For QPP Class of 05/06 15

Elaboration of evaluation specification Analise da descrição do produto ou

componentes Especificação das métricas a serem

aplicadas no produto ou componentes Verificação da analise versus

conformidade com os requisitos da avaliação

For QPP Class of 05/06 16

Purpose of design of evaluation Definição dos procedimentos de avaliação

a realizar Definição e especificação dos recursos a

utilizar

For QPP Class of 05/06 17

Elaboration of the evaluation plan Documentação dos procedimentos e

realização de planeamento Optimização do plano de avaliação Calendarização da avaliacão

For QPP Class of 05/06 18

Purpose of execution evaluation Obtenção de resultados através de

métricas e verificações sobre o produto, com base nos requerimentos e planeamento da avaliação

For QPP Class of 05/06 19

Execution of the evaluation Gestão dos componentes a verificar Gestão dos dados da avaliação Gestão das ferramentas de avaliação Gestão das técnicas de avaliação Avaliação do local (se for fora do local acordado) Realização de avaliações e relatórios

For QPP Class of 05/06 20

Purpose of conclusion of evaluation Revisão do relatório, conjunta entre

avaliador e clientes, da avaliação Destino final dos dados da avaliação

( destruição, arquivamento, …) Entrega da avaliação ao cliente

For QPP Class of 05/06 21

Case study Qseal Consortium methodology

At the end of 1994 the Qseal Consortium was founded. The Consortium is composed by Etnoteam, Cesvit, Ismes, Tecnopolis Csata acting as testing laboratories (CNR participated an external partner) and IMQ acting as a certification body.

For QPP Class of 05/06 22

QSEAL – Evaluation process O processo de avaliação foi estruturado em cinco

passos que devem ser realizadas pelo avaliador. Passo 1: Analisa os requisitos do cliente por forma

a identificar o propósito da avaliação Passo 2: Especifica a avaliação de modo a

identificar as partes e caracteristicas do software a serem analisadas

For QPP Class of 05/06 23

QSEAL – Evaliation process Passo 3: Especificação da avaliação a qual irá

incluir as ferramentas, instrumentos e tecnicas para alem da calendarização de todo o processo

Passo 4: realização da avaliação, ou seja, as mediçoes, testes e registos

Passo 5: gerar o relatório de toda a actividade. No final o relatorio será entregue ao cliente e terá o selo do Qseal

For QPP Class of 05/06 24

Qseal - The quality model

Functionality

Reliability

Efficiency

Usability

Portability

Maintainability

AccuracyComplianceInteroperabilitySecuritySuitability

AnalysabilityChangeabilityStabilityTestability

AdaptabilityInstallabilityReplaceability

Fault toleranceMaturityRecoverability

LearnabilityOperabilityUnderstandability

Resource behaviourTime behaviour

Passos 1 e 2 – Analise dos objectivos e definição dos atributos

For QPP Class of 05/06 25

Qseal - The evaluation levels

Level Environmental Personal Economic Security

1 Small damage to property No risk to people Negligible economic loss No specific risk

2 Local pollution Few people injured Significant economic loss Protection against error risk

3 Recoverable environmental damage

Threat to human lives Large economic loss Protection of critical data and services

4 Unrecoverable environmental damage

Many people killed Financial disaster Protection of strategic data and services

Passo 3 – Especificação da Avaliação

For QPP Class of 05/06 26

Qseal - The measurement records

Char

S-Cha

Lev

id Checklist item Notes How Answer

RE

AR

DD

TD

AT

UM

SI

SC

QA

MC

PI

MAI

ANA

1 1,2

Is there a complete description of the functionality performed by each high level architecture component?

  X=(high level architecture components completely defined) / (total number high level architecture components)

LIN   1                  

MAI

ANA

3 3,1

Has a programming standard been established?

  Inspection YN                 1    

MAI

ANA

4 4,12

Are all machine dependent units commented?

  X= number of machine dependent units with comments/ total number of machine dependent units

LIN               1      

MAI

CHA

2 2,8

Is the naming of each data item consistent throughout the component/ unit?

  X= number of data item with consistent names/total number of data item

LIN     1         1      

Passo 4 – Realização da Avaliação

For QPP Class of 05/06 27

Qseal - The measurement records

Passo 4 – Realização da Avaliação

For QPP Class of 05/06 28

Qseal - Why the Qseal Consortium methodology should be a success? (Qseal point of view ) O projecto é open-source As métricas e os métodos de medida são simples

de modo a serem facilmente utilizados para avaliações e certificações

As suas metodologias tiram partido dos últimos resultados em projectos a nível internacional.

Vários elementos deste projecto fizeram parte de vários outros projectos, logo, espera-se uma maior harmonia

For QPP Class of 05/06 29

Conclusões

A norma constitui uma agregação das restantes normas 14598 e 9126, no sentido que as utiliza.

O focus no processo é o rigor, a isenção e a definição de regras que levam a que a avaliação seja aceite pelos actores.

For QPP Class of 05/06 30

Any questions ?

Thanks for your atention !